Face reading con mascherina: è ancora possibile rilevare le emozioni dei clienti per migliorare la user experience?

Alzi la mano chi, in tempo di passeggiate con mascherina, non ha mai ricambiato un saluto senza la certezza di chi stesse effettivamente salutando o chi non ha mai approfittato del volto semicoperto per nascondere un’espressione di disappunto. Oggi parliamo proprio di questo, del fattore mascherina che cela non poche insidie nelle relazioni quotidiane e che mette a dura prova anche strumenti e software che solitamente si utilizzano per il riconoscimento delle espressioni facciali.

A tale proposito, abbiamo voluto fare un esperimento e studiare come la strumentazione che utilizziamo per decodificare le emozioni di base attraverso le microespressioni facciali (se ve lo siete perso, leggete il nostro articolo “Face Reading: capire le emozioni per soddisfare i propri clienti”) processa le informazioni in presenza della mascherina e quanto queste si possano reputare affidabili.

Ma prima di entrare nel vivo della ricerca condotta sul face reading, è forse utile fare un piccolo passo indietro.

Perché è importante comprendere le emozioni per progettare esperienze utente efficaci?

Disegnare esperienze d’uso che incorporano il punto di vista delle persone è il solo modo di creare soluzioni soddisfacenti che raggiungano gli obiettivi per cui sono state concepite. Esistono però fattori mentali, emotivi e irrazionali intrinsecamente difficili da comunicare a parole, e tuttavia fondamentali nella scelta di un prodotto o di un servizio.

È quindi possibile conoscere in modo oggettivo come le persone si sentono, in un modo non mediato dalla comunicazione verbale? Ebbene sì.

Esistono strumenti e competenze che, combinati insieme, ci permettono di indagare le percezioni non coscienti e le emozioni delle persone e di capire i sentimenti e le reazioni emotive quando usano un prodotto o servizio, oppure osservano un sito, una app mobile, un video o un packaging.

La rilevazione delle espressioni facciali con mascherina: la nostra ricerca

Date le doverose premesse, possiamo ora entrare nel vivo dell’esperimento che abbiamo condotto per testare la strumentazione che utilizziamo per il face reading e il rilevamento delle micro espressioni facciali.

La ricerca ha coinvolto 140 persone, 70 con la mascherina e 70 senza. Ognuna di queste persone doveva guardare un video della durata di 30 minuti; nel mentre, tramite un software, venivano registrate per ogni secondo le espressioni facciali (lasciamo a voi immaginare l’ammontare di dati che abbiamo dovuto in seguito processare…).

Le espressioni elaborate dal software erano riconducibili ad 8 categorie: “neutro”, “felicità”, “tristezza”, “rabbia”, “sorpresa”, “paura”, “disgusto”, “disprezzo”.

Quello che ci aspettavamo di trovare, era un valore associato alla condizione “neutro” nei soggetti senza la mascherina più basso rispetto a quelli con la mascherina, ovvero che le emozioni in assenza di dispositivo individuale di protezione fossero più evidenti e che quindi registrassero un valore maggiore.

Invece, sistemato il dataset, osservato come si comportavano le medie dei dati delle persone con la maschera in confronto a quelli senza, per ogni singola emozione, abbiamo potuto osservare che erano le persone con la mascherina che avevano meno attivazione per lo stato emozionale codificato come “neutro”. Andando più nel dettaglio, si è osservato che le persone con la mascherina avevano un’attivazione significativamente maggiore per le emozioni di “felicità” (e perciò una minor attivazione per “tristezza”), “rabbia” e “disgusto” (Fig.1).

Avendo lavorato sulle medie siamo andati ad osservare i “dati buoni”, ovvero quante volte il software registrava un’emozione e quante volte invece falliva. Non c’erano grosse differenze relative alla quantità numerica; qualche dato in meno era registrato per i soggetti con la mascherina, tranne per l’emozione “felicità” dove avevamo più dati. In aggiunta, il numero di soggetti sui quali era stata registrata l’emozione con una frequenza maggiore alla metà dei dati raccolti più uno era simile per entrambi i gruppi. Perciò la quantità di “dati buoni” trovati era equiparabile tra i due gruppi.

Nella letteratura su questo argomento ci sono ancora poche informazioni. Alcuni software hanno iniziato ad implementare i database tramite inserimento digitale delle mascherine sulle foto che avevano in memoria, anche se fino ad ora queste informazioni non sono ancora del tutto sufficienti per una precisa rilevazione delle emozioni (Bo, Yang & Wu, Jianming & Hattori, Gen; 2020). Generalmente si è visto che il margine di errore dei software aumenta quando devono codificare le informazioni provenienti da persone con la mascherina e questo è in concordanza con il leggero divario di dati buoni raccolti nel nostro caso. Si è anche visto che, quando sono le persone a dover codificare le espressioni facciali, queste riescono facilmente a riconoscere le emozioni come rabbia e disgusto, che spesso vengono anche scambiate tra di loro; più difficoltà, invece, a riconoscere l’emozione di felicità (Carbon C-C, 2020).

Provate voi: sapreste distinguere quale espressione delle due è rabbia e quale disgusto?

La soluzione ve la diamo alla fine di questo articolo.

I software attuali sono quindi in grado di rilevare e comprendere le emozioni di chi indossa la mascherina?

Da quello che abbiamo potuto osservare con i nostri dati, sembra che la zona degli occhi sia, sì, sufficiente per la rilevazione delle emozioni di rabbia e disgusto, ma anche per quella di felicità; anzi, queste emozioni risultano essere addirittura sovrastimate (Fig.1). Questo potrebbe essere dato dal fatto che, quando il software processa sia le informazioni superiori sia inferiori, se queste non sono concordanti fra di loro, l’intensità della rilevazione dell’emozione sia minore o addirittura si annulli, rispetto al processamento della sola parte superiore.

In conclusione, idealmente sarebbero da usare software che abbiano nel proprio database molte informazioni riguardanti i volti coperti dalla mascherina. Fino ad allora, però, possiamo ugualmente raccogliere ed analizzare informazioni sulle emozioni in soggetti con la mascherina, l’importante è considerare che i dati raccolti potrebbero rappresentare una sovrastima di alcune emozioni, poiché l’elaborazione afferisce su un dato parziale.

Bo, Yang & Wu, Jianming & Hattori, Gen. (2020). Facial Expression Recognition with the advent of face masks. 10.1145/3428361.3432075.

Carbon C-C (2020) Wearing Face Masks Strongly Confuses Counterparts in Reading Emotions. Front. Psychol. 11:566886. doi: 10.3389/fpsyg.2020.566886

Ah sì! La soluzione!

Eccola qua:

Se non siete riusciti ad indovinarla, ricordatevi che è molto facile confonderle avendo come parametro solo gli occhi. Quindi anche noi, come i software, possiamo sbagliare. E se trovate una persona per strada che sembra avercela con voi, forse ha solo mangiato una caramella non troppo appetibile.