Introduction aux

expressions faciales –
Prélude au projet MONNET

France Laliberté
14 mars 2005
 Plan
• Qu’est-ce qu’une expression faciale?
• Pourquoi les expressions faciales existent-elles?
• Pourquoi s’y intéresser?
• Mesure des expressions faciales
• Expression faciale ≠ émotion
• Différence entre reconnaissance et interprétation
• Système d’encodage des actions faciales
• Expression spontanée versus expression posée
• Méthodes et systèmes d’analyse automatique

Tous droits réservés © 2005 CRIM

 Qu’est-ce qu’une expression
faciale?
• Changement dans le visage,
perceptible visuellement, dû à
l’activation (volontaire ou non)
de l’un ou de plusieurs des 44
muscles composant le visage.
• 250000 expressions possibles

Tous droits réservés © 2005 CRIM

 Pourquoi les expressions
faciales existent-elles?
• Trois points de vue différents
– Les émotions sont au centre de l’explication des expressions
faciales
• Sélection naturelle ⇒ 7 émotions de base ⇒ 7 expressions faciales
universelles (colère, dégoût, joie, mépris, peur, surprise, tristesse)
• Les étiquettes pourraient être remises en question car elles
dépendent du langage et de la culture
– Les expressions faciales sont des signaux de conversation qui
dépendent des intentions de l’émetteur, du comportement du
récepteur et du contexte de l’interaction, non des émotions.
• Hausser les sourcils ↔ incrédulité, froncer les sourcils ↔
incompréhension, hausser le menton ↔ ignorance
– Les expressions faciales sont des activateurs et des régulateurs
d’émotion dû à la plasticité du cerveau
• Changent la température de l’hypothalamus pour faciliter ou inhiber
la production de neurotransmetteurs reliés aux émotions
4

Tous droits réservés © 2005 CRIM

 Pourquoi s’y intéresser?
• Indicateur de l’activité émotionnelle moins intrusif que d’autres méthodes,
utilisé en recherche comportementale.
• Enseignement à distance (transmission au professeur de l’état des
étudiants sous forme d’information de haut niveau).
• Détection de mensonges.
• Interface personne-système (jeux, bureautique, logiciels d’apprentissage)
• Système de mesure objective ou l’interprétation de l’observateur n’entre pas
en ligne de compte.
• Création d’avatars réalistes (mouvements des muscles sous-jacents).
• Dispositif dans les voitures qui avertit le conducteur en cas de perte de
vigilance.
• Dispositif dans les avions (information supplémentaire pour la boîte noire).
• Reconnaissance de visages invariante à l’expression

Tous droits réservés © 2005 CRIM

 Mesure des expressions
faciales
• Contraction des muscles : déformation non-
rigide temporaire (0.25-5s) des structures
faciales (sourcils, paupières, nez, lèvres, texture
de la peau) Difficile de déterminer l’expression à partir
d’une image fixe, surtout pour les personnes
• Terminologie d’un certain âge.

– Position
– Intensité (plus faible pour expression spontanée)
– Dynamique (attaque, maintien, relaxation)
• Structures faciales permanentes et transitoires.
6

Tous droits réservés © 2005 CRIM

 Expression faciale ≠ émotion
Posture Besoins biologiques
Voix
Douleur
Gestes Fatigue

Émotions Émotion Réflexion

Activités
État d’esprit physiologiques
Expressions faciales
Direction du regard

Expressions
Plusieurs facteurs
Une émotion peut causer faciales
une expression faciale ou non et Communication
une expression faciale peut être causé
causée non-verbale
par une émotion ou non.
Froncement des
Émotion simulée Clin d’oeil 7
sourcils

Tous droits réservés © 2005 CRIM

 Reconnaissance et interprétation
des expressions faciales
• Reconnaissance des expressions
faciales : classement des déformations
des structures faciales en classes
abstraites basé sur l’information visuelle
• Interprétation des expressions faciales :
lien avec les émotions de base (utilise
l’information contextuelle)

Tous droits réservés © 2005 CRIM

 Système d’encodage des
actions faciales (FACS)
1 hausser sourcil int.
1 2 hausser sourcil ext.
4
2 4 baisser sourcil
5 hausser paupière sup.
4
6 hausser joues
5 9
9 plisser nez
10 hausser lèvre sup.
6 11 creuser ride nasale
12 12 hausser coins lèvres
10
13 bomber joues

11 15 baisser coins lèvres

12 17 hausser menton
13 23, 24 20 étirer lèvres
20 15 23 serrer lèvres
17
24 presser lèvres
25
25 ouvrir bouche 9
© 2000 A Human Face

Tous droits réservés © 2005 CRIM

 Système d’encodage des
actions faciales (FACS)
colère 4+5+17+23+24

dégoût 9+10+17+25

6+10+11+12+13
joie
+25+37

peur 1+2+4+5+20+25

surprise 1+2+5+25

tristesse 1+4+11+15+17

mépris 10+12+14 unilatéral 10

Tous droits réservés © 2005 CRIM

 Mouvements faciaux globaux

colère dégoût joie peur surprise tristesse

Bassili 1979
Essa 1994 (images)

11

Tous droits réservés © 2005 CRIM

 Expression spontanée versus
expression posée
• Pour différencier un sourire authentique d’un sourire social on regarde …
les yeux!
Images de
différence

Ondelettes
de Gabor

“Support Vector
Sourire de Duchenne (UA 6) Sourire “Pan American” Machines”
Neurologiste Français 19es

Paralysie de la Paralysie de la
région volontaire région émotionnelle
•Problème de classification
Sourire binaire non séparable
Pan American
linéairement : noyaux gaussiens
Sourire de ou polynomiaux pour SVM.
Duchenne •Taux de classification : 86%
12
© Sinauer Associates, Inc.

Tous droits réservés © 2005 CRIM

 Méthodes d’analyse
Param. de
automatique Coeff. de proj. modèles

Détection du Normalisation Extraction des Représentation des

visage du visage structures faciales structures faciales

Classification des
expressions faciales
Extraction des Extraction du
déformations mouvement
Reconnaissance Interprétation

Méthodes Méthodes Méthodes Méthodes Encodage Émotions

globales locales globales locales en UA
2 5
1 3 4
6

Basées sur Basées sur Basées sur le Basées sur un Basées sur le suivi Basées sur les Basées sur
l’image un modèle flux optique modèle de mvt de pts de structure images de ≠ un marqueur

13

Tous droits réservés © 2005 CRIM

 Méthodes d’analyse automatique –
extraction des structures faciales

2 Modèle d’apparence active

Lanitis 1997

Filtres de Gabor
1

Expression
neutre requise

3 Modèle 2D basé sur les pts

Pantic 1999
14

Tous droits réservés © 2005 CRIM

 Méthode d’analyse automatique –
extraction des structures faciales

4 Flux optique
•Sensibilité au bruit Lien 2000
•Sensibilité à la variation d’illumination Modèle de mvt déformable 3D
5 •Seuls les mvts possibles d’un
•Sensibilité à la discontinuité de mvt DeCarlo 1996
•pt de vue physique sont considérés
•Coût de calcul élevé
•Construction manuelle des modèles
de visage et de tête
Préservent la •Coût de calcul élevé
topologie locale
Servent à reconnaître
les expressions
faciales
6 Suivi de pts de structure
Wang 1998 15

Tous droits réservés © 2005 CRIM

 Méthodes d’analyse automatique –
classification des structures faciales
• Modèle de Markov caché
• Réseau de neurones récurrent
• Gabarits d’énergie de mouvement
• Réseau de neurones feed-forward
• Plus proche voisin avec mesure de distance

colère dégoût joie surprise 16

Tous droits réservés © 2005 CRIM

 Méthodes d’analyse automatique
– systèmes hybrides
• Utilisent des algorithmes d’extraction qui mettent
l’emphase sur des structures faciales différentes
1. Méthode globale 15 UA
d’extraction du mvt

3 pts dans la 1re image

de chaque séquence

2. Méthode locale
3. Méthode locale d’extraction du mvt Lien 1998
d’extraction des déformations Fasel 2003 (image) 17

Tous droits réservés © 2005 CRIM

 Conclusion
• Reconnaissance des expressions faciales est un problème
complexe et pour l’humain et pour la machine
– Déformations non-rigides
– Variations inter-personnes
– Micro-expression (tentative de camouflement d’une émotion 0.06s)
– Expression subtile (début d’une émotion)
• Plus facile de reconnaître l’expression
– Sujet connu
– Expression neutre disponible
• Beaucoup de systèmes demandent une intervention manuelle et/où
ont un coût de calcul élevé.
• Reconnaître une émotion n’est pas la comprendre ou comprendre
ce qui l’a provoquée … sauter aux conclusions peut être pire que de
ne pas reconnaître une émotion!
• http://www.emotionsrevealed.com/
18

Tous droits réservés © 2005 CRIM