MSEA

Curs 7 Roboti antropomorfi cu capacitate

de expresie faciala
Prof.Dr.Ing. Dan Mndru
Departamentul de Mecatronica si Dinamica
Masinilor
Facultatea de Mecanica
Universitatea Tehnica din Cluj-Napoca

1. Introducere

2. Aplicatii

3. Notiuni de proiectare

4. Exemple / Proiecte

1. Introducere

Expresiile faciale sunt o form de comunicare non-verbal.

Aceste micri transmit starea emoional a individului.

Sunt un mijloc principal de a transmite informaii sociale printre

oameni, dar, de asemenea, apar la mai multe mamifere i cteva alte
specii de animale

Expresiile faciale i semnificaia lor variaz ntre culturi

O expresie faciala este determinata de una sau mai multe micri

si/sau poziii ale muchilor feei.

1. Introducere
Oamenii pot adopta o expresie facial ca o aciune voluntar

Pentru c expresiile sunt strns legate de emoii, ele sunt mai adesea
involuntare

Cteva exemple de sentimente care pot fi exprimate sunt:

furie,
concentrarea,
confuzie,
dispre,
dorina,
dezgustul,
frica,
frustrarea,
fericirea,
tristeea,
surpriza.

1. Introducere

Cercetari in domeniul robotilor sociali

Carnegie Mellon University (USA)

MIT (USA)
University of Freiburg (Germany)
Yale University (USA)
National University of Singapore (Singapore)
Technical University of Munich (Germany)
University Carlos III Madrid (Spain)

Cercetari in domeniul robotilor sociali

Languages and planning:

University of Toronto (Canada)

University of Rome "La Sapienza" (Italy)

Budapest Univ. of Technology and Economics (Hungary)
Bioinspiration:

Aachen University (Germany)

Imperial College (UK)

University of Zurich (Switzerland)

Vanderbuilt University (USA)
Reasoning in real environments:

University of New South Wales (Australia)

University of Bonn (Germany)

Carnegie Mellon University (USA)
Communication and emotions:

POLITEHNICA Univ. of Bucharest (Romania)

2. Aplicatii
- roboti parteneri, de companie;
- roboti de asistare a persoanelor cu nevoi speciale;
- roboti sociali;
- roboti casnici, utilitari;
- roboti mesageri pentru preluare si transmitere mesaje;
- roboti personali;
- roboti pentru divertisment

Este un domeniu interdisciplinar ce reclama cunostinte de Psihologie si

Sociologie, Anatomie, Fiziologie si Biomecanica umana

2. Aplicatii

Sistematizarea expresiilor faciale: 6 expresii faciale de baza

Expresile faciale zmbitoare sunt universale i
sunt uor de recunoscute.
1. FERICIREA

Sunt interpretate ca transmiterea mesajelor

legate de bucurie, plcere, o dispoziie pozitiv, i
prietenie.

Exemple de expresii fericite sunt cel mai uor de
gsit n fotografii, i sunt uor de produs de ctre
oameni, la cerere, n lips de orice emoie.

Sistematizarea expresiilor faciale: 6 expresii faciale de baza

Expresile faciale zmbitoare sunt universale i
sunt uor de recunoscute.
1. FERICIREA

Sunt interpretate ca transmiterea mesajelor

legate de bucurie, plcere, o dispoziie pozitiv, i
prietenie.

Exemple de expresii fericite sunt cel mai uor de
gsit n fotografii, i sunt uor de produs de ctre
oameni, la cerere, n lips de orice emoie.

Expresile fericite pot fi comportamente aplicate,

deoarece acestea sunt folosite des pentru a
ascunde alte emoii, induc n eroare sau
manipuleaz alte persoane.
Trebuie luat n considerare acest aspect atunci
cnd vizualizm personaliti politice i alte
celebriti la televizor zmbind.

Sistematizarea expresiilor faciale: 7 expresii faciale de baza

2. TRISTETEA

Expresiile faciale triste sunt adesea concepute

ca opusul celor fericii, dar acest punct de vedere
este prea simpl, dei aciunea colurilor gurii este
opus.

Expresii triste transmit mesaje legate de
pierdere, deces, disconfort, durere, neputin, etc.

Feele triste sunt forme de intensitate mai mic
a chipurilor plngtoare, care poate fi observat
devreme la nou-nscui, dar diferenele constatate
ntre aceste dou expresii contrazic acest punct de
vedere, dei ambele sunt legate de primejdie.

Dei plnsul i lacrimile sunt o parte comun a
expresilor triste, lacrimile nu sunt indicative de
orice emoie special.

Sistematizarea expresiilor faciale: 7 expresii faciale de baza

3. MANIA

Expresia mniei transmite mesaje despre

ostilitate, de opoziie, i potenialul de atac.

Mnia este un rspuns comun la expresii de
furie, crend astfel o bucl de feedback pozitiv i
creterea riscului de conflicte periculoase.

Expresia de furie necontrolat exercit un efect
toxic asupra persoanei furiose, i mnia cronic
pare s fie asociat cu anumite tipuri de
comportamente, care conduc la rezultate
nesntoase.

Dei frecvent asociat cu violen i distrugere,
furia este probabil cea mai social emoie,
deoarece se afl de multe ori la baza eforturilor
indivizilor de a forma societaile n bine, precum i
pentru a rezista la impunerea de nedreptate i de
tiranie.

Sistematizarea expresiilor faciale: 7 expresii faciale de baza

4. FRICA

Amestec de primejdie i team, nu este
adesea observat n societile n care
securitatea personal este bun

Frica transmite informaii despre un pericol
iminent, o ameninare n apropiere, o dispoziie
de a fugi, sau probabilitatea de vtmri.

Experiena de fric are o calitate extrem de
negativ, i este redus dac ameninarea a fost
evitat sau a trecut. Organizarea de
comportament i funciile cogitive sunt afectate
n mod negativ n timpul de team

Sistematizarea expresiilor faciale: 7 expresii faciale de baza

5. DEZGUSTUL

Expresii faciale de dezgust sunt adesea parte

din rspunsurile organismului la obiecte care
sunt revolttoare i scbroase

Mirosurile respingtoare sunt eficiente n
provocarea reaciei de dezgust.

Expresile dezgustului sunt deseori afiate ca
un comentariu la multe alte evenimente i
oameni care s genereze reacii adverse, dar nu
au nimic de-a face cu originea primar de
dezgust ca o respingere a produselor alimentare

Sistematizarea expresiilor faciale: 7 expresii faciale de baza

6. SURPRIZA

Emotile de surpriz sunt trectoare, i dificil de

detectate sau nregistrate n timp real.
Aproape ntotdeauna apar ca rspuns la
evenimente neprevzute, sau evenimente care
transmit mesaje despre ceva fiind neateptat,
brusc, sau uimitor.
Expresia surpriz este adesea urmat de alte
expresii care dezvluie emotii n rspuns cu
sentimentul surpriz sau cu obiectul surpriz,
emoii, cum ar fi fericirea sau frica.

3. Notiuni de proiectare

Antropomorfismul constructiv este un element facultativ dar antropomorfismul

structural este de neevitat, astfel:
- sistemul de comand-programare avnd rolul creierului i sistemului
nervos uman,
- sistemul de acionare avnd rolul celui muscular al omului,
- sistemul cinematic fiind echivalent sistemului osos
- sistemul senzorial avnd echivalen pe cel senzorial al omului: pipit,
vz, auz, olfactiv, etc.

Biomecanica extremitatii cefalice

Biomecanica extremitatii cefalice

Biomecanica extremitatii cefalice

Articulatia temporo-mandibulara

Biomecanica extremitatii cefalice

Muschii pieloi sau ai mimicii (vedere frontal i lateral)

Muchii pieloi sau muchii mimicii au urmtoarele caracteristici:

Una din cele dou inserii este cutanat, dei ei pot adera n tot lungul traiectului
lor, la piele.

Volumul i fora lor sunt reduse.

Sunt aezai n jurul orificiilor feei, unde intervin n deschiderea i nchiderea
acestora n diverse situaii: prehensiunea alimentelor, rol n masticaie, n
respiraie, n recepie, dozarea i eventual respingerea excitaiilor senzoriale.

Sub conducerea nemijlocit a sistemului nervos, devin element moror plastic

pentru exteriorizarea strilor psihice.

Muchii pieloi sau muchii mimicii au urmtoarele caracteristici:

Prin contracia lui, un muchi pielos ncreete pielea, apropie punctul de inserie
cutanat spre inseria osoas i formeaz un relief de forma unei proeminene
liniare; cnd inseria cutanat este punctiform, se formeaz o gropi.

Muchii pieloi intervin n modelarea fizionomiei, prin definitivarea unor cute ale
mimicii.

Sunt excitai de nervul facial.

Muchii mimicii :

Muchii bolii craniene

- Muchiul occipitofrontal
- Muchiul temporoparietal
- Aponevroza epicranian

Muchii pleoapelor
- Muchiul orbicular al ochiului
- Muchiul culegtor al sprncenei
- Muchiul depresor al sprncenei
- Muchiul procerus

Muchii nasului
- muchiul nazal
- muchiul depresor al septului

Muchii mimicii :

Muchii din regiunea gurii

- Muchiul orbicular al gurii
- Muchiul ridictor al buzei i al aripii nasului
- Muchiul ridictor al buzei superioare
- Muchiul zigomatic mic
- Muchiul ridictor al unghiului gurii
- Muchiul zigomatic mare
- Muchiul rizorius
- Muchiul cobortor al unghiului gurii
- Muchiul cobortor al buzei inferioare
- Muchiul mental

Biomecanica extremitatii cefalice

Muchii masticatori

Muschii care mobilizeaza globul ocular

Miscarile sprancenelor

Micrile sprncenelor sunt o
consecin a opiunilor lingvistice
i de comunicare

Miscarile sprancenelor

Micrile sprncenelor sunt o
consecin a opiunilor lingvistice
i de comunicare

Sprncenele pot fi mutate n
diferite moduri, astfel nct este
important gsirea unei metode
potrivit pentru a determina
modul n care sprncenele sunt
mutate n timpul conversaiilor.

Exista apte micri diferite de
sprncene, numite uniti de
aciune.

combinaie 1 +2 este n mod regulat asociat cu expresia de emoii pozitive

1 i combinaile 1+4, 2+4 i 1+2+4 sunt asociate mai degrab cu frica sau tristeea
aciune 4 apare n expresii de furie, dezgust, i dificulti de orice natur.

Miscarile pleoapelor

Pleoapa este un val musculomembranos care acoper parial n sus i n jos fiecare
dintre cei doi ochi, destinat s-i protejeze.

Pleoapele asigur protecia ochilor, un clipit reflex foarte rapid se produce de
ndat ca un obiect se apropie de ochi sau n caz de cldur foarte mare.

Un clipit permanent ntinde si reinnoiete filmul lacrimal pe suprafaa ochiului.

Micarea pleopelor a fost msurat la un om, astfel nct limitele de micare a
androidului s fie asemntoare cu micarea uman

Miscarile buzelor

Buzele sunt o parte vizibil a corpului la oameni precum i multe

animale.

Buzele sunt moi, mobile, i servesc drept de deschidere pentru
ingestia alimentelor i n articularea sunetelor i vorbirii.

Buzele omului sunt un organ senzorial tactili poate fi erogene cnd
sunt utilizate pentru srutare i alte acte de intimitate.

Pe lng acestea buzele contribuiesc foarte mult la realizarea
expresiilor faciale.

Action Unit

Action Unit

Action Unit

Action Unit

Action Unit

Action Unit

http://face-and-emotion.com/dataface/facs/manual/TOC.html

Action Unit

Proiectare

Proiectare

4. Exemple / Proiecte

Asimo
(Advanced Step In Innovation Mobility)
are o greutate de 43 de kg
-dispune de 24 de grade de libertate, 10 la
brae, 2 la mini i 12 la picioare
-

Roboti de asistare
Toyota 2004

TronX
(FESTO) 1997
-

are o nlime de 2800 mm

cntrete n jur de 300 de

kilograme
-

este actionat cu peste 200 de

cilindri pneumatici de diferite
marimi
-

Priscilla (2000)
Schelet uman actionat cu
cilindrii hidraulici

Kibertron

are 1.75m nlime

cntrete 90kg

are 82 grade de libertate.

Minile au 20 de grade de
libertate fiecare, braele au 8
grade de libertate realiznd un
total de 28 pentru fiecare bra i
mn mpreun

Robodex SDR 4X
(Sony) 2002

Isamu (Univ. Tokyo)

are 1.5m nlime i 0.6m lime
- cntrete n jur de 55kg
- are 32 de grade de libertate
-

Univ. Waseda
are n jur de 1.8m nlime i
cntrete peste 270 kg
-

Repliee R1
are 9 grade de libertate doar la cap;
ii poate mica ochii, ploapele, gura
i gtul

ALPHA
are 21 de grade de libertate: 6 n fiecare
picior, 3 n fiecare bra i 3 n trunchi

s-a construit un cap pentru Alpha cu un

total de 16 grade de libertate
(2 camere cu 3 grade de libertate, un gt
cu 3 grade de libertate, doi ochi cu 4 si o
gura cu 6 grade de libertate)

Valerie

Valerie

Valerie

Actuatori utilizati:
pneumatici muschi medii;
hidraulici muschi puternici;
pas cu pas -muschi de dimensiuni mici dar rapizi;
servo-muschi de dimensiuni mici si lenti

Tehnologia necesara pentru actionarea androidului

a)
b)
c)
d)
e)

1 un set de ochi in marime naturala montati cu balansare;

2 camere video CMOS PC207XP sau 2 camere video CCD-Snake -2
1 o sursa de alimentare de 12 V pentru alimentarea camerelor video
5 servo motoare pentru controlul pleoapelor si a ochilor;.
1-O sursa de alimentare de 9 V PS si o perche de baterii D pentru controlul
servomotoarelor ;
f) 1 un servo controller;

Roberta

Este controlat de 24 de cilindrii

pneumatici i i poate schimba
expresia facial n 6 dintre cele
mai uzuale expresii omeneti

Roberta

suparare , tristete , teama, surprindere , fericire , dezgust

Maximilian
(1998)
ase motoare controleaz sistemul mecanic
- ochii se mic la stnga, la dreapta, sus i jos
- ploapele se deschid i se nchid pentru protecie
- intregul cap se nvrte permind ochilor s scaneze o perspectiv larg.

Maximilian
(1998)

Maximilian
(1998)

Permite miscari ale ochilor,pleoapelor si rotiri ale capului

Control mecanic:6 servo motoare

Sitemul vizual:2 camere video Logitech

Control:servo controlerul Mini SSC 2

Alimentare: -9V pt Mini SSC 2

4.8-6 V pt servomotoare
Software:aplicatie Java

ROMAN

Cap android 1
Are 9 grade de libertate
-

2 la nivelul gatului

2 la fiecare ochi

gura poate s exprime att

zmbetul ct i ncruntarea;
-

sprncenele se pot mica n sus

sau n jos
-

Aryan

Este capabil s detecteze feele

umane, minile sau trsturi faciale
pe le urmrete prin sistemul su de
vedere artificiala.
Poate exprima, de asemenea, emoii
bazate pe stimulrile vizuale
percepute. Faa are opt grade de
libertate.

Aryan

a) natural,
b) mnie,
c) fric,
d) surpriz

Alte exemple

Alte exemple

Roboti sociali pentru terapie

PROBO

Roboti sociali pentru terapie

PROBO

Roboti sociali pentru terapie

PROBO

Proiecte dezvoltate la UTCN

Proiect 1

Proiect 1

Subansamblul ochi
Vedere anterioara

Vedere posterioara

Proiect 1

Scheme cinematice pentru

principalele subansamble

Proiect 1

Scheme cinematice pentru

principalele subansamble

Proiect 1

Scheme cinematice pentru

principalele subansamble

Proiect 1
Miscarea mandibulei

Proiect 1
Miscari de inclinare in fata- in spate a capului

Proiect 1

SISTEMUL DE ACTIONARE
Motoare pas cu pas
- mici
- frecven mare de lucru
- usor de controlat

Modul de acionare a unui motor pas cu pas

Schema de comanda a unui motor

Proiect 1

SISTEMUL DE ACTIONARE

microcontroler AVR ATMEGA8535

cuar
circuit MAX232
sursa de tensiune stabil
circuit de comand pentru motoarele pas cu pas

Proiect 1

Proiect 2

Cap de android cu trei grade de mobilitate:

2 la nivelul ochilor,
1 la nivelul gurii.

Proiect 2

Schema cinematica subansamblu ochi

1 - Servo motor (stngadreapta)

2 - Servo motor (sus-jos)
3 - Bra de transmitere a
micrii
4 Ochi
5 - Roat dinat 1
6 - Roat dinat 2

Schema cinematica subansamblu ochi

Proiect 2

Proiect 2
Calcul cinematic subansamblu ochi
miscarea stanga-dreapta

Proiect 2
Calcul cinematic subansamblu ochi
miscarea sus-jos

Proiect 2
Schema cinematica subansamblu mandibula
1 Mandibul
2 - Axa motorului
3 - Servo motor

Proiect 2
Circuitul de comanda pentru servomotoare

Proiect 2
Placa pentru controlul servomotoarelor

Proiect 2
Interfaa de comand a servomotoarelor (Delphi 32)

Proiect 2

Proiect 2

Proiect 2
COSTURI MATERIALE
- plac de comand servomotoare: 18 Ron
- cablu de comunicare USB to RS 232 Converter: 50 Ron
- placa de comunicare serial: 6 Ron
- programator USBasp: 14 Ron
- servomotoare, 3buci: 3x35 Ron (105 Ron)
- cap de manechin: 30 Ron
- uruburi, material pentru piesa de baz i restul componentelor: 5 Ron

Totalul va fi 228 Ron. Acest pre este valabil doar pentru o singur bucat, la
serie mare preul cade proporional, astfel putnd ajunge la un pre de vnzare
de 150 Ron.

Proiect 3

Proiect 3
Subansamblul sprancene

Proiect 3

Subansamblul pleoape

12345-

Servo motor
Braul motorului
Bra intermediar
Bar de conectare
Axa pleoapelor

Subansamblul buze

Proiect 3

Subansamblul buze

Proiect 3

Cele 3 servomotoare GWS sunt folosite cum urmeaz: 2 motoare PICO+F

pentru subansamblul de ochi (sus-jos, stnga-dreapta), servomotorul NARO
pentru acionarea pleoapelor.
S-a ales aceast soluie fiindc motoarele GWS au dimensiuni mai mici dect
cele ART-TECH, ceea ce este util la acionarea pleoapelor, locul pentru
montarea acestuia fiind strmt.

Proiect 3
Circuitul de comanda pentru servomotoare

Proiect 3
Placa de control a servomotoarelor

Proiect 3

Lista de componente pentru realizarea parii electronice:

-plac de comand servomotoare: 27 Ron
-cablu de comunicare USB to RS 232 Converter: 50 Ron
-placa de comunicare serial: 6 Ron
-programator USBasp: 14 Ron
-servomotoare, 3x35 + 7x20 Ron (245 Ron)
-uruburi, material pentru piesa de baz i restul componentelor: 80 Ron
Totalul va fi 422 Ron. Acest pre este valabil doar pentru o singur
bucat, la serie mare preul cade proporional, astfel putnd ajunge la un
pre de vnzare de 220 Ron.

Proiect 3

Prof.Dr.Ing. Dan Mndru

Departamentul de Mecatronica si Dinamica Masinilor
Facultatea de Mecanica
Universitatea Tehnica din Cluj-Napoca
B-dul Muncii, nr. 103-105 Cluj-Napoca
Tel. 0264-401645; Fax:0264-415490
email: mandrud@yahoo.com