UNIVERSITATEA DIN ORADEA

FACULTATEA DE INGINERIE ELECTRIC

I TEHNOLOGIA INFORMAIEI
PROGRAMUL DE STUDIU TEHNOLOGII AUDIO VIDEO I
TELECOMUNICATII
FORMA DE NVMNT ZI

RECUNOATEREA FEELOR

PROFESOR:
Prof. univ. dr.ing CRISTIAN GAVRA

MASTERAND:
MANEA FLAVIUS VLAD

ORADEA
2016
Cuprins
1.Introducere ......................................................................... 2

2. Algoritmi de recunoatere a feelor ................................ 5

2.1 Analiza pe Componente Principale (PCA) ................. 5
2.2 Analiza Discriminatorie Liniar (LDA) ..................... 7
2.3 Tehnici de procesare local ......................................... 7

3. Aplicaii ale algoritmilor de recunoatere a feelor ....... 8

3.2 Tehnici de preprocesare ............................................... 9
3.2 Metoda PCA i variantele sale................................... 10

4.Discuie asupra sistemelor biometrice ............................ 11

4.1 Proceduri de evaluare a performanelor .................. 12

5. Modaliti de fraudare................................................... 12
 1.Introducere
Identitatea unei persoane este reprezentat nu de actele oficiale pe care le
deine, ci de un set extins, complex, variabil n timp i nu ntotdeauna uor de
definit de trsturi personalizate, de natur anatomic, fiziologic sau
comportamental. Unele dintre aceste trsturi (considerate izolat sau sub forma
unor combinaii) pot fi folosite, mpreun cu tehnici automate de procesare a
semnalelor, pentru implementarea aa-numitelor sisteme biometrice, capabile s
recunoasc sau svalideze autenticitatea identitii unor persoane.

Pentru definirea i msurarea performanelor trebuie avute n vedere

urmtoarele elemente ce compun un sistem biometric ideal:
- toi membrii populaiei posed caracteristicile pe care sistemul le identific
- fiecare semntur biometric a unei persoane difer de semnturile tuturor
celorlalte persoane din populaia supus analizei
-semntura biometric nu variaz semnificativ n funcie de condiiile
particulare n care este extras (obinut)
-sistemul rezist tentativelor de fraudare a semnturilor

Arhitectura unui sistem biometric generic include urmtoarele module :

a) un senzor utilizat pentru colectarea infomaiilor primare i conversia

acestora n format digital
b) un algoritm de procesare de semnal care va extrage o semntur
biometric adecvat
c) o baz de date n care se stocheaz semnturi provenind de la o
populaie de subieci
d) o procedur de comparaie a semnturii corespunztoare unei persoane
necunoscute cu cele stocate n baza de date
e) o procedur de decizie (complet automat sau asistat de ctre om) care
utilizeaz rezultatul comparaiei anterioare n vederea efecturii unei aciuni.

Schema-bloc a unui sistem generic de recunoatere a feelor se prezint n

Fig. 1.1, n care se distinge prezena unui modul de extragere a
semnturiispecifice fiecrei fee i a unui modul de clasificare, a cror
proiectare este de regul corelat.
Exist 2 abordri majore pentru a obine informaia caracteristic unei fee,
cu avantaje i dezavantaje specifice, ce pot fi folosite pentru extragerea
semnturilor de interes att pentru aplicaii de recunoatere ct i pentru cele de
verificare, diferene aprnd datorit tipului de clasificator utilizat:
 Fig. 1.1 Schema-bloc a unui sistem de recunoatere/verificare a feelor

a) algoritmi bazai pe analiza statistic a imaginilor disponibile, al cror

scop const n identificarea unei baze reprezentative n raport cu care s poat fi
exprimat orice imagine sub forma unei combinaii liniare de vectori ai bazei. Din
aceast categorie fac parte metode precum Analiza pe Componente Principale ,
Analiza Discriminatorie Liniar i Analiza pe Componente Independente .

b) algoritmi bazai pe msurarea unor trsturi geometrice referitoare la

distane ntre puncte semnificative de pe suprafaa feei. Ca exemple putem
enumera metodele Elastic Bunch Graph Matching i Local Feature Analysis .

Cteva studii recente trec n revist tendinele actuale din acest domeniu,
printre care menionm:

- extensii de tip nucleu (kernel) ale unor metode clasice de proiecie pe subspaii
liniare, care au condus la apariia algoritmilor de tip Kernel PCA/LDA/ICA
- algoritmi bazai pe utilizarea unor reprezentri folosind baze cu bun localizare
spaial, respectiv metode urmrind descompunerea feelor n componente
distincte (gupate n jurul unor puncte reprezentative precum ochii, nasul, gura
denumite generic puncte fiduciale)
- analiza imaginilor 3D i aplicarea tehnicilor de morfism (care urmresc
generarea unor imagini virtuale ale unei persoane pornind de la un set de imagini
captate din unghiuri neconvenabile)
- un numr semnificativ de articole recente au ca element comun abordarea bazat
pe modelarea i aproximarea distribuiei spaiale a imaginilor reprezentnd fee
umane sub forma aa-numitelor varieti matematice (manifolds).

Enumerm n continuare principalele aspecte critice referitoare la acest

subiect, indicate n Fig. 1.2, prezentndu-le ca pe un sumar de ntrebri
fundamentale i indicnd soluiile raportate n literatur.
 Fig. 1.2 Aspecte specifice aplicaiilor de recunoatere/verificare a feelor

2. Algoritmi de recunoatere a feelor

n mod special, identificarea, extragerea i ierarhizarea setului de trsturi
semnificative care va constitui semntura fiecrei fee supuse analizei continu
s reprezinte un subiect de larg interes. De multe ori alegerea metodei de extragere
a trsturilor semnificative este strns legat de tipul clasificatorului ce urmeaz
a fi utilizat n vederea furnizrii deciziei.
Mai mult, dimensiunea i particularitile bazei de date disponibile impun
constrngeri suplimentare n privina alegerii soluiei adecvate.

2.1 Analiza pe Componente Principale (PCA)

n acest context, se dovedesc utile tehnicile de compresie, folosite pentru a

reduce dimensiunea datelor originale, n condiiile unor pierderi de informaie
(inevitabile) ct mai mici. Tehnicile de compresie uzuale aparin de regul uneia
din urmtoarele 3 categorii:
a) codare (liniar) predictiv;
b) calcul de transformate liniare;
c) cuantizare vectorial.
n cele ce urmeaz vom introduce una dintre cele mai cunoscute metode
de compresie aparinnd celei de a doua clase, denumit Analiza pe Componente
Principale (Principal Component Analysis PCA) sau transformata Karhunen-
Loeve. Metoda PCA descris anterior a fost aplicat cu succes la recunoaterea
feelor,sub denumirea generic Eigenfaces . Materia prim o constituie
ansamblul imaginilor disponibile n baza de date, formate din matrici cu valori
reale (eventual binare). Fiecare astfel de matrice, presupus de dimensiune
(MxN), este mai nti transformat ntr-un vector de aceeai lungime, prin
concatenarea coloanelor corespunztoare.

Principalul avantaj al metodei PCA const n simplitatea sa. Exist

posibilitatea de a calcula vectorii proprii principali nu numai n variant off-line
prin procedura algebric descris anterior ci i on-line, folosind anumite reele
neurale artificiale pentru a ajusta n mod iterativ valorile acestora, pe msur ce
se aplic date noi la intrare. n cazul aplicrii metodei PCA la recunoaterea
feelor, trebuie menionate i o serie de dezavantaje, care limiteaz performanele
sistemelor bazate pe acest instrument de analiz:

- principalul dezavantaj const n faptul c ignorarea componentelor care

contribuie puin la energia imaginilor originale nu conduce automat i la
mbuntirea separrii (discriminrii) dintre diversele subclase de imagini
aparinnd unor persoane diferite (altfel spus, minimizarea erorii de reprezentare
nu nseamn neaprat mbuntirea performanelor de clasificare). Un exemplu
intuitiv este prezentat n Fig. 1.3, care indic faptul c cele dou clase pot fi
separate comod efectund proiecia pe componenta principal mai puin
semnificativ.

- un alt dezavantaj al tehnicii PCA l reprezint caracterul global al acesteia, n

sensul c matricea de convarian (deci i valorile i vectorii proprii) este dedus
lund n considerare toate imaginile disponibile, care pot s conin o foartemare
variabilitate din punct de vedere al nivelului de iluminare, orientrii, fundalului .

Fig. 1.3 Metoda PCA nu asigur ntotdeauna maximizarea

discriminabilitii: direcia de clasificare optimal corespunde vectorului
propriu mai puin semnificativ
 2.2 Analiza Discriminatorie Liniar (LDA)

Pentru a identifica direciile din spaiu de-a lungul crora ar fi indicat s

efectum proiecia pentru a maximiza separarea (discriminabilitatea) datelor
procesate se poate utiliza o alt tehnic liniar de natur statistic, cunoscut sub
denumirea Linear Discriminant Analysis (LDA). Pentru a ilustra aceast metod,
s considerm cazul mai simplu al clasificrii unui set de vectori x n 2 categorii
distincte, avnd fiecare N1, respectiv N2 exemplare.
Ne propunem s identificm acea direcie particular care asigur maximizarea
ratei de clasificare corect, altfel spus direcia de-a lungul creia separarea dintre
clase este cea mai mare.
Un alt dezavantaj, pe care l prezint ambele tehnici descrise anterior, se
refer la faptul c identificarea setului de trsturi semnificative se face folosind
exclusiv datele de intrare, nu i eticheta corespunztoare categoriei crora acestea
aparin.
n final, s menionm c n literatur au fost propuse i utilizate cu succes
unele variante neliniare ale acestor metode, de exemplu bazate pe arhitecturi
speciale de reele neuronale artificiale.

2.3 Tehnici de procesare local

O serie de lucrri semnifcative aprute recent se refer la reprezentarea
obiectelor naturale prin pri componente (parts-based object recognition),
justificat intuitiv de o serie de avantaje poteniale ale acestora precum stabilitatea
la deformri locale, grad sporit de invarian n raport cu nivelul de iluminare,
toleran la acoperire parial.
n cazul particular al procesrii feelor, imaginea se descompune
ntr-o combinaie liniar de imagini bine localizate n spaiu, ca n Fig. 1.4, care
pot fi interpretate drept componentele unor baze specifice.

Fig. 1.4 Reprezentarea feelor prin pri componente

Vom prezenta n continuare cteva modaliti diferite de a obine astfel de

reprezentri. Procedura general este urmtoarea: imaginile folosite sunt reunite
sub forma unei matrici X, fiecare coloan a matricii reprezentnd vectorul
intensitii luminoase a pixelilor corespunztori unei anumite fotografii. Vom
nota cu B setul de vectori ai bazei (localizate spaial) i cu H matricea
coeficienilor descompunerii imaginilor n raport cu aceast baz (aceti
coeficieni reprezint proiecii ale matricii de date X pe baza B). Dac numrul de
vectori ai bazei este mai mic dect lungimea vectorilor din matricea X (i de
regul, aa se i ntmpl), atunci se obine compresia datelor de lucru, iar fiecare
linie a matricii H va forma semntura unei imagini din baza de date.
Procedura de recunoatere efectiv se va baza pe identificarea distanei
minime dintre o astfel de semntur corespunztoare unei imagini de test i
semnturile imaginilor din setul de antrenare. Diversele tehnici folosite impun
constrngeri specifice asupra lui B i/sau H, n unele cazuri obinndu-se baze
localizate spaial.

3. Aplicaii ale algoritmilor de recunoatere a feelor

Vor fi analizate aspecte specifice fiecruia dintre cele 3 module de baz
care compun un sistem automat de recunoatere a formelor (preprocesare,
extragere de trsturi, clasificare), avnd la dispoziie seturi de imagini
disponibile public i utilizate frecvent n literatur pentru analiza comparativ a
performanelor diverselor soluii propuse. ncepem prin a descrie sumar bazele de
date folosite, vom continua cu prezentarea exemplelor concrete, iar n final vom
enumera o serie de concluzii i comentarii pe marginea rezultatelor obinute.

Menionm c scenariul utilizat n fiecare experiment presupune

folosirea a 2 seturi de date distincte:

- setul de antrenare (denumit n literatur gallery set) reprezint materia prim

utilizat de diveri algoritmi pentru a obine informaiile necesare n vederea
generrii semnturii imaginii analizate. Aceste informaii pot fi, de exemplu,
vectorii proprii semnificativi ai matricii de covarian (n cazul algoritmului
PCA), sau vectorii care definesc direciile de maxim discriminabilitate (n cazul
algoritmului LDA).
- setul de test (denumit n literatur probe set) este format din imagini proaspete,
neutilizate n faza de antrenare, care vor servi pentru a estima performanele reale
ale metodei de recunoatere studiate.

Pentru ca rezultatele s fie relevante din punct de vedere statistic, de obicei

se efectueaz experimente repetate, alocnd n mod aleator imaginile din baza de
date disponibil ctre setul de antrenare, respectiv cel de test, iar valorile ratelor
de recunoatere rezultate n fiecare experiment se mediaz pentru a obine n final
un rezultat care estimeaz nivelul real de performan al soluiei analizate.
 3.2 Tehnici de preprocesare

Multe dintre tehnicile de recunoatere a feelor, n particular metoda PCA,

sunt foarte sensibile la alinierea corect a imaginilor care formeaz setul de
antrenare, performanele degradndu-se semnificativ dac acestea sunt uor
translate sau rotite.
Din acest motiv, multe soluii folosesc o etap premergtoare de
preprocesare (automat sau manual) care are drept rezultat obinerea unei baze
de date formate din imagini avnd aceeai scal de reprezentare i neafectate de
translaii relative sau rotaii n planul imaginii (tipic, segmentul definit de poziia
ochilor este folosit pentru aceast etap de normalizare).
n plus, exist argumente teoretice care justific utilizarea exclusiv a zonei
care definete faa propriu-zis, eliminndu-se influena fundalului i a prului. n
acest scop se utilizeaz mti de form oval, precum se indic n Fig.1.5 n
cazul bazei de date AR.
Dimensiunile mari ale imaginilor reprezint de multe ori o problem
major, deoarece volumul de calcul poate deveni excesiv n unele cazuri. innd
cont de rezultate care confirm degradarea lent a performanelor de recunoatere
n raport cu rezoluia folosit, se pot aplica proceduri de subeantionare care s
conduc la dimensiuni rezonabile (de exemplu, de ordinul a 1000-2000 de pixeli).
n particular, se poate face apel la Transformata Wavelet Discret (prezentat pe
larg n capitolul urmtor), care permite reducerea dimensionalitii simultan cu
asigurarea invarianei n raport cu expresia feei.

AR01 1 AR01 2

AR02 AR03 AR04 AR05

AR06 AR07 AR08 AR09

AR10 AR11 AR12 AR13

Fig. 1.5 Exemple de imagini din baza de date AR

 3.2 Metoda PCA i variantele sale

Metoda PCA (denumit eigenfaces n contextul aplicaiilor de recunoatere

a feelor) reprezint fr ndoial referina n raport cu care se compar
performanele oricrui algoritm propus n literatur.
Dei simplu de aplicat i oferind performane rezonabile n condiii dintre
cele mai diverse, metoda este totui afectat de unele limitri precum
sensibilitatea n raport cu alinierea imaginilor i nivelul de iluminare, cerina de a
beneficia de o baz de date de dimensiune suficient de mare, dificultatea de a
opera on-line (n sensul de a putea actualiza fr un efort de calcul substanial
valorile vectorilor proprii semnificativi odat cu apariia unor date proaspete n
setul de antrenare).
Ca urmare, au aprut o serie de variante ale algoritmului standard, care
ncearc s diminueze aceste neajunsuri. Utilizarea efectiv a metodei presupune
aplicarea acestei transformri asupra fiecrei imagini din baza de date, urmnd ca
apoi s folosim varianta standard a algoritmului PCA.
O alt soluie i propune s atenueze sensibilitatea PCA n raport cu nivelul
variabil de iluminare. Astfel, pornind de la observaia intuitiv potrivit creia
iluminarea influeneaz destul de puin contururile unei imagini, metoda
eigenhills propune detecia prealabil a contururilor feelor din baza de date, dup
care aplic metoda PCA standard.
n realitate, pentru a prentmpina dezavantajul conform cruia imaginile
reprezentnd contururile sunt mult mai sensibile la translaii relative i expresii
variabile ale feei, se aplic asupra contururilor o operaie de filtrare trece-jos,
astfel nct informaia este mprtiat oarecum n spaiu, dup cum se
sugereaz n Fig.1.6

a)

b)
Fig. 1.6 Variante ale algoritmului PCA : a) metoda PCA ; b) metoda eigenhills
 4. Discuie asupra sistemelor biometrice

Extinznd cadrul discuiei la ansamblul tehnologiilor biometrice, merit

trecute n revist o serie de elemente specifice acestui domeniu, care trebuie avute
n vedere n cazul implementrii unor sisteme automate capabile s furnizeze
nivele satisfctoare de performan n aplicaii realiste.
Sistemele comerciale folosesc de regul primele patru categorii, datorit
existenei senzorilor necesari cu preuri i performane satisfctoare, dar i a
suportului teoretic aferent procesrii adecvate a datelor disponibile. n continuare
vom enumera avantajele i dezavantajele celor mai importante tehnologii:

-amprentele: au avantajul c se pstreaz practic nealterate n decursul vieii i

i au demonstrat deja eficiena n practic, existnd un volum apreciabil de date
colectate. Preul suficient de sczut al multor senzori, diversitatea tehnologiilor
de obinere i dimensiunile reduse sunt de asemenea atractive. Ca dezavantaje
putem meniona posibilitatea ca anumite profesii s poat conduce la alterarea
calitii amprentelor, obinerea unor date de bun calitate poate necesita o
anumit procedur de antrenare, precum i reticena de a atinge un senzor pe
care l-au atins n prealabil foarte multe persoane.

- irisul: nu necesit un contact fizic cu senzorul i reprezint o informaie extrem

de individualizat. Pe de alt parte, exist o reinere n a expune ochii ctre o
surs de lumin, este necesar o pricepere mai mare dect n alte cazuri pentru a
extrage informaia de interes, exist riscul ca informaia util s fie mascat de
prezena unor lentile, a genelor sau a reflexiilor de pe cornee. Tehnologia de
procesare a unor astfel de informaii a fost elaborat la nceputul anilor 80 de
ctre cercettorul american John Daugman i este protejat de o serie de patente.

-faa: reprezint de asemenea o tehnic neinvaziv, utilizeaz drept senzori

camere de fotografiat sau filmat disponibile pe scar larg, exist baze de date de
dimensiune mare, iar rezultatele pot fi verificate cu uurin. Pe de alt parte,
feele sunt puternic afectate de nivelul de iluminare, expresie, transformri
geometrice, mbtrnire, iar unele aplicaii video presupun vitez de operare
sporit. n practic, pe lng distincia dintre problemele de recunoatere i cele
de verificare, se disting cteva direcii particulare de folosire a acestor informaii
precum analiza expresiei feei, determinarea strii emoionale, detecia i
urmrirea ochilor sau a buzelor.

-vocea: este acceptat pe scar larg, senzorii sunt la ndemn i nu necesit

contact fizic cu utilizatorul. n schimb, vocea prezint variaii semnificative n
raport cu vrsta, starea de sntate i cea emoional, apar dificulti datorate
alterrii vocii de ctre tipul microfonului utilizat i a zgomotului ambiental, iar
rezultate satisfctoare sunt dificil de obinut pe baze de date de dimensiune
mare.Sunt avute n vedere dou familii mari de aplicaii, de recunoatere a vorbirii
(indiferent de persoana care rostete cuvintele, precum n cazul roboilor
telefonici), respectiv de identificare a vorbitorului.

4.1 Proceduri de evaluare a performanelor

nainte ca un sistem biometric automat s devin pe deplin operaional,

acesta este supus unui ansamblu de teste specifice, fiecare avnd un scop precis,
fixat n acord cu o modalitate particular de analiz i utiliznd o baz de date
adecvat. Putem identifica urmtoarele tipuri de proceduri de evaluare :

-evaluarea tehnologiei: urmrete validarea metodei analizate folosind baze de

date standardizate de dimensiune mic, identificnd aspectele critice care necesit
o analiz teoretic suplimentar i furniznd nivele de performan cu rol de
referin pentru celelalte tipuri de proceduri de testare.

-evaluarea pe baz de scenariu: dureaz mai mult ca n cazul precedent i i

propune s msoare performanele pentru o aplicaie specific, folosind baze de
date de dimensiuni mari, achiziionate de la un numr de utilizatori nefamiliarizai
n prealabil cu sistemul. Rezultatele pot evidenia zone care necesit analiz
suplimentar sau posibiliti de integrare i ofer valori mai exacte ale nivelelor
reale de performan.

-evaluarea operaional: are n vedere cuantificarea impactului pe care

introducerea sistemului biometric l are asupra ansamblului n care acesta este
inclus. n acest context, este necesar evaluarea strii existente nainte
deintroducerea sistemului, respectiv celei de dup familiarizarea utilizatorilor cu
modalitatea concret de operare a acestuia. Astfel de teste pot avea durate mari,
de ctorva luni, iar aspectele vizate se refer att la tehnologia propriu-zis, ct i
la efectele psihologice i economice pe care aceasta le produce.

5. Modaliti de fraudare
Nu exist sisteme biometrice ideale: implementarea oricrei metode de
recunoatere/verificare bazate pe utilizarea unor astfel de informaii este inevitabil
limitat inferior de valori a cror estimare precis reprezint subiectul unor
proceduri riguroase de evaluare standardizat i/sau al unor competiii de mare
anvergur, precum cele organizate periodic de ctre organizaia guvernamental
american National Institute of Standards and Technology (www.nist.gov).
 n particular, aplicaiile de verificare (autentificare) trebuie s asigure un
compromis rezonabil ntre cele dou tipuri majore de erori (rata de acceptare,
respectiv de rejecie fals), astfel nct s minimizeze probabilitatea de acces la
resurse/spaii protejate a unor persoane neautorizate fr a deranja excesiv pe
utilizatorii autorizai. Alegerea concret a unor valori limit pentru aceste erori
depinde nemijlocit de aplicaia considerat i de restriciile aferente, astfel nct
n realitate vor exista ntotdeauna portie care pot fi folosite n tentative de
fraudare.
Pe de alt parte, folosind seturi de date generate artificial, au fost raportate
i demonstrate posibiliti de a pcli destul de uor chiar i sisteme comerciale
care s-au dovedit performante n testele de evaluare. Spre exemplu, cercettorul
japonez Tsutomu Matsumoto i grupul su de la Yokohama National University
au obinut amprente artificiale pe baz de gelatin, pornind att de la amprentarea
direct a unor degete, ct i de la amprente latente, prelevate de pe o bucat de
sticl.
n ambele variante, o serie de sisteme comerciale au fost pclite n 80%
dintre cazuri! n cazul aplicaiilor de autentificare a feelor, un studiu recent
publicat n revista german ct a artat c unul dintre sistemele cele mai bune de
pe pia, FaceVACS produs de ctre firma Cognitec (una dintre ctigtoarele
detaate ale ultimei competiii Face Recognition Vendor Test ), poate fi fraudat
prin prezentarea n faa senzorului optic a unei fotografii corespunztoare unei
persoane autorizate sau rularea unui scurt fiier video.
Ca urmare, firma a introdus o procedur suplimentar de detecie a
prezenei fizice a unei persoane n faa senzorului (Live- Check), ns acest
element a ngreunat accesul utilizatorilor autorizai. De altfel, rularea unei
nregistrri n care o persoan i mic uor capul dintr-o parte n alta a pclit
din nou sistemul.
Nici n cazul recunoaterii irisului situaia nu este cu mult mai bun, dei
aceast informaie biometric este recunoscut ca fiind cea mai puin repetabil.
Portia de intrare o reprezint particularitatea c multe sisteme comerciale
preleveaz n realitate nu numai poriunea strict ocupat de iris, ci i o zon de
dimensiune variabil din jurul acestuia.
Astfel, jurnalitii de la aceeai revist german au efectuat un test cu
sistemul Authenticam BM-ET100 produs de ctre firma Panasonic, folosind
fotografia ochiului unei persoane autorizate, dar decupat n centru pentru a
permite inspectarea irisului unei alte persoane, iar sistemul nu a sesizat diferena!
Pe de alt parte ns, proiectarea imaginii digitizate a irisului unei persoane
autorizate de pe ecranul unui notebook nu a reuit s pcleasc sistemul.