Imagini Curs 11/2013

Curs 11
6. Descrierea obiectelor
6.1 Descriptori de contur
6.1.1 Lan numeric (codul lan) n contextul acestui capitol termenul form (shape) are avea semnificaia regiune din imagine. Conturul este grania sau frontiera regiunii. ntr-un capitol viitor termenul form (pattern) va fi folosit pentru a indica un vector de caracteristici. Pentru a sublinia aceast diferen de semnificaie vom folosi acum termenul obiect. Aceast metod este util pentru descrierea obiectelor mrginite de frontiere, alctuite din segmente de dreapt de lungimi i direcii cunoscute. Codul lan se bazeaz pe 8 conectivitate (figura 6.1) sau 4 - conectivitate i formeaz un cod numeric plecnd de la notaia circular Freeman a direciilor.
1 8 7 A 6 5 4 2 3

Codul lan: (888233333344466777211667) Figura 6.1 Exemplu de cod lan ntr-o 8 - conectivitate Codul lan depinde de punctul de start, de mrimea i orientarea obiectului n imagine. Translatarea obiectului n imagine nu modific codul lan dect n msura n care pasul de digitizare este prea mare, i ca urmare conteaz poziia obiectului relativ la grila de digitizare. Codul lan se poate normaliza relativ la punctul de start, tratndu-l ca secven circular a numerelor asociate direciilor, i redefinind acest punct astfel nct secvena rezultat s aib amplitudinea minim. Pentru orientare, se poate normaliza codul lan fcnd s apar prima diferen n locul codului lan propriu-zis. Pentru prima diferen calculul se face n sens trigonometric contoriznd numrul de direcii care separ dou elemente adiacente ale codului lan (figura 6.2). Codul diferenelor se scrie n inel, prima direcie se compar cu ultima. Un cod lan are mai multe prime diferene depinznd de punctul de start, punctul de start n parcurgerea conturului. Numrul obiectului este prin definiie prima diferen cu amplitudinea cea mai mic. Ordinul n, pentru un numr de obiect, este definit ca numrul de cifre coninut n codul lan. Un contur nchis, ntr-o 4 - conectivitate, este caracterizat de un numr de obiect par. Valoarea ordinului limiteaz numrul de obiecte diferite posibile.
1 A 2 0

codul lan (010303223211) 3 prima diferen (313313301330) Figura 6.2 Exemplu de prim diferen n 4 - conectivitate
1/9

Imagini Curs 11/2013

Obiectul 1

Obiectul 2 Obiectul 3

Obiectul 4

Obiectul 5 Obiect 2 6 003221 303303 033033 Obiect 3 4 00332211 30303030 03030303 Obiect 4 8 00323211 30331330 03313303 Obiect 5 8 00032221 30033003 00330033

Obiect 1 Ordin Cod lan Diferena Numrul obiectului 4 0321 3333 3333

Figura 6.3 Exemple pentru numerele obiectelor Codul numrul obiectului nu depinde de rotaie, dar este dependent de orientarea grilei de conectivitate (figura 6.3). Normalizarea definiiei grilei n raport cu obiectul se poate face alegnd, de exemplu, axa principal ca linia dreapt cea mai lung, iar axa secundar, perpendiculara pe prima i limitat de contur. Normalizrile propuse nu sunt singurele posibile. n general rezultatele ateptate n urma acestor normalizri sunt exacte n msura n care i contururile sunt ele nsele invariante la rotaie i la mrime (un acelai obiect apare n imagine mai mare sau mai mic, n funcie de distana pn la camer), ceea ce este dificil de obinut din simplul motiv c imaginea trebuie considerat numai n nodurile reelei rectangulare de digitizare. Cu toate acestea, codul lan, prin simplitate, se face util ntr-un numr de aplicaii. Codul lan reduce dimensiunea reprezentrii, dar ofer i avantaje utilizabile pentru msurarea unor caracteristici fizice ale obiectelor care apar n aplicaii industriale: aria, perimetrul, grosimea. 6.1.2 Descriptori Fourier Considerm conturul ca o curb nchis reprezentat n planul complex. Fiecrui punct de coordonate (x,y) de pe contur i corespunde un punct z = x + iy n planul complex. Parcurgnd curba n sens trigonometric cu vitez uniform, se poate da o reprezentare parametric n t: z (t) = x(t) + iy(t). Viteza de parcurgere trebuie s conduc la o perioada 2. Parcurgerea se poate face repetat, i deci se asigur periodicitatea i posibilitatea de a dezvolta pe z(t) ntr-o serie Fourier convergent. Dac se discretizeaz z(t) cu un pas uniform i se obine z(k), varianta discret a semnalului, cu N componente atunci se poate scrie transformata Fourier discret astfel:
z(k ) =

n =0

a ne

nk

2 i N

, unde an corespund celor mai mici N frecvene dup relaia: a n =

1 N

k =0

z ( k )e

nk

2 i N

Aceast serie este reprezentarea Fourier clasic a conturului obiectului. Se impune o normalizare a acestei reprezentri pentru a elimina efectul mrimii, punctului de start, poziiei i orientrii obiectului, i se face astfel reprezentarea apt de a fi utilizat ntr-un proces de identificare de obiecte. Normalizarea la translaie se face prin forarea lui a0 la zero. Normalizarea n raport cu mrimea obiectului se face prin mprirea tuturor coeficienilor prin |a1|, care n condiiile de mai sus este cel mai mare coeficient. Punctul de start i orientarea conturului obiectului afecteaz numai faza coeficienilor. Fiind doi factori implicai pentru normalizare, trebuie luai n considerare doi coeficieni, cel puin. Se ncearc aducerea la zero a fazelor celor doi coeficieni cu amplitudinile
2/9

Imagini Curs 11/2013

k 1 cele mai mari. Fie acetia a1 i ak. Se multiplic toi coeficienii ai prin e , unde i sunt fazele celor doi coeficieni amintii. Totui condiia de faz nul pentru cei doi coeficieni este ndeplinit pentru |k-1| combinaii diferite de orientri i puncte de start. Dac avem k = 2 totul este n regul, dar aceasta nu se ntmpl n general i atunci normalizarea trebuie continuat prin implicarea unui al treilea coeficient.

[( i k )+(1i ) ]

6.1.3 Funcia unghiular cumulativ Conturul nchis al obiectului este reprezentat parametric sub forma {x(t), y(t)}, unde t este lungimea msurat de la punctul de start pn la punctul curent, pe curb, i deci 0 t L , cu L lungimea curbei. Funcia unghiular cumulativ se definete ca: (t) = (t) - (0), unde (t) este direcia unghiular n punctul curent t. (t) este unghiul pe care tangenta la curb, n punctul t, l face cu axa absciselor. Pentru a nu lua n calcul informaia legat de mrimea obiectului L, ci o periodicitate 2, se poate folosi o alt formulare: * (t ) =
Lt + t pe [0,2] , care asigur invariana nu numai la mrime ci 2 i la translaie i orientare. Se observ c pentru un cerc * (t ) = 0 , ceea ce poate indica faptul c

funcia msoar diferena dintre forma respectiv i o form circular. Toate curbele plane i nchise identice ca form i punct de start se transform prin acest procedeu n aceeai funcie * (t ) . Fie V0, V1, Vm-1 vrfurile conturului poligonal. Dac distana Vi-1Vi este Li atunci schimbarea unghiular corespunztoare vrfului i este i . Folosind schimbarea de variabil din relaia precedent, se constat c pentru calculul numeric nu este convenabil utilizarea ( ) i d, unde
= Lt , pentru c acestea sunt mrimi greu accesibile din punct de vedere practic. Mai accesibile 2
k i =1

sunt, pentru un contur poligonal, lungimea arcului l k = li i schimbarea de orientare cumulativ

k =

i =1

, pna la, respectiv ntr-un vrf al conturului poligonal.

Se poate considera acum situaia ilustrat n figura 6.6, calculnd schimbrile de direcie n punctele succesive de pe contur dup formula: (t ) = i , unde li l li ,
i =1 i =1 i=1 k k k +1

y (t) x(t),y(t) x(0),y(0) x

Fgura 6.6 Funcia cumulativ de schimbare de direcie

3/9

Imagini Curs 11/2013

Funcia * poate fi descompus ntr-o serie Fourier astfel: * (t ) = 0 + (a k cos kt + b k sin kt ) i

k =1

varianta polar: * (t ) = 0 + A k cos(kt k ) ,

k =1

unde (Ak, k) sunt coordonatele polare ale

punctului (ak, bk). Fiecrei figuri i corespunde o regiune plan n imagine. Fiecare regiune are un contur care poate fi aproximat poligonal. Fiecrui contur poligonal i se poate asocia o funcie * care poate fi dezvoltat n serie Fourier. Se obine astfel o form asociat figurii iniiale i care este un vector alctuit din coeficienii (Ak, k). Reinnd o mulime rezonabil (8-16) dintre aceti coeficieni (Ak, k), se poate caracteriza obiectul respectiv n vederea identificrii. Mai puini coeficieni nseamn pierdere de informaie, alterarea obiectului, iar prea muli nseamn un timp de calcul mai mare. Dac * asigur invariana la mrimea, poziia i orientarea obiectului, rmne de rezolvat invariana la schimbarea punctului de start. Pentru aceasta se poate roti obiectul pn ce punctul de start se suprapune, sau este cel mai aproape posibil de axa principal de simetrie a obiectului. Aceti descriptori asigur i reconstrucia obiectului iniial. 6.1.4 Curbura Problema care se pune este cum definim curbura pentru o reprezentare discret. Curbura ntr-un punct al unei curbe plane se poate defini ca raportul ntre variaia instantanee a pantei tangentei la curb n punctul respectiv i variaia arcului de curb corespunzator: k (s) =
d (s) . Inversul curburii ds

este raza unui cerc cu aceeai curbur ca i curba n punctul considerat. Pentru o reprezentare parametric i normalizat la intervalul [0,1] a curbei, {x(t),y(t)}, curbura se poate scrie astfel:
k=

(1 + (y) ) 1 + (y)
2

unde

y =

dy d2y , y = 2 . dx dx

Dac

dx d 2 x dy d 2 y x = 2 , x = 2 , y = , y = 2 atunci dt dt dt dt

y =

y x

, y =

x y x y x
2

. Curbura se poate scrie

acum: k =

x y x y x + y2
2 3

Aceeai problem se pune aici ca la oricare descriptor: se poate reconstrui forma dndu-se descriptorii ? Rspunsul este da i demonstraia se poate face cu ajutorul geometriei difereniale: curbele similare ca form au i curburi similare. Problemele care apar sunt date de natura discret a informaiei dintr-o imagine: panta tangentei nu poate varia infinitezimal ci doar cu 45 de grade! Mai mult, derivatele fac curbura sensibil la zgomot. Se poate apela la o variant de calcul n care reprezentarea parametric este modificat printr-o convoluie cu un nucleu de tip Gauss i pentru x(t) i pentru y(t). O valoare de = 5 i calculul curburii pe zone de dimensiune 5, spre exemplu, asigur un echilibru ntre pstrarea detaliilor (convoluia Gauss are efect de netezire) i suprimarea influenei zgomotului.
4/9

Imagini Curs 11/2013

Din modul de calcul parametrizat de-a lungul curbei se elimin efectul translatrii sau rotirii formei. Pentru normalizarea legat de poziia punctului de start, se alege un punct ct mai apropiat de axa principal de simetrie, aa cum s-a mai amintit. Pentru normalizarea legat de mrimea curbei se face mprirea cu valoarea maxim a curburii. 6.1.5 Semntura polar Dup obinerea codului lan al conturului, se calculeaz coordonatele centrului de greutate G i n continuare distana de la fiecare punct al conturului la centrul de greutate n funcie de direcie. Se determin astfel semntura polar care este o caracteristic pe baza creia se poate face identificarea obiectelor. Un rol important n obinerea unui rezultat corect l are precizia cu care se determin coordonatele centrului de greutate. Dac acest centru de greutate se calculeaz numai folosind punctele de pe contur, atunci eventualele erori n aprecierea lungimii efective pe contur pot fi importante.
Mi

direcie

GM

direcie

Figura 6.7 Semntura polar cu pas unghiular constant Se poate parcurge conturul n dou moduri: fie cu un pas de lungime constant, de-a lungul conturului, fie cu un pas unghiular constant n jurul centrului de greutate. Prima variant are dezavantajul unui numr variabil de distane n vectorul semnturii, i avantajul c permite reconstruirea formei, dac se d semntura. A doua variant are dezavantajele imposibilitii reconstruciei formei plecnd de la semntura polar i al unor probleme legate de precizia de calcul i de existena interseciilor multiple. Tot aceast metod prezint ns avantajul c ofer o semntur polar de lungime cunoscut aprioric i controlabil. Vom descrie n continuare varianta cu pas unghiular constant. Vectorul GM baleiaz conturul cu un pas unghiular =
2 unde N este numrul de valori ales pentru semntur. Pentru fiecare poziie a N

vectorului GM se pot obine mai multe puncte de intersecie, lungimile obinute se combin, se
5/9

Imagini Curs 11/2013

calculeaz minimul, media sau maximul acestor valori i se va obine semntura polar GM(a), funcie periodic de perioad 2 (figura 6.7). Se pune problema imunizrii semnturii polare la mrimea obiectului, la poziia i la orientarea obiectului n imaginea numeric. Coordonatele centrului de greutate se calculeaz cu formulele:
XG

x f (i, j) = f (i, j)
i i j i j

YG

y f (i, j) = f (i, j)
j i j i j

, unde I(i,j) este 1 dac punctul aparine

obiectului i 0 n caz contrar, iar i i j sunt indicii de linie i coloan din imagine. Raportarea la aceste coordonate nltur efectul translaiei obiectului n imagine. Pentru nlturarea efectului factorului de scar care face ca obiectul s apar mai mare sau mai mic n funcie de distana de la care este privit (nu se iau n considerare deformrile neasemenea date de o eventual direcie de privire care nu este perpendicular pe planul formei) se poate recurge la o metod foarte simpl de normalizare cu distana maxim. Efectul orientrii diferite a obiectului n imagine (este evident c n fazele de nvare i de clasificare obiectul va avea orientri diferite) a fost nlturat prin aplicarea unei rotaii circulare a semnturii, pn ce o pseudo-ax de simetrie este adus ntr-o poziie prestabilit. O prim soluie ar fi s se compare semntura obiectului examinat cu toate semnturile nvate pentru piesele din lumea cunoscut. De remarcat c exist N x N posibiliti de a compara dou semnturi de dimensiune N, datorit orientrilor diferite (comparare circular). O alt variant este bazat pe estimarea axei de simetrie maximal care trece prin G. Direcia ei, p, este aceea pentru care se minimizeaz funcia:
x j =

( ) [GM(
N i =1

+ j GM i + j

)]

j = 0, 1, ... N 1

Aceasta este direcia s cu proprietatea c s < j j = 0, 1, 2 .. N-1. Determinarea axei de simetrie maximale nu este suficient pentru determinarea orientrii piesei, eroarea fiind de . Comparrile care se fac trebuie s disting ntre urmtoarele patru situaii (figura 6.8). Pentru imunizarea la orientare, semntura polar se rotete circular astfel nct direcia p s se afle pe direcia 180.

faa 1

faa 1 rotit cu 1800

faa 2

faa 2 rotit cu 1800

Figura 6.8 Situaiile care conduc la aceeai semntur Precizia obinut este proporional cu N, uzual se lucreaz cu o semntur de 360 de grade, deci cu o discretizare a direciei din grad n grad. N = 360 {d(k), k = 0, 1, 2 ... N-1}. Determinarea orientrii i identificrii feei vizibile a unei piese, corespunde la o complexitate mai mic dect aceea cerut de compararea circular. Varianta cu pas de lungime constant se utilizeaz mai ales acolo unde se ntlnesc forme cu multiple concaviti, i n acest caz se acord o atenie particular ponderrii distanelor pe contur, n funcie de poziia relativ a pixelilor vecini, pentru a minimiza erorile de calcul.
6/9

Imagini Curs 11/2013

6.1.6 Histograma de intersecie O alt metod de descriere a obiectelor care poate fi avut n vedere se bazeaz pe construirea histogramelor de intersecie dintre conturul formei i un set de drepte generate aleator (figura 6.9). Orientarea, poziia i mrimea formelor respective se presupun normalizate anterior.
frecvena de apariie

numr puncte de intersecie

Figura 6.9 Histograma de intersecie

Se genereaz aleator, att n faza de antrenament ct i n faza de clasificare seturi de cte N (de exemplu N=256) drepte aleatoare i se contorizeaz pentru fiecare n parte numrul de puncte de intersecie cu conturul formelor respective. Histograma, care reprezint probabilitatea ca o dreapt s aib un anumit numr de puncte de intersecie cu conturul, se poate folosi drept caracteristic, devine o semntur, pentru obiectul respectiv n procesul de clasificare.

6.2 Descriptori de suprafa

6.2.1 Descriptori topologici Descriptorii topologici sunt descriptori legai de proprietile topologice ale obiectului, i care sunt invariani la rotaie, translaie i omotetie. Ei accept chiar i deformri plastice, dar nu i pe cele de tip pliere sau rupere. Proprietile prezentate n continuare sunt insensibile la distana ntre puncte, dar nu i la conexitatea punctelor: numrul de guri H dintr-o suprafa omogen, respectiv numrul de componente conexe C. O component conex a unui ansamblu este un subansamblu de mrime maxim, astfel nct dou puncte ale ei s poat fi legate ntre ele de o dreapt sau o curb continu care rmne n ntregime n interiorul subansamblului. Regiunea din figura 6.10 are trei componente conexe reprezentate de trei zone independente. Relaia topologic care definete descriptorul clasic cunoscut sub numele de numrul lui Euler se scrie: E = C-H. Formula lui Euler (figura 6.11) este n acest context: S Q + F = C H, unde S este numrul de vrfuri, Q este numrul de laturi, F este numrul de fee.

Figura 6.10 Regiuni conexe

7/9

Imagini Curs 11/2013

H=1 C=1 E=0

H=2 C=1 E=-1

Figura 6.11 Exemple de calcul pentru numrul lui Euler

6.2.2 Descriptori geometrici Aceti descriptori sunt cei mai simpli descriptori de suprafa pentru c ei iau n considerare numai atribute metrice: perimetru, suprafa, raza cercului nscris etc. Numai cu titlu de exemplu putem meniona: L axa _ mare = - excentricitatea: L' axa _ mic p 2 (perimetrul) 2 = A aria A - fineea, inversa compactitii: p2 - compactitatea:

p Pentru obiectele din figura 6.12 se pot aprecia urmtoarele valori pentru descriptorii amintii mai sus: - raportul dintre diametrul cercului nscris sau circumscris i perimetru:

p2 = mic ; A 1

1 = ; p 1

p2 = mare ; A 2

= mic ; p 2

p2 = mare ; A 3

0.5 ; p 3

Figura 6.12 Exemple de calcul pentru descriptori geometrici

6.2.3 Momente

Momentele sunt descriptori care iau n considerare organizarea interioar a punctelor unei suprafee. Ele pot fi aduse la forme invariante la translaie, rotaie sau variaie omotetic. Momentul de ordinul (p+q) al unei funcii f(x,y) se scrie: m pq =

0, 1, 2, ... Aplicat la imagini discrete formula devine: m pq

8/9

x y f (x, y)dxdy , pentru = x y f (i, j) .

p q
p i q j i j

p, q =

Imagini Curs 11/2013

Pentru cazul imaginii binare negre pe fond alb, adic: f(i,j) = 1 dac P(i,j) obiectului: - momentul de ordin zero reprezint aria obiectului din imagine: m 00 = f (i, j) = A ,

- momentele de ordin 1 se calculeaz dup formulele: m10 = x i f (i, j) , m 01 = y jf (i, j) ,

i j i j

- coordonatelor centrului de greutate al obiectului din imagine: X G =

m10 m 00

yG =

m01 . m00

Momentele centrale de ordin (p+q) sunt date de expresia: pq = ( x i x G ) p ( y j y G ) q f (i, j) .

i j

Momentele centrale sunt invariante la translaie, pentru c centrul de greutate se deplaseaz n acelai timp cu obiectul. Momentele centrale de ordin 2 sunt definite astfel: 20 = ( x i x G ) 2 f (i, j) , 02 = ( y j y G ) 2 f (i, j) , 11 = ( x i x G )( y j y G )f (i, j) . Aceste
i j i j
i j

momente permit s se gseasc axele de inerie ale obiectelor. Mai indicm, pentru exemplificare, cteva momente importante:
10 =

(x
i j

x G )1 ( y j y G ) 0 f (i, j) = m10

m10 m 00 = 0 m 00

00 = m 00 ; 11 = m11 + y G m10
2 10 = 0; 30 = m 30 3x G m 20 + 2m10 x g 2 01 = 0; 03 = m 03 3y G m 02 + 2m 01y G 2 20 = m 20 x G m10 ; 12 = m12 2 y G m11 x G m 02 + 2m10 y G 2 02 = m 02 y G m 01; 21 = m 21 2x G m11 y G m 20 + 2m 01x G

Momentele de mai sus pot fi normalizate la schimbarea mrimii formei nlocuind momentele centrale pq cu variantele lor normalizate pq. Momentele centrale normate se definesc prin:
pq = pq
00

p, q = 2,3... cu p+q = +1 2

Urmtoarele momente sunt exemple de momente invariante la translaie i rotaie:

4 = (30 12 ) + (21 + 03 ) ; 5 = ( 30 3 12 )( 30 + 12 )(( 30 + 12 )2 3 ( 21 + 03 )2 ) + 2 2 + (3 21 03 )( 21 + 03 )(3 ( 30 + 12 ) ( 21 + 03 ) );
2 2 2 1 = 20 + 02 ; 2 = (20 02 ) + 411 ; 3 = (30 312 )2 + (321 03 )2 ; 2

6 = (20 02 ) (30 + 12 ) (21 + 03 ) + 411 (30 + 12 )(21 + 03 )

2 2

= (3 21 03

)( 30

+ 12

( 30 3 12

)( 21

03 ) 3 ( 30 + 12

)(( 30

+ 12

)2

3 ( 21 + 03

)2

( 21 + 03

)2 )

)2 )

n aceast manier se genereaz momentele invariante generalizate (invariante la translaie, rotaie i omotetie, adic la grupul similitudinilor afine). S-au realizat aplicaii n care, de exemplu, un avion a fost descris n vederea recunoaterii n zbor prin mrimile celor apte momente generalizate; tot momentele au fost folosite pentru a ajuta la gsirea unei soluii la problema orientrii unui obiect n spaiu. Exist variante de momente 3D.
9/9

Imagini Curs 12/2013

Curs 12
6.2.4 Textura n familia atributelor suprafeelor textura este un descriptor care permite, n anumite circumstane, identificarea obiectelor. Textura nu are o definiie formal dar ea descrie cantitativ atributele de suprafa ca: regularitate, finee, granulaie, rugozitate. Distingem o prim familie a texturii obiectelor naturale la scar mare ca: vederile aeriene ale pdurilor, ntinderilor de ape (lacuri, mri), cmpuri cu monocultur, i respectiv pn la cele de scar mic: radiografiile medicale ale esuturilor organice, fotografiile tieturilor prin arbori, straturilor geologice. ntr-o alt categorie se poate include textura obiectelor artificiale: stofe cu motive repetitive, ziduri de piatr, acoperiuri de igl, piese industriale (suprafeele lor) nainte i dup prelucrare. Un instrument util n descrierea texturilor este spectrul energiei Fourier. Energiea total a transformrii Fourie discrete F(u,v) n domeniul frecven NxN se scrie:

E T = E(u, v) .
u =0 v=0

N 1 N 1

S-a stabilit c variaiile progresive, lente ale nivelelor de gri sunt asociate frecvenelor joase u i v, iar variaiile brutale sunt corespunztoare frecvenelor nalte. Deci o textur regulat de variaie spaial lin a nivelelor de gri prezint un spectru energetic important n domeniul frecvenelor joase, iar o textur grosier cu variaii brutale ale intensitii luminoase ofer un spectru ntrit n domeniul frecvenelor nalte. Deci se poate imagina o metod de difereniere a texturilor prin calculul spectrului energiei n interiorul inelelor cu centrul n originea planului frecvenelor (figura 6.13). Energia unui inel de raz interioar r1 i de raz exterioar r2 este dat de expresia:
E( r1 , r2 ) =

F(u, v)
u =r1 v = r1

r2

r2

, r12 < u 2 + v 2 < r22 , 0 < r1 , r2 < N 1 .

Inelele energetice apropiate de centrul O corespund la texturile fine, n vreme ce inelele deprtate indic texturi grosiere. Spectrul energetic poate fi calculat i ntr-un domeniu de integrabilitate limitat de dou direcii 1 i 2 n planul frecvenelor. Atunci atributul energetic ia forma:
E(1 , 2 ) =

F(u, v)
u v

, cu 1 < arctg

u < 2 . v

Energia E(1, 2) trece printr-un maxim de fiecare dat cnd o zon limitat de direciile 1 i 2 surprinde orientri remarcabile ale texturii, care sunt de exemplu linii cu gradient puternic al intensitii luminoase.
v

Figura 6.13 Energia n spaiul frecvenelor

1/7

Imagini Curs 12/2013

Un alt instrument pentru caracterizarea texturilor, de data aceasta in domeniul spial (linii, coloane, pixeli, culori), sunt matricele de detectare a perechilor. Se iau n considerare poziia relativ a pixelilor i intensitile pixelilor conectai. De exemplu n varianta cea mai simpl, aceti pixeli sunt considerai n perechi, cte doi. Se stabilete dinainte un criteriu de distan i intensitate. Doi pixeli, o pereche, sunt selectai dac se afl la distana d i se gsesc pe o dreapt de direcie . Pentru a ine cont de intensitate, punctele M i N sunt caracterizate de nivelele lor de gri i i j. Perechile Mi, Mj sunt contorizate de numerele P(d,,i,j) care i ele sunt aezate ntr-o matrice |Aij| = aij dup nivelele de gri. Pentru normalizare P(d,,i,j) sunt mprite prin n = P(d,) i aranjate ntro matrice similar |C| = cij. Termenii cij evalueaz probabilitatea de existen a perechilor de puncte care satisfac parametrii impui pentru direcie, distan i nivele de gri. |C| este matricea de inciden. Exemplu: Fie o imagine de 5x5 pixeli cu 4 nivele de gri ca n figura 6.14. Se caut perechi de pixeli orientate pe direcia D' la distana d, pasul reelei din 8 -conectivitate. n=16, = 3 / 4 . Pentru un timp de calcul rezonabil, pentru c dimensiunea lui C depinde de numrul de nivele de gri, acesta trebuie s rmn n jurul lui 8. C depinde de P(d,), iar aici cei mai muli sunt pixelii de intensitate 2 dispui pe direcia3/4.
D' 1 2 2 3 0 1 3 2 0 3 1 1 0 2 3 2 0 3 1 2 3 2 0 1 2 D 1 1 A = 1 1 1 0 1 1 1 2 0 4 0 1 0 1

1 16 1 C = 16 1 16 1 16

1 16 1 16 0 1 16

0 1 16 1 4 0

1 16 1 8 0 1 16

Figura 6.14 Exemplu de contorizare a perechilor S-au propus i ali descriptori dintre care exemplificm: - maximul probabilitii: cij , detecteaz motivul cel mai frecvent. - eterogenitate: - entropie:

c
i j
ij j

2 ij

, o imagine cu textura uniform are o eterogenitate aproape nul.

c
i

log c ij , msoar aspectele aleatoare ale texturii.

- momentele diferenelor de gri: diagonala matricei C. - contrast:

m =0 N 1

(i j) c
2 i j

ij

, acest descriptor scade cnd valorile mari cij sunt pe

m cij
2 i

m = i j , acest descriptor este o sum ponderat

a probabilitilor,

valoarea sa este mare n cazul texturilor cu contrast mare pentru c atunci ecarturile mari de nivele de gri duc la ponderi importante. - descriptorul Gallaway: Se caut alinieri de pixeli cu nivele de gri foarte apropiate, alese ntr-o band foarte ngust j = i 1 . Lungimea a aliniamentelor este parametrul cel mai important pentru c n general o textur grosier are aliniamente lungi, iar ntr-o textur fin aliniamentele de pixeli sunt mai numeroase i mai scurte. Se calculeaz q numere Pq(i,j,) pentru lungimi q de nivele de gri apropiate de i n direcia ; q=1,2....L. K este numrul total de nivele de gri K=22, dac sunt m bii/pixel. L este numrul de lungimi q cutate. Dac banda ngust presupune chiar i = j se pot K L 1 K L 1 K L P (i, ) , G 2 = q 2 Pq (i, ) , unde N = Pq (i, ) . Dac G1 este mare defini: G1 = q 2 N i =1 q =1 N i =1 q =1 q i =1 q =1 textura are un numr important de aliniamente scurte n direcia . Dac G2 este mare textura se face pe aliniamente lungi.
2/7

Imagini Curs 12/2013

6.3 Procesare pentru normalizare

n procesul de clasificare/recunoatere este util ca mrimea (scara), poziia (translaia) sau orientarea (rotirea) sub care apar obiectele n imagine s nu infueneze decizia. Unii dintre descriptorii folosii pot avea intrinsec, din modul cum sunt definii, aceast invarian. n alte cazuri este nevoie de prelucrri speciale asupra acestor descriptori pentru a obine invariana dorit. n alte aplicaii, pe lng identificarea unui obiect, este nevoie i de localizarea lui i de determinarea atitudinii lui spaiale, atunci informaiile legate de mrime, poziie i orientare devin utile. Spre exemplu (figura 6.15) dac apare un caracter alfanumeric presupus ntr-o reprezentare de imagine binar, alb i negru, prezentat n diferite ipostaze din punct de vedere al mrimii, poziiei i orientrii. Pentru o aplicaie cum ar fi citirea unor texte pe nite etichete de identificare, n toate exemplele din figur trebuie identificat acelai obiect n fiecare din cele cinci imagini diferite. Ce se ntmpl dac descriptorul folosit este sensibil la mrimea, poziia sau orientarea obiectului n imagine? n acest acest caz, n afara celor menionate mai sus i subliniate n cursul prezentrii anterioare a diferiilor descriptori, o soluie poate fi o prelucrare a imaginii care s o normalizeze n raport cu aceste transformri, anterior extragerii de caracteristici.

Figura 6.15 Exemple de obiect n poziii, cu orientri i mrimi diferite Pentru normalizarea la poziie n literatura de specialitate se amintete c un mijloc simplu de a normaliza un obiect n legtur cu poziia n interiorul granielor unei imagini, acela de a redefini axele de coordonate astfel nct s se alinieze extremitile obiectului la puncte particulare din imagine, spre exemplu la o margine a imaginii (figura 6.16). Problema majora este atunci "care extremiti ?!" pentru c n aceast faz obiectul nu este identificat. O abordare alternativ care ine mai bine seama de proprietile obiectului este s se centreze obiectul de interes n matricea imagine. Aceasta metod presupune calcularea coordonatelor centrului de greutate dup formula i translatarea originii axelor de coordonate n acest punct sau ntr-o poziie relativ la el dar fix fa de acest punct.

Figura 6.16 Propunere de normalizare n raport cu poziia Pentru normalizarea relativ la orientarea obiectului, dar i pentru a putea gsi o form care se potrivete cel mai bine cu un model, este util i rotirea unui obiect ntr-o imagine pn cnd acesta este adus ntr-o poziie prestabilit. Pentru aceasta trebuie recalculate poziiile pe care le ocup n imagine punctele de pe obiect. Pentru o rotire a obiectului cu un unghi n sens trigonometric (figura 6.17), se folosesc formulele similare de la grafica pe calculator sau de la robotic:

3/7

Imagini Curs 12/2013

y y' y x x' x

Figura 6.17 Calculul coordonatelor la rotirea unui obiect

x ' = x cos y sin y' = x sin + x cos

sau matriceal:

x ' cos sin x y' = sin cos y

Desigur c problema mai complicat este tocmai determinarea poziiei prestabilite amintite i deci a unghiului . n general se recurge la soluii euristice (bazate pe experien). De exemplu, se rotete obiectul pn cnd devin orizontale sau verticale axa de simetrie maxim sau axa determinat de centrul de greutate i cel mai deprtat punct de pe obiect n raport cu acest centru. Unghiul este tocmai o msur a poziiei iniiale a obiectului.

7. Clasificarea formelor
Metodele uzuale de clasificare fac apel la un numr de atribute globale care permit discriminarea ntre obiecte i decizia apartenenei lor la diferite clase de obiecte aprioric cunoscute. Cnd numrul modelelor crete i cnd erorile care le influeneaz sporesc n importan, trebuie cutate alte metode care s foloseasc eventual fragmente de siluete ale formelor. n acest caz atributele globale pot fi nlocuite de informaii oferite de fiecare punct de contur, de exemplu: transformata Hough care caut segmente de dreapt, curbe n general n imagini. Atributele sunt nlocuite de primitive locale: vrfuri, coluri, puncte de curbur singulare sau primitive extinse: pri din curbe sau suprafee sau forme particulare de contur sau suprafee. Dac ne referim la o imagine 2D sub form matriceal numeric, de dimensiune NxN, atunci procesul de clasificare a formelor poate fi prezentat ca n figura 7.1. Facem precizarea c n aici forma este un vector de caracteristici i deci recunoatere de forme (pattern recognition) are un neles mai larg dect recunoaterea de figuri provenite din imagini grafice. Confuzia poate fi alimentat de sensurile multiple ale cuvntului form din limba romn. x(t) este un semnal care aparine la una din cele k clase cunoscute aprioric: C1, C2 .... Ck. Prin eantionare se obine un vector numeric: {x(m)} = {x(1), x(2), ..., x(N)}. Vectorul zt = {z1, z2 ... zd} va fi numit modelul sau semntura obiectului, adic forma. Clasificatorul este un dispozitiv de luat decizii i care a fost antrenat s clasifice un semnal de intrare x(t) ca aparinnd la una din clasele Ci, i = 1, 2 ... k. Pretratare Tratare Extragere caracteristici Clasificare prin nvare

x(t)

Eantionare Digitizare

I(1,1) I(N,N) Imagine numeric

z1 zd Form

Decizie x(t) Ci

Imagine analogic

Figura 7.1 Clasificarea formelor provenite din imagini

4/7

Imagini Curs 12/2013

z2 zmed2

zmed1 z1 g(z)=0 Figura 7.2 Clasificarea pentru dou clase de obiecte

7.1 Conceptul de nvare i clasificatori

7.1.1 Clasificatori liniari

S presupunem c dorim s antrenm un clasificator astfel nct s fie capabil s clasifice automat un model z care aparine sau la C1 sau la C2. Setul de antrenament (adic o mulime a crei clasificare este cunoscut pentru fiecare element) const n urmtoarele mulimi de modele cu dou componente: zij al j-lea element al clasei Ci, i = 1, 2. Modelele zij care aparin la C1 sau C2 sunt localizate n spaiul 2-dimensional al caracteristicilor. Fie zmed1 i zmed2 vectorii medii asociai cu cele dou clase respective. Deci din figura 7.2 reiese c o grani rezonabil de decizie, adic o dreapt n spaiul 2-dimensional care s separe cele dou clase, este mediatoarea segmentului care unete punctele corespunztoare vectorilor medii introdui anterior. Considerm un punct oarecare z pe aceast grani de decizie. Dac ea este mediatoarea segmentului zmed1zmed2 atunci:
1 ||z - zmed1||2 = ||z - zmed2||2 (zmed1 - zmed2)t z = {||zmed1||2 -||zmed2||2} 2 nlocuind obinem ecuaia corespunztoare graniei de decizie. Cantitatea

1 {||zmed1||2 -||zmed2||2} se 2

numete pragul clasificatorului. Deci se poate lua urmtoarea decizie simpl, cu ajutorul funciei discriminant: - Dac g(z) > 0 z C1 - Dac g(z) < 0 z C 2 z1 a Ieire=1 z C1 -1 Ieire=0 z C 2

z2

b c

g(z)

+1

-1

Figura 7.3 TLU pentru 2 clase i 2 caracteristici

5/7

Imagini Curs 12/2013

z1

w1
+1

z2 zd -1

w2 wd

g(z)

Ieire=1 z C1 -1 eire=0 z C 2

Figura 7.4 TLU pentru 2 clase i d caracteristici Clasificatorul de mai sus este numit "unitate logic cu prag" (TLU - Threshold Logic Unit) i este liniar (figura 7.3). n concluzie, un set de forme este folosit pentru antrenamentul clasificatorului calculndu-se funcia discriminant g(z), dup calculul creia clasificatorul devine capabil s decid apartenena unei forme la o clas pe criteriul distanei minime. Se poate face trecerea spre forme caracterizate de d atribute zt = [z1, z2 ... zd] (figura 7.4). Atunci funcia discriminant are forma: g(z) = w1z1 + w2z2 + ..... + wdz - unde wi sunt ponderile sau parametrii clasificatorului, este pragul, iar wi i sunt obinui din procesul de nvare. n acest caz, grania este un hiperplan g(z) = 0 n spaiul d-dimensional al caracteristicilor. Pentru d = 3 hiperplanul se reduce la un plan. Generalizarea poate continua cu clasificarea cu 3 clase de forme (figura 7.5). Clasificatorul de distan minim este proiectat s opereze dup urmtoarea regul de decizie: o form dat z Ci dac z este mai aproape de zmedi, i=1,2,3. Fie Di distana de la z la zmedi, i = 1, 2, 3 (figura 7.6). Atunci avem: D i2 = ||z - zmedi||2 = (z - zmedi)t (z - zmedi),
t z || z medi ||2 } i=1,2,3. D i2 este minim dac valoarea care i=1,2,3. Simplificnd: D i2 = ||z||2 2{ z medi

1 2

se scade, aceea dintre acolade, este maxim.

1 t 2{ z medi z || z medi ||2 } , i=1, 2, 3. 2

Deci clasificatorul este descris de funcia:

Urmtorul pas este clasificarea a 3 clase cunoscute, dar cu d caracteristici. Iar cel mai general k clase cu d caracteristici (figura 7.7). Z2 z z-zmed1
C1

C2

z-zmed2

C3 Z1

Figura 7.5 Clasificarea pentru 3 clase

6/7

Imagini Curs 12/2013

+
z1 z2 -1

g1(z) g2(z) Decizie:

+ +

Selector de maxim

z Ci0 dac
max(gi(z)) = g i0 (z)

g3(z)

Figura 7.6 TLU pentru 3 clase i 2 caracteristici

+
z1 z2 zd -1

g1(z) g2(z) Selector de maxim Decizie:

z Ci0 dac

+ +

gk(z)

max(gi(z))= gi0 (z)

Figura 7.7 TLU pentru k clase i d caracteristici Aceste metode de clasificare pot fi implementate i testate practic ntr-o aplicaie exemplificatoare aa cum este precizat succint n continuare. Clasele C0, C1, .... C9 (k = 10) s corespund cu cele 10 cifre din notaia arab: 0, 1, 2 ... 9. Caracterele grafice corespunztoare cifrelor pot fi digitizate pe 64 x 64 pixeli. Drept caracteristici se pot alege coeficienii unei transformri ortogonale (TFD, TWH...), n numr de 16, d = 16, pentru funcia cumulativ de schimbare a direciei pe contur. Mulimea formelor de antrenament poate cuprinde, de exemplu, 100 de caractere grafice pentru fiecare clas. Rezultatele obinute n procesul de clasificare sunt cu cteva procente mai slabe dect cele obinute pe mulimea formelor de antrenament, deci n procesul de nvare. Numrul caracteristicilor necesare pentru obinerea unei bune clasificri crete n ordine pentru TFD, TWH, HT, IT, (TWD - Transformarea Walsh-Hadamard, HT-Transformare Haar, IT - Transformarea Identic). Se poate repeta experimentul pentru alte tipuri de caracteristici, dar pentru aceleai clase de forme: histograma interseciei cu un set de drepte aleatoare, semntura polar cu pas unghiular constant, momente.

7/7

Imagini Curs 13/2013

Curs 13
7.1.2 Tehnica celor mai mici ptrate n prezentarea clasificatorilor de distan minim s-a presupus c inevitabil clasele de forme se grupeaz n jurul valorilor medii, formnd clustere n spaiul caracteristicilor zmedi, i =1, 2,....k. n multe aplicaii, aceast presupunere nu poate fi considerat rezonabil. n astfel de situaii, clasificatorul trebuie mai nti s mapeze formele ntr-un spaiu de decizie n care formele Ci sunt fcute s se grupeze n jurul unor puncte prestabilite vi, i=1, 2, ..., k. Transformarea matriceal A care ofer aceast posibilitate de trecere din spaiul caracteristicilor la spaiul de decizie, este n general aleasa astfel nct abaterea medie ptratic total s fie minim. Pentru a clasifica o form dat, ea este mai nti mapat ntr-un spaiu de decizie i atunci clasificat ca aparinnd la Ci0 dac este mai apropiat de v i0 . Acest tip de clasificator va fi numit clasificator de distan minim folosind cele mai mici ptrate. Considerm o mulime de dimensiune Ni de forme zij, j = 1, 2, ..., Ni care trebuie mapate n punctul specificat din spaiul k-dimensional, notat v it = [ v1 , v 2 ,...., v k ] . Cutm transformarea A care mapeaz {zij} n vi astfel nct eroarea medie ptratic total introdus de mapare s fie minim. S presupunem c mapingul lui zij este n realitate Lij. Vectorul corespunzator de eroare este: ij = L ij v i = A z ij v i . Eroarea ptratic medie total la maparea tuturor punctelor zij n sau mai precis n jurul lui vi, este: = tip:
a12 a A = 11 a 21 a 22

1 Ni

j =1

Ni

2 j

. Folosind un calcul matriceal bazat pe reguli de urmtorul

P a A P = 11 P a 21

P a12 P a 22 A ( v t v) = 0

A ( x t A t A x ) = 2A ( x x t ) A ( x t A t v) = v x t

unde A operator de derivare, x, v vectori, iar A matrice. A trebuie ales astfel nct eroarea s fie minim deci A = 0 .
= 1 Ni

{z
j=1

Ni

ij

A t A z ij z t ij A t v i + v i }
Ni

1 Ni 1 Ni

j=1

Ni

A (z t ij A t Azij )
Ni

2 Ni

j=1 t ij

t A ( z ij

A t vi ) + A ( vi ) = 0

j=1

Ni

2A(z ij z t ij )

2 Ni

v z
i j=1

=0

1/8

Imagini Curs 13/2013

z1 C1

C2

z1 C1

v1

C3

V1 z2 C3 z3 v3 C2 z2 V3

V2

v2

Figura 7.8 Maparea claselor n tehnica celor mai mici ptrate

Ni Ni De unde se poate calcula A dup formula: A = v i z ij t z ij z ij t j=1 j=1

Noiunea de spaiu majorat al caracteristicilor este convenabil pentru dezvoltarea unui clasificator de distan prin metoda celor mai mici ptrate. Din definirea funciei discriminant se poate scrie: , unde w t = [w1 , w 2 ,.....w d , ] , z t = [z1 , z 2 ,.....z d ,1] = [z t ,1] . Se observ ca z este uor de g(z) = w t z obinut dintr-o form dat z prin adugarea unei componente, (-1). Spaiul (d + 1) - dimensional al se numete spaiul majorat al caracteristicilor. formelor z Dac pentru trei clase Ci, i = 1, 2, 3. folosim exemplul anterior i adugm (-1) aa cum am artat mai sus atunci rezultatul se poate ilustra grafic ca n figura 7.8.
z1 = z 2 z z3 1 v1 = 0 0

0 v2 = 1 0

0 v3 = 0 1

C k , k = 1, 2, 3. n vk, k = 1, 2, 3. n sensul celor mai mici Cutm o transformare care s mapeze z ptrate. Alegem exact versorii celor trei axe ca n figura 7.8. Fie probabitile apriorice Pk corespunztoare pentru Ck, k = 1, 2, 3. Dup metoda pe care am mai folosit-o anterior cutm A:
p A 1 N1

j=1

N1

t 1 j z 1 z j +

p2 N2

j=1

N2

t 2j z 2 z j +

p3 N3

N3

t 3j z 3 z j = j=1

p1 N1 p 2 N2 p 3 N3 t t t 3 v z v z v3 z + + 1 1j 2 2j j N 2 j=1 N 3 j=1 N1 j=1

3 Ni

Calculnd pe A gsim: A = ncruciat iar Sz z =

i =1 j=1 3 Ni

1 Svz Sz z

, unde Svz =
i =1 j=1

Pi t ij vi z Ni

este matricea de corelaie

Pi t ij z ij z este matricea de autocorelaie, iar A este o matrice de Ni

dimensiune [3x(d+1)].
i deci Pentru a clasifica o form zt = [z1, z2 ,..., zd, -1] clasificatorul calculeaz prima dat L = A z n spaiul deciziilor. n continuare se folosete urmtoarea regul de decizie folosind mapeaz z distana minim: dac L este apropiat de v i0 , atunci z este clasificat n Ci0 .

2/8

Imagini Curs 13/2013

Acum

distana pe care clasificatorul trebuie s o calculeze este: Di 2 = L Vi , i = 1, 2. 3.

2 2

D i2 = L 2Vi2 L + Vi . Dar am ales

Vi

= 1 i deci D i2 este minim cnd Vit L este maxim. Este

preferabil s calculm n loc de D i2 pe d i = Vit L , i = 1, 2, 3. nlocuind mai departe:

V1t = [1 0 0] , V2t = [0 1 0] , V3t = [0 0 1] , L = Az
d1 1 0 0 d = 0 1 0 A z = Az 2 0 0 1 d 3

Dac A=[aij], i = 1, 2, 3. i j = 1, 2, ., d+1. Atunci

a11 a12 ... a1d 1 A= a21 a22 ... a2 d 2 a31 a32 ... a3d 3

Deci d este funcie discriminant care specific clasificatorul. Este clar acum c specificatorul este complet definit de matricea A care este obinut din mulimea formelor de antrenament. Pentru a clasifica o anumit form, clasificatorul calculeaz trei numere g1(z), g2(z), g3(z). Dac max (g i (z)) = g i0 atunci forma este asignat clasei Ci0 (figura 7.7). Rezultatele clasificrii chiar pentru
i =1, 2 , 3.

mulimea de antrenament pot fi prezentate sub forma unei matrice de confuzie: elementele din afara diagonalei reprezint numrul de erori n timpul clasificrii. fij, i j , elementul din linia i i coloana j, este numrul de forme din Ci atribuite greit la Cj. Orice clasificator care implementeaz granie liniare este mpins la erori n cazul n care clasele de forme nu sunt liniar separabile. Pentru k clase trecerea este direct. Formele Ci sunt mapate pe versorii din spaiul k-dimensional vi, Vit = [00....1...00] unde 1 se afl n poziia a i a, i = 1, 2, ...., k. Vom obine o matrice A, de dimensiune k x (d+1), i funcia discriminant a clasificatorului n mod absolut similar cu acelea din cazul cu 3 clase, cu singura deosebire c la limitele superioare de sumare se nlocuiete 3 cu k. Procedura de nvare poate fi uor extins la implementarea granielor cuadratice. Reinem totui ca alternativ i folosirea granielor liniare pe buci (piece wise) cu rezultate mai bune dect cele liniare pur i simplu. Pentru granie cuadratice clasificatorul va fi n schimb mai complicat. Funcia discriminant care specific un clasificator cuadratic este:
g i (z ) =

j=1

w jj z 2 j +

d 1

w jk z j z k +

j=1 k = j+1

w
j=1

z j i

(d + 1)(+2) ponderi dup cum urmeaz: d 2 d (d 1) coeficieni pentru z 2 coeficieni pentru zjzk adic j adic wjj, d coeficieni pentru zj adic wj, 2 wjk, un termen care este valoarea de prag i , i care nu este coeficient. Aceti parametri sunt

Se observ prezena termenilor ptratici; gi(z) are

obinui n procesul de nvare. Pentru a explica implementarea lor definim mai nti vectorul G, qdimensional, cu componentele f1, f2, ..., fq funcii de zi, i = 1, 2, ..., d. Primele d componente ale lui
3/8

Imagini Curs 13/2013

d(d 1) componente sunt z1z2, z1z3, , zd-1zd, iar ultimele d 2 d (d + 3) componente sunt z1, z2, , zd. Numrul lor total este . Notm aceast coresponden cu G 2
2 2 G sunt z1 , z2 2 ,...., z d , urmtoarele

= G(z), unde G(z) este o transformare unu la unu. Deci pentru fiecare form zt = [z1, z2 ,..., zd] din spaiul d-dimensional exist un unic vector Gt = [f1, f2 ,..., fq] n spaiul q-dimensional. Aceast coresponden biunivoc face posibil scrierea lui gi(z) ca o funcie liniar de componentele lui G cu rezultatul c fiecare funcie discriminant cuadratic a lui zi exist o funcie discriminant liniar a lui G (figura 7.9). z1 z2 Procesor quadratic wqfq i Figura 7.9 Clasificator quadratic
g i (z ) = w1f1 + w 2f 2 + ... + w q f q i

w1f1 w2f2

gi(z)

zd -1

O alt metod de clasificare a formelor n clase cunoscute, presupune evaluarea distanelor, n spaiul caracteristicilor, pn la toate punctele care corespund formelor de antrenament i alegerea a k dintre vecini i anume cei mai apropiai. Apartenena acestora la clasele de forme (sau a majoritii lor) implic apartenena formei de clasificat. Metodele anterioare sunt identificate prin sigla 1 - NN (1 - Nearest Neighbor) pentru c se caut un prototip, cel mai apropiat (prototipul este zmed); iar metoda amintit ulterior prin sigla K-NN (K Nearest Neighbor).

7.2 Clasificri statistice

n faza de instruire, clasificatorul asociaz fiecrei forme Sj un vector de atribute, de caracteristici, (pattern) Xj. Perechile (Sj, Xj), sau modelele, sunt afectate de imperfeciunile de la segmentare, celor datorate zgomotelor sistemului de achiziie a imaginilor, condiiilor de iluminare, erorilor de calcul, imperfeciunilor de normalizare etc.. Apare deci o dispersie a atributelor. Mai mult, aceste atribute difer i datorit micilor deosebiri dintre formele aceleiai clase. n aceste condiii, devine util o abordare statistic a clasificrii formelor. Se definesc atunci clasele Cj, j = 1, 2, , N, ca ansambluri de obiecte similare cu vectorii de atribute grupai n mulimea Y. Cnd variaia vectorilor Xj are o dispersie mare, se face apel la calculul cu probabiliti. Fie: - p(Cj) probabilitatea de apariie a clasei Cj. - p(X) funcia densitate de probabilitate de apariie a vectorului X.

4/8

Imagini Curs 13/2013

biel

piston 1 (orizontal)

piston 2 (vertical)

cma piston 1 cma piston 2 cilindru frn 1cilindru frn 2 (pe o parte) (drept) (orizontal) (vertical) Figura 7.10 Exemple de clase de obiecte - p(X/Cj) funcia densitate de probabilitate condiionat de apariie a lui X tiind c X i corespunde lui Cj. - p(Cj/X) funcia densitate de probabilitate aposteriori de apariie a clasei Cj tiind valoarea vectorului X (probabilitatea ca X s corespund respectivei clase) La Stanford Research Institute, cu muli ani n urm, a fost implementat o aplicaie industrial, devenit clasic, n care apar piese de patru tipuri: biele, pistoane, cmi de pistoane i cilindri de frn (figura 7.10). Datorit faptului c poziiile n care pot apare aceste piese pe o band transportoare sunt diferite, (de exemplu un piston poate apare vertical sau orizontal n raport cu banda transportoare) se definesc apte clase de forme. Presupunem c exist posibilitatea de a ti de unde provin aceste piese i deci s predicionm numrul relativ n care ele pot apare (dac exist anse ca vreuna din clase s apar mai frecvent dect celelalte). Putem presupune c datorit numrului de componente necesare uzual pentru o main, (cte patru biele, pistoane, cmai de cilindru i cilindrii de frn) probabilitile de apariie ale claselor de obiecte sunt egale. n schimb pentru clasele de forme avute n vedere putem face o difereniere n sensul c, de exemplu, poziia orizontal pentru un piston pe banda transportoare este mult mai probabil. Experimentele probabilistice pot impune o alegere de urmtorul tip: p(C1) = 25%, p(C2) = 20%; p(C3) = 5%, p(C4) = 5%; p(C5 ) = 20%, p(C6) = 5%; p(C7) = 20%. Pentru alegerea caracteristicilor claselor de forme, trebuie parcurs o etap preliminar de apreciere a puterii de disociere pe care respectiva caracteristic o are n raport cu clasele analizate. Dac se dorete luarea deciziei pe baza unui arbore de decizii, atunci aceast etap presupune urmtorii pai: C2 C3 C1 C4 C5

P m4 m5 m2 m3 m1 Figura 7.11 Selecia statistic a caracteristicilor - se msoar distribuiile de probabilitate pentru caracteristicile X1, X2, ... folosind o mulime de forme de antrenament ct mai mare pentru fiecare clas de forme. - se calculeaz valorilor medii mi(j) pentru cea de a i a caracteristic Xi pentru obiectele din cea de a j a clas de obiecte. - pentru fiecare caracteristic Xi se determin un prag de decizie P n mijlocul intervalului care separ toate obiectele n dou grupe distincte (de exemplu ca n figura 7.11 unde dac valoarea
5/8

Imagini Curs 13/2013

msurat pentru Xi este mai mare ca pragul, atunci obiectul este mai degrab din C4 sau C5 dect din C1, C2 sau C3. - se ordoneaz caracteristicile dup mrimea intervalului de separare care l-a dat, n fiecare caz, pe P. Cu ct intervalul de separare este mai mare, cu att ncrederea n decizia care se bazeaz pe acest prag este mai important. - se poate face o selecie a caracteristicilor utilizabile dup mrimea intervalului de seperare (se aleg numai acele caracteristici cu un astfel de interval suficient de mare). Dac nu se dorete implementarea unui clasificator Bayes, atunci probabilitile p(Xi) sunt necesare pentru a determina prin calcul probabilitatea p(Ci/X) folosit n decizia de clasificare. Considerm totui c o etap intermediar de tipul celei descrise anterior pentru varianta cu arbore de decizie, rmne util chiar i n acest caz, pentru a putea rejecta caracteristicile care nu disting ntre diferitele clase de forme. Algoritmul de decizie poate cuprinde atunci urmtorii pai: - evaluarea probabilitilor condiionate n raport cu o caracteristic msurabil X. - obinerea valorii msurate pentru aceeai caracteristic dar pentru obiectul de clasificat. - dndu-se X se determin probabilitatea ca forma s aparin la una din clasele de obiecte considerate. - repet pasul anterior pentru toate clasele. - decide c X este din Ci dup regula: p(Ci/X) > p(Cj/X) i j Pentru determinarea practic a lui p(Ci/X) ar trebui s se fac un foarte mare numr de clasificri de antrenament anterioare, pe forme cunoscute, n condiii greu de respectat (de exemplu s se prezinte clasificatorului un numr mare de forme de diferite tipuri, toate cu aceeai valoare msurat pentru o caracteristic i s se msoare probabilitatea de apartenen la o clas). Se poate folosi teorema lui Bayes: p(Ci / X ) =
p(X / Ci ) p(Ci ) , unde p(X) = p(X )

p(X / C ) p(C ) poate fi

i i i

ignorat pentru c nu influeneaz valorile probabilitilor relative (este un factor de scar). Deci regula de decizie devine: p(X / Ci ) p(Ci ) > p(X / C j ) p(C j ) , i j X Ci . Clasificantul Bayes prezentat mai sus este folosit ca referin n apreciera altor clasificatori (dei rmne o aproximaie a clasificatorului ideal). Dac un obiect dintr-o clas Ci a fost clasificat eronat ca aparinnd la o clas Cj, atunci aceast eroare implic un cost asociat Lij. n inspecia automat printr-un proces de fabricaie, putem aprecia c acceptarea unui rebut are un cost mult mai mare dect respingerea eronat a unui produs bun. De exemplu, dac se inspecteaz un traseu electric pe o plac cu componente electronice, este mai mic costul semnalrii unui defect inexistent (se pierde din greal o plac) dect cel al nesesizrii defectului (respectivul defect poate produce defectarea i altor componente cu care placa se cupleaz electric). Dar, se poate considera pentru alte aplicaii varianta simplificatoare (unde ij este simbolul lui Kronecker): Lij =
0 1 i = j = 1 ij i j

Cum X poate s aparin n principiu oricreia din clasele cunoscute, fiecare din clase implicnd un risc de clasificare greit, atunci riscul condiional asociat unei decizii X din Cj este calculabil dup cum vom arata n continuare. Se definete riscul de asignare a lui X la clasa Cj, riscul mediu condiional, astfel: rj (X ) = Lij p(Ci / X ) , unde M este numrul de clase de obiecte considerate.
i =1 M

Clasificatorul calculeaz r1(X), r2(X) .... i alege varianta avnd riscul cel mai mic. Utiliznd
6/8

Imagini Curs 13/2013

formula lui Bayes: p(Ci / X ) p(X ) = p(Ci ) p(X / Ci ) , atunci formula riscului se transform n:
rj (X ) = rj (X ) = 1 p(X )
M i =1

L (X / C ) p(C ) ,
ij i i i =1 i i

unde din motivele amintite mai sus p(X) poate fi neglijat:

L p(X / C ) p(C ) - care este formula clasificatorului Bayes de risc minim.

ij

Dac M = 2 distingem cazurile urmtoare: - pentru strategia 1, adic dac decidem c X este din C1, riscul este:
r1 (X ) = L11 p(X / C1 ) p(C1 ) + L 21 p(X / C 2 ) p(C 2 )

- pentru strategia 2, adic dac decidem c X este din C2, riscul este:
r2 (X ) = L12 p(X / C1 ) p(C1 ) + L 22 p(X / C 2 ) p(C 2 )

Dac r1(X) < r2(X) atunci X este asignat la clasa C1. Se poate scrie n continuare:

(L 21 L 22 ) p(X / C 2 ) p(C 2 ) < (L12 L11 ) p(X / C1 ) p(C1 )

p(X / C1 ) p(C 2 ) (L 21 L 22 ) > p(X / C 2 ) p(C1 ) (L12 L11 )

pentru c n general se admite c Lij > Lii atunci L12 (X ) =

p(C 2 ) (L 21 L 22 ) p(C1 ) (L12 L11 )

p(X / C1 ) se numete raport de adevrat p(X / C 2 )

asemnare. Pragul S12 = - L12 (X ) > S12 X C1 - L12 (X ) < S12 X C 2

permite luarea deciziilor de tipul:

Extinderea pentru mai multe clase se face pornind de la ideea c Lii = 0, riscul pentru decizie corect, i Lij ia o valoare unic n caz de decizie incorect, iar riscul deciziilor incorecte e normalizat la 1.
L ij = 1 ij
M

0, i j ij = 1, i = j

Atunci: rj (X ) = (1 ij ) p(X / Ci )p(Ci ) = p(X ) p(X / C j ) p(C j ) , X este asignat la clasa Ci dac este
i =1

ndeplinit condiia:

( p(X / C ) p(C ) > p(X / C ) p(C )

i i j j

p(X ) p(X / Ci ) p(Ci ) < p(X ) p X / C j p C j

) ( )

7/8

Imagini Curs 13/2013

P(C1) P(X/C1) Evaluator pentru funciile densitate de probabilitate condiional

+
P(C2)

D1(x)

P(X/C2)

D2(x)

P(X/CM)

. . P(CM). . DM(x)

Selector de maxim

Decizie

Figura 7.12 Clasificator statistic Deci sarcina de calcul presupune gsirea valorilor D j (X ) = p(X / C j ) p(C j ) i alegerea X Ci dac
Di (X ) > D j (X ) i, j = 1,2,..., M; i j . Utilizarea clasificatorului Bayes (risc minim la decizie corect

i risc egal pentru toate deciziile incorecte) este foarte frecvent, dar se bazeaz pe cunoaterea probabilitilor apriorice pentru fiecare clas i a costurilor deciziilor (figura 7.12). S presupunem c D1(X) este maximul i Dk(X) valoarea cea mai mare urmtoare. Dac diferena dintre cele dou valori este relativ mare, atunci putem avea ncredere n decizia luat, dac aceast diferen este relativ mic (de exemplu sub 5%) ncrederea n decizie scade foarte mult. Se introduce noiunea de marj de rejecie sau nivel de ncredere, care se calculeaz ca diferena prezentat anterior i numai depirea unui anumit prag pentru aceast valoare permite luarea deciziei. Un prag se poate impune nu numai la diferena ntre maxime, dar de asemenea i la valorile absolute ale maximului. Se poate condiiona decizia i de faptul c valoarea maximului depeste un prag impus. Dac determinarea probabilitilor cerute nu se poate face convenabil, ca timp sau performane, printr-o faz experimental, atunci se poate pleca de la o distribuie de probabiliti aprioric cunoscut i definit analitic.

8/8

Imagini Curs 14/2013

Curs 14
9. Aplicaii
Acest curs nu constituie materie care trebuie nvat pentru examen!! Se cere doar s parcurgei lista de mai jos. Dac nu putei nelege ceea ce scrie aici n limba englez avei un handicap major care v va dezavantaja n oricare alt domeniu tehnic! n continuare este prezentat o list, preluat din literatura de specialitate http://www.cs.ubc.ca/~lowe/vision.html, care include firme care dezvolt aplicaii industriale n domeniul vederii artificiale (computer vision). Sunt avute n vedere aplicaii care se bazeaz pe extragerea de informaii din imagini i nu pe prelucrarea de imagini care produce noi imagini. Sunt incluse numai dezvoltatori de aplicaii de vedere artificial i nu productori de senzori i echipamente pentru achiziia i prelucrarea de imagini. Lista cuprinde doar firme care i prezint aplicaiile pe internet. Aceasta este i explicaia pentru care lipsesc, de exemplu, apliciile militare. Lista nu are pretenia de a fi complet, dar parcurgerea ei poate contribui la crearea unei mai bune nelegeri a impactului pe care acest domeniu l are azi asupra aplicaiilor practice. Automobile driver assistance - Iteris (Santa Ana, California). Lane departure and collision warning systems for trucks and cars. Used in over 100,000 vehicles (2009). Also creates traffic monitoring systems. - MobilEye (Jerusalem, Israel). Vision systems that warn automobile drivers of danger, provide adaptive cruise control, and give driver assistance. Eye and Head Tracking - Mirametrix (Montreal, Quebec). Free-head eye-tracker using computer vision technologies. - Smart Eye (Gteborg, Sweden). Systems to track eye and gaze position. Applications include detection of drowsiness or inattention in drivers. - SMI (Berlin, Germany). Eye and gaze tracking systems. Film and Video: Sports analysis - Hawkeye (Winchester, UK). Uses multiple cameras to provide precise tracking in tennis, cricket, and other sports for refereeing and commentary. - LiberoVision (Zurich, Switzerland). Creates photorealistic 3D visualization of sporting events for sports broadcasting and analysis. - QuesTec (Deer Park, New York). Systems for tracking sports action to provide enhanced broadcasts. - Red Bee Media (London, UK). Develops Piero system for sports analysis and augmentation. - Amisco (Nice, France). Systems for tracking sports players and the ball in real time, using some human assistance. - Sportvision (New York, NY). Vision systems to provide real-time graphics augmentaion for sports broadcasts. Film and Video - 2d3 (Oxford, UK). Systems for tracking objects in video or film and solving for 3D motion to allow for precise augmentation with 3D computer graphics. - Image Metrics (Manchester, England). A markerless tracking system for the human face that can be used to map detailed motion and facial expressions to synthetic characters. - Imagineer Systems (Guildford, UK). Computer vision software for the film and video industries.
1/5

Imagini Curs 14/2013

- MirriAd (London, UK). Uses computer vision methods to track consistent regions in video and insert virtual advertising. - Mova (San Francisco, California). Provides 3D tracking of points on the human face or other surfaces for character annimation. Uses invisible phosphorescent makeup to provide a random texture for stereo matching. - Orad (Kfar Saba, Israel). Systems for creating virtual television sets, sports analysis, and other applications of real-time augmented reality. - Ooyala (Mountain View, California). Video content management and delivery, including object identification and tracking. - VideoSurf (San Mateo, California) Uses computer vision to search and classify online video. Games and Gesture Recognition - GestureTek (Toronto, Canada). Tracks human gestures for playing grames or interacting with computers. - Microsoft Kinect (Redmond, Washington). Provides motion sensing and gesture recogntion for the Xbox gaming system. Creates 3D depth maps and registed images in real time using projected infrared light patterns and a single camera. Sold over 8 million units in the first 60 days, which makes it the fastest selling consumer electronics device (Wikipedia). - Reactrix (Redwood City, California). Interactive advertising for projected displays that tracks human gestures. - Sony EyeToy uses computer vision to track the hand and body motions of players to control the Sony Playstation. Sales were over 10 million units by 2008. (Wikipedia) General purpose vision systems - Cognex (Natick, Massachusetts) is one of the largest machine vision companies (800 employees, 2010). Develops systems for inspection and localization tasks, people counting, and many other areas. (Hoover's) - Evolution Robotics (Pasadena, California). Vision systems for object recognition and navigation. Applications include mobile robotics and grocery retail. Develops integrated vision and navigation solutions for household robots. - Matrox Imaging (Dorval, Quebec, Canada). Software and hardware for machine vision applications. - National Instruments (Austin, Texas). Vision software and systems used for many applications, including inspection, biomedical, and security. - Neptec (Ottawa, Canada). Laser-based 3D vision systems for use on the space shuttles and other applications. - Newton Research Labs (Renton, Washington). Vision systems for high-speed tracking and mobile robots. - Point Grey Research (Vancouver, Canada). Real-time stereo vision systems, spherical vision systems, and imaging hardware. - Sarnoff (Princeton, New Jersey). Vision systems for tracking, registration, navigation, biometrics, and other applications. - Seeing Machines (Canberra, Australia). Systems for tracking head position and eye gaze direction. - Soliton (Bangalore, India). Smart cameras for industrial inspection and other applications. - SpikeNet (Toulouse, France). Trainable vision systems for performing recognition. - Supercomputing Systems (Zurich, Switzerland). Developed the leanXcam, a low-cost intelligent camera using open source software. - TYZX (Menlo Park, California). Produces real-time stereo vision systems that use a custom chip for fast stereo matching. - ViSSee (Lugano, Switzerland). Developing a low-cost real-time sensor for measuring speed using an approach modeled on vision in the fruit fly.
2/5

Imagini Curs 14/2013

- VISIONx (Pointe-Claire, Quebec, Canada). Vision systems for high accuracy measurement and other applications. - Vitronic (Wiesbaden, Germany). Vision systems for inspection, manufacturing, logistics, traffic management, and other applications. Industrial automation and inspection: Automotive industry - CogniTens (Ramat-Hasharon, Israel). Has developed a system for accurate scanning of 3D objects for the automotive and other industries. The system uses a 4-camera head with projection of textured illumination to enable accurate stereo matching. - Perceptron (Plymouth, Michigan). Creates 3D laser scanning systems for automotive and other applications. Industrial automation and inspection: Electronics industry - KLA-Tencor (San Jose, California). Systems for inspection and process control in semiconductor manufacturing. - Orbotech (Yavne, Israel). Automated inspection systems for printed circuit boards and flat panel displays. (Hoovers) Industrial automation and inspection: Food and agriculture - Montrose Technologies (Ottawa, Canada). Vision systems for the baked goods industry. Systems monitor bake color, shape, and size of bread, cookies, tortillas, etc. - Ellips (Eindhoven, The Netherlands). Vision systems for inspecting and grading fruits and vegetables. Industrial automation and inspection: Printing and textiles - Advanced Vision Technology (Hod Hasharon, Israel). Systems to inspect output from high-speed printing presses. - Elbit Vision Systems Ltd. (Yoqneam, Israel). Vision systems for textile inspection and other applications. - Mnemonics (Mt. Laurel, New Jersey). Vision systems for print quality inspection and other applications. - Xiris Automation (Burlington, Ontario, Canada). Inspection for the printing and packaging industries. Industrial automation and inspection: Other - Adept (Pleasanton, California). Industrial robots with vision for part placement and inspection. Avalon Vision Solutions (Lithia Springs, Georgia). Vision systems for the plastics industry. - Basler (Ahrensburg, Germany). Inspection systems for optical media, sealants, displays, and other industries. - Hermary Opto Electronics (Coquitlam, BC, Canada). Develops 3D scanners for sawmills and other applications. - JLI vision (Soborg, Denmark). Vision systems for industrial inspection tasks, including food processing, glassware, medical devices, and the steel industry. - LMI Technologies (Vancouver, Canada). Develops 3D vision systems using laser sensors for inspection of wood products, roads, automotive manufacturing, and other areas. - MVTec (Munich, Germany). Vision systems for inspection and other applications. NeuroCheck GmbH (Remseck, Germany). Inspection systems for quality control. - PPT Vision (Eden Prairie, Minnesota). Vision systems for automotive, pharmaceutical, electronics, and other industries. - Seegrid (Pittsburgh, PA). Industrial mobile robots that use vision for mapping and navigation.
3/5

Imagini Curs 14/2013

- SIGHTech (San Jose, California). Trainable computer vision systems for inspection and automation. - Virtek Vision International (Waterloo, Ontario, Canada). Laser-based inspection and templating systems. - Wintriss Engineering (San Diego, California). Vision systems for suface inspection and sports vision applications. Medical and biomedical - Claron Technology (Toronto, Canada). Uses real-time stereo vision to detect and track the pose of markers for surgical applications. - Mirada Medical (Oxford, UK). Software for medical image analysis and diagnosis based on computer vision research. - Noesis (St. Laurent, Quebec, Canada). Software for biomedical and other scientific image analysis. Object Recogntion for Mobile Devices - Kooaba (Zurich, Switzerland). Visual search for smartphones, photo management, and other applications. - Mobile Acuity (Edinburgh, UK). Visual product recognition and search for mobile devices. - SnapTell (Palo Alto, California). Image recognition and product search for camera phones. Owned by Amazon A9. Panoramic Photography - Cloudburst Research (Vancouver, Canada). Develops AutoStitch Panorama, which provides fully automatic image stitching for the iOS platform. [Disclosure: the author of this list is a founder of the company.] - HumanEyes (Jerusalem, Israel). Develops software for creating 3D stereo views, including stereo mosaicing. - Kolor (Challes les eaux, France). Develops the Autopano Pro software for automated panorama stitching of digital images. Also provides high-dynamic-range imaging by combining multiple exposures. People tracking - Brickstream (Atlanta, GA). Tracking people within stores for sales, marketing, and security. Reveal (Auckland, New Zealand). Systems for counting and tracking pedestrians using overhead cameras. - VideoMining (State College, PA). Tracking people in stores to improve marketing and service. Safety monitoring - Poseidon/MG International (Boulogne, France). The Poseidon System monitors swimming pools to warn of accidents and drowning victims. Security: Biometrics - Aurora (Northampton, UK). Systems for biometric face recognition. - AuthenTec (Melbourne, Florida). Fingerprint recognition systems with a novel sensor. - Digital Persona (Redwood City, California). Fingerprint recognition systems. - L-1 Identity Solutions (Stamford, Connecticut). Fingerprint, iris, and face recognition systems as well as other security applications. (Hoover's) - Viion Systems (Montreal, Canada). Detection and identification of computer users.

4/5

Imagini Curs 14/2013

Security: Monitoring and Surveillance - Aimetis (Waterloo, Ontario, Canada). Systems for intelligent video surveillance. - Briefcam (Jerusalem, Israel). Develops software for summarization of long surveillance video in a short summary video. - Cernium (Reston, Virginia). Systems for behavior recognition in real-time video surveillance. - Cognimatics (Lund, Sweden). Detection and counting of people and vehicles in video streams. - EVITECH (Paris, France). Smart video surveillance systems. - Equinox (New York, NY). Security systems using novel sensors, such as registered visible and thermal infrared images and use of polarized lighting. - Genetec (Montreal, Canada). Security systems for license plate recognition, surveillance, and access control. - Honeywell (Morristown, New Jersey). Range of video surveillance systems and analysis software. - Imagemetry (Prague, Czech Republic). Image processing and computer vision for image forensics. - IntelliVision (San Jose, California). Automated monitoring systems, including face and object recognition. - ObjectVideo (Reston, Virginia). Automated video surveillance products for tracking, classification, and activity recognition. - Vitamin D (Menlo Park, California). Detection and monitoring of people in video streams. Three-dimensional modelling - Creative Dimension Software (Guildford, UK). Creates 3D models from a set of images. Objects are imaged on a calibration mat. - Eos Systems (Vancouver, Canada). PhotoModeler software allows creation of texture-mapped 3-D models from a small number of photographs. Also provides accurate photogrammetric 3D measurements from multiple images of a scene. - Creaform (Quebec City, Canada). Develops 3D scanners for the human body and other applications. Traffic and road management - Image Sensing Systems (St. Paul, Minnesota). Created the Autoscope system that uses roadside video cameras for real-time traffic management. Over 100,000 cameras are in use. - Yotta (Leamington Spa, UK). Imaging and scanning solutions for road network surveying. Web Applications - Face.com (Tel Aviv, Israel). Image retrieval based on face recognition. - Incogna (Ottawa, Canada). Develops a system for image search on the web. Uses GPUs for increased performance. - LTU Technologies (Paris, France). Image retrieval based on content. - Photometria (San Diego, California). Virtual makeover website, TAAZ.com uses computer vision methods to allow users to try on makeup, hair styles, sunglasses, and jewelery.

5/5