Prelucrarea numerica a imaginilor Cap.

8 Analiza de imagini si recunoasterea formelor

ANALIZA DE IMAGINI SI RECUNOASTEREA FORMELOR

Introducere
Extragerea caracteristicilor:
- Extragerea caracteristicilor spatiale
- Extragerea caracteristicilor de transformare
- Detectia de contur (muchie)
Descrierea obiectelor prin contur:
- Extragerea contururilor
- Reprezentarea contururilor
Descrierea obiectelor prin regiuni:
- Extragerea regiunilor
- Reprezentarea regiunilor
Structuri si forme pentru reprezentarea obiectelor prin regiuni:
- Reprezentarea prin schelet
- Prelucrari si transformari morfologice
- Reprezentari sintactice
- Caracteristici de forma
Texturi; analiza texturilor
Segmentarea imaginilor
Segmentarea prin delimitare cu prag (fereastra)
Catalogarea componentelor (obiectelor)
Segmentare prin extragerea conturului
Segmentare prin extragerea regiunilor
Metode mixte
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

Introducere
Concluzie
Analiza datelor
din analiza
Extragere
Imagine Extragere Clasific. si
Preprocesare de Segmentare
de intrare de descriere
caracteristici
caracteristici
Analiza de imagine
Intelegere de imagine
Reprezentare Interpretare
simbolica si descriere

Fig. 8.1 Sistem de analiza a imaginilor

Recunoasterea placutelor de inmatriculare

Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

Introducere
Exemple de aplicatii ale analizei de imagini:

Detectia textului pt. recunoasterea lui/inlaturarea lui

Recunoasterea semnelor Localizarea si cuantificarea Detectia tesutului hepatic

de circulatie calcitei pe lama de microscop
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

Introducere
Exemple de aplicatii ale analizei de imagini:

Imagini cu un singur obiect; detectia defectelor de pe obiect/sortarea fructelor

Metode de abordare a problemei de analiza a imaginii?
- “metoda directa” : analizeaza continutul intregii imagini, complet => in final vom putea
extrage toata informatia (interpreta complet scena), inclusiv informatia de interes – insa
complexitatea de calcul este prea mare!
- metoda “inteligenta”: focalizarea strict asupra informatiei cautate din imagine! Atunci
putem extrage doar aceasta informatie din imagine/regiunea din imagine care contine
informatia de interes => prelucrarea mai simpla.
• Cum?
1) Descriem caracteristicile dominante ale regiunii in care se afla informatia
de interes, caracteristici specifice acesteia si neprezente in alte regiuni
 descriem the trasaturile discriminative ale regiunii care contine
informatia cautata => reprezentam imaginea prin harta acestor
trasaturi si localizam astfel regiunea de interes
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

De exemplu – pt. imaginile cu mere – suntem interesati numai de zona cu defect (daca apare); defectele din imaginile cu
mere – apar de un gri mai inchis decat culoarea normala a marului, dar nu negre => putem spune ca trasaturile
discriminative sunt griuri inchise, dar nu negru => o operatiune de tip fereastra poate duce la o harta de trasaturi in care se
vede doar defectul, daca exista

Harta trasaturilor

2) Analizam informatia doar din regiunea de interes, folosind harta

trasaturilor;
ex. Sortare mere: fara defect (arie defect <2% din mar); cu defecte medii;
cu defecte mari…
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

Extragerea trasaturilor/caracteristicilor:
Extragerea caracteristicilor spatiale:

• Caracteristici de amplitudine: ex. Nivelele de stralucire (luminanta) pot identifica regiunile de

interes din imagini:

Identificarea tesutului
prin codarea cu culori
(ex. violet)
Putem masura apoi aria,
putem descrie forma,
etc.

• Caracteristicile de amplitudine pot fi suficient de discriminative daca nivelul de gri este suficient
pt. a distinge informatia dorita fata de restul scenei
=> cel mai dificil – definirea parametrilor optimi ai transformarii pt. extragerea
caracteristicilor dominante (discriminative)
=> harta de caracteristici de amplitudine nu este in mod necesar binara!; partile care nu
prezinta interes din scena trebuie reprezentate in mod unic (ex. negru, sau o culoare/niv.
gri neprezent in regiunea de interes)
=> uneori este necesara binarizarea adaptiva/operatiuni fereastra adaptive.
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

• Trasaturi extrase din histogramele locale (caracteristici de histograma):

Histograma locala = descriere statistica locala a imaginii;
Daca u = un pixel din imagine; x=un nivel de gri => Hu(x)=nr. de aparitii ale x in regiunea
din imagine din jurul lui u
=> Se pot calcula: deviatia standard; entropia; mediana; percentilele lui Hu(x), etc.

Regiune Masuratori
de interes
Histograma
regiunii de
interes

Tesutul de interes este bine

separat de lama de microscop
prin valoarea
deviatiei standard
a histogramei locale
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

Extragerea caracteristicilor de transformare

Imagine Transformare v(k,l) v (k,l) Transformare u(m,n)

directa
x inversa
de intrare
Masca
g(k,l)

Fig.8.2 Extragerea caracteristicilor de transformare

Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

Detectia de contur (muchie)

(u, H ) m,n    h( i, j ) u( i  m, j  n)  u( m, n)  h(  m, n)

i j
g 2 (m,n)
g(m,n) = 2 2
g (m,n)+ g2 (m,n)  g (m,n) = arctg
1 g1 (m,n)

g1(m,n)
g  g12  g 22 Modul Limitare cu prag
h1(-m,-n) 1 Detectie
u(m,n) g(m,n)
0 t muchii
1
h2(-m,-n)  
g (m,n) g directie
2 tg ( g 2 / g1 )
g(m,n)
Fig. 8.3 Detectia muchiilor cu operatori gradient

1 0 1 1 2 1
H 1  1 0 1, H2  0 0 0 (8.5)
1 0 1 1 2 1

 0 1 1 0 
H1    , respectiv H2    (8.6)
1 0 0 1
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea
formelor

u(m,n) gk(m,n) Max{1 1} gradient g(m,n) Limitare detectie

hk(m,n)
k cu prag muchii

Fig. 8.4 Detec]ia muchiilor cu operatori unghiulari

1 1 1 5 5 5 1 1 1 1 2 1
 1 2 1  3 0 3 0 0 0 0 0 0
       
1 1 1 3 3 3 1 1 1 1 2 1
a b c d

Fig. 8.5 Operatori unghiulari (direc]ia Nord)

1 1 1 1 1 0 1 0  1 0  1  1
       
0 0 0 1 0  1 1 0  1 1 0  1
 1  1  1 0  1  1 1 0  1 1 1 0 

N NW W SW

 1  1  1   1  1 0  1 0 1  0 1 1
0 0 0  1 0 1  1 0 1   1 0 1
       
 1 1 1   0 1 1  1 0 1  1  1 0

S SE E NE

Fig. 8.6 Obtinerea operatorilor unghiulari pe diferite directii

Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea
formelor
 
gk(m,n) – gradient compas pe directia k0,...,7, k  k ,
2 4
Gradientul la locatia (m,n) va fi definit ca:
g (m, n) = max{ g k (m, n) } (8.7)
k

Operatori Laplace si metoda trecerilor prin zero

2 f 2 f
 f 
2
 (8.8)
 x2  y2

0 1 0 1 1 1 1 2 1
(1) 1 4 1 (2) 1 8 1 (3) 1 4 2 
 0 1 0  1 1 1  1 2 1 

df Limitare Contur dublu

dx cu prag
f(x)
d2 f
dx 2
Trecere prin
a b c zero
Fig. 8.7 Extragere de contur folosind operatori Laplace (cazul unidimensional)
 Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea
formelor

Operatorul Laplacian din Gaussian (Laplacian of Gaussian, LoG)

 ( m2  n 2 )   m2  n 2 
h( m, n )  c 1   exp   2 2 
 2   

Filtru Gaussian Derivata a 2-a a Gaussianului

Derivata Gaussianului
(Laplacianul Gaussianului)

Implementari discrete:
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

Extragerea contururilor
1
C
B
A A 2 4

3
a) b) c)

Fig. 8.8 Conectivitate cu 4 sau 8 conexiuni

Transformata Hough: s  x  sin  y  cos  s  x  cos  y  sin

y
s

s
θ Φ
x
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea
formelor

Transformata Hough a unei linii/ transformata Hough a unei curbe oarecare:

s s s

Convergenta
Punct de convergenta a curbelor Nu exista punct de convergenta
aproximativa => dreapta
Punctele apartin aceleiasi drepte Punctele nu formeaza o dreapta
aproximativa
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

Aplicatii in extragerea conturului format din segmente de dreapta:

Detectie muchii
(operator
Transformata
gradient)
Hough:

+ binarizare
Extragerea
(comparare
conturului
cu prag)
triunghiului

Imagine originala Puncte de contur, Conturul obiectului din

contururile neextrase stanga jos = intre
punctele de intersectie
8-conectivitate:
Extragere
Etichetare (extragere) corecta
contur in 8-conectivitate
4-conectivitate
Intreruperea
conturului
obiectului
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

Reprezentarea contururilor
2 D
3 1 C 4 B C
5 3
D A A
4 0
6 2
E H
5 7 E
7 1
6 F G B
0
a) b)

Fig. 8.9 Reprezentare de contur folosind coduri in lant Fig. 8.10 Aproximarea curbelor cu
portiuni de drepte
Punct start

Codati acest contur prin

cod in lant cu 8 directii,
Folosind ca origine –
punctul din stanga sus;
sens de parcurs
– la alegere
Pozitii spatiale posibile
= doar in colturile grilei

Contur original Aproximare a conturului pe grila rectangulara

Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

u(n)  x(n)  j  y(n) pentru n  0,1,...,N  1 (8.12)

1 N 1
 j 2 k n 
u( n ) 
N
 a( k ) exp 
k 0 N 
, 0  n  N 1 (8.13)
N 1
  j 2 k n  (8.14)
a( k )   u( n ) exp 
n 0 N
,

0  n  N 1

u0  x 0  j y 0 (8.15)
Ax  By  C  0 (8.16)
determina obtinerea unui nou contur x'(n) y'(n), dat de:
u'( n )  u *( n )e j 2  2 (8.17)
( A  jB)C ( A  jB) 2
unde   , exp( j 2  )  (8.18)
A2  B 2 A2  B 2
Tabelul 8.1
Transformarea Descriptorii Fourier Conturul transformat
Identitate u(n) a(k)
Translatie u'(n)u(n)u0 a'(k)a(k) u0(k)
Scalare u'(n)u(n) a'(k)a(k)
Punct de referinta u'(n)u(n-n0) a'(k)a(k)e-j2n0k/N
Rotatie u'(n)u(n)ej0 a'(k)a'(k)ej0
Simetrie fata de
o dreapta u'(n)u*(n)ej202 a'(k)a*(-k)ej22(k)
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

Reconstructia unei forme din descriptorii sai Fourier:

Original Reconstructia din Reconstructia din

primii 2 descriptori primii 6 descriptori

Reconstructia din Reconstructia din

primii 10 descriptori primii 20 descriptori
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

N 1 2
d ( u0 , , 0 , n0 )  min  u( n )   v ( n  n0 )e j 0  u0  (8.19)
u0 , ,n0 , 0
 n 0 
 u( n)   v(n)  0,
atunci pentru o translatie data u0, distanta (8.19) este minima atunci cand:
Forma
model Rezultate potriviri: d<Prag u0  0
 c( k )cos( k  k  0 )
si
  k

 b( k )
2

 c( k )  sin( k  k ) (8.20)
tg 0  k

 c( k )  cos(
k
k  k )

unde a(k)b*(k)c(k)ejk,  -2n0/N si c(k) este o cantitate reala.

 2
d  min d ( )  min  a( k )   b( k ) exp j ( k   0 ) 
 
 k 
(8.21)

Dictionar forme/contururi
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea
formelor
Reprezentarea regiunilor

1 , daca m,n 
u(m,n)  
0 , in rest

4 1
G
3 2
A
F A
I H

E B I H G E D C B
F
D C
4 3 2 1

Fig. 8.11 Cod “quad-tree” utilizat pentru reprezentarea regiunilor

codul ob]inut : gbgbwwbwgbwwgbwwb si, decodificat : g(bg(bwwb)wg(bwwg(bwwb)))

 Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea
formelor
Structuri si forme
 Transformari ale axei mediene
u k (m, n)  u0 (m, n)  min u k 1 (i, j ); (i, j ):(m, n; i, j )  1k  1,2,... 8.23)
 ( m, n;i , j )
u 0 (m, n)  u (m, n)

(m,n) : uk(m,n)  uk(i,j) ,  (m,n;i,j) 1 (8.24)

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 2 2 2 2 2 1 1 2 2 2 2 2 1 1 2 2 2 2 2 1
1 1 1 1 1 1 1 k
 
1 1 2 2 2 2 2 1 k
 
2 1 2 3 3 3 2 1 k
 
 3,4,5 1 2 3 3 3 2 1 

       
1 1 1 1 1 1 1 1 2 2 2 2 2 1 1 2 2 2 2 2 1 1 2 2 2 2 2 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
u0 (m, n) u1 (m, n) u 2 (m, n) u3 , u4 , u5
Pixeli – fond (negru),
Codati cu “0”
Transformarea-distanta,
Redata ca imagine de intensitate

Pixeli – obiect (alb),

Codati cu “1”
1 1  
2 2  
3 3 3   
2 2  
1 1  
Schelet
a b c
Fig. 8.12 Algoritm de scheletizare Fig. 8.13 Exemple de schelete ale unor obiecte
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea
formelor
Structuri si forme

Algoritm de subtiere:
2 reguli logice:

R1: P1==1 && N(P1)==1 && 2<=NT(P1)<=6 && P2·P4·P6==0 && P2·P4·P8==0

R2: P1==1 && N(P1)==1 && 2<=NT(P1)<=6 && P2·P6·P8==0 && P4·P6·P8==0

P3 P2 P9 1 1 0 0 0 0 1 0 1
P4 P1 P8 1 P1 1 1 P1 0 0 P1 0
P5 P6 P7 0 0 0 0 0 0 1 1 1
a. b. c. d.

a b

Rezultatul subtierii
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

 Prelucrari morfologice
Obiect Element Eroziune Obiect Element Dilatare
structural structural
Origine
Origine

Obiect Element Conturare Obiect Element Deschidere

structural structural
Origine
Origine

Obiect Element Inchidere Obiect Element Scheletizare

structural structural
Origine
Origine G

Obiect Element Subtiere

Obiect Element Curatare
structural
Origine Origine
structural

Obiect Element Ingrosare

structural

Origine

Fig. 8.16 Algoritmi de transformare morfologica

Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor
 Reprezentari sintactice

Simboluri
structurale
primitive
a b c d e
e
b d
Structura c
e e
obiectului a a a
a d d a
d d a
a
Reprezentare sintactica: a d a e b e a d a d d a d a c
a
Fig. 8.17 Reprezentarea sintactica a unui obiect
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

Caracteristici de forma
Aplicatii: recunoasterea de forme; masuratori cantitative
Def. Forma obiectului = profilul obiectului + structura fizica a obiectului => “descriptori de forme”

Clasificare:
(1) caracteristici regenerative (contururi; regiuni; momente de ordin superior; caracteristici structurale;
caracteristici sintactice)
(2) caracteristici geometrice (arie, perimetru, raza maxima, excentricitate, colturi, rotunjime, simetrie)
(3) caracteristici de momente
Prelucrarea numerica a imaginilor Cap.8 Analiza
y de imagini si recunoasterea formelor

Caracteristici geometrice:

 Perimetrul:
2 2
 dx(t )   dy (t ) 
T      dt
t - parametrul de contur  dt   dt  dy
y(t)
- Discret => T = numarul de pixeli de pe contur
y(t+1)
x(t) x(t+1)
dx x
 Aria:
dx (t ) dy( t )
A    dxdy   y( t )  dt   x ( t )  dt
R R dt R dt
unde: R si R - regiunea si, respectiv, conturul obiectului

- Discret => A = numarul de pixeli din regiune

 Razele Rmin si Rmax - distantele minime si maxime de la centrul de masa la contur (raportul Rmax/ Rmin -
masura a excentricitatii sau alungirii unui obiect)

Rmin Rmax
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea
formelor
compact necompact
 Rotunjimea sau compactizarea:

( perimetrul ) 2 T2
  
4 ( aria ) 4 A
Pentru un disc, spre exemplu,  este minim si egal cu 1.

 Simetria: doua tipuri de simetrie a formelor: rotaţională si “în oglindă”

Caracteristici de momente:
 Centrul de masa
1 1
m
N
 m ,
( m , n )R
n
N
n
( m , n )R

 Momentul central de ordinul (p,q) va fi:

 p ,q   (m - m )
( m,n )R
p
( n  n) q
 Orientarea: unghiul axei celui mai mic moment de inertie - minimizand :

I ( )     (m, n)  [(n  n)cos  (m  m)sin ]

( m, n )R
2

( m, n )R
2

in raport cu :

1  2 1,1 
   arctg  
2   2, 0   0, 2 
 
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

Texturi
 Textura = repetarea periodica a unor structuri in imagine; structura de baza = texel
Texturi artificiale Texturi naturale

Metode de analiza: Clasificare statistică; Clasificare structurală

 Clasificare statistica:
 Funcţia de autocorelaţie (ACF): dimensiunile spatiale ale texelilor proportionale cu latimea functiilor de autocorelatie
spatiala:

au ,u (k , l )  m2 (k , l ) / m2 (0,0) unde m2 (k , l )    u(m, n)u(m  k , n  l )

m,n W

 Masuri de evaluare a distributiei functiei de autocorelatie – pt. descrierea texturii:

M ( k , l )    ( m   1 ) k ( n   2 ) l r ( m, n )
m n

 1    mr ( m, n ) ,  2    nr ( m, n ) ,
m n m n
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

ACF pt. “Nisip” ACF pt. “Lana”

 Transformări de imagine:
z i ( k , l )  v ( k , l )  gi ( k , l ) (8.41)

2 2 2

1

1 1

2
2 2

1 1

1

Fig. 8.18 Tipuri de masti folosite in analiza de texturi

Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor
 Densitatea conturului

Sobel Sobel

Nisip Rafie

 Caracteristicile de histogramă: => histograma de co-aparitie:

p u ( x1 , x 2 )  f ( r ,  ; x1 , x 2 )
=> masuratori statistice ale histogramei bidimensionale:
R4, 0
- inertia: I ( r, )   x  x2 f ( r ,  ; x1 x 2 )
2
1
x1 , x 2
- distributia medie:
1
 ( r;x1 ,x 2 ) 
N0


f ( r ,  ;x1 x 2 )

Iarba
N0 - numarul total de orientari posibile.

- distributia variantei:
1
 2 ( r;x1 ,x 2 ) 
N0
 [ f ( r, ;x x 1 2 )   ( r;x1 ,x 2 )]2
- distributia imprastierii:

( r;x1 ,x 2 )  max{ f ( r, ;x1 ,x 2 )}  min{ f ( r, ;x1 ,x 2 )}


Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

 Modele de textură aleatoare

u( m, n)  a( m, n)   ( m, n) (8.47)

Calculul
ACF
Extragere de Caracteristici
u(m,n) caracteristici de textura
Textura
Filtru de
(m,n) Calculul
decorelare
A(x1,x2) histogramei

zgomot (m,n) 1 u(m,n)

alb A(x1,x2)

Fig. 8.19 Model de analiza a texturii

Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

Segmentarea imaginilor
Segmentarea prin delimitare cu prag (fereastra)

1) Detectie maxime
locale

Obiect

2) Detectie minime
locale

Obiect intre minime locale

Catalogarea componentelor (obiectelor)

 Catalogarea pixelilor:

C A D

B X

seed segmentare cu prag de 4 noul seed imaginea segmentata

Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

Segmentarea imaginilor
 Analiza conectivităţii curselor

Coloana 1 2 3 4 5 6
A a Nivel 1 2 1 2 1 3
b d Obiect A B A B A C
c IC1 B C
e g h i Markeri
ID1 B C
j k B m n IC2 A B
l ID2 A B
o p C r s a
q b c d
t u v
e f g h i
w j k m n l
o p r s q date
a) imagine binară t u v
w

b) tabel de segmentare
Fig. 8.21 Algoritm de analiza a conectivitatii curselor

Obiect camera Conversie Preprocesare Segmentare Extragere Clasificare

video A/D si binarizare (conectivit.) caracterist.

Fig. 8.22 Sistem de analiza bazat pe conectivitatea curselor

Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

Segmentare prin extragerea conturului

Obiect Segmentare Extragere

Detecţie Clasificare
prin detecţie de
de contur şi analiză
de contur caracteristici
Fig. 8.23 Segmentare bazata pe extragerea conturului

Segmentare prin extragerea regiunilor

R 1 R
R 1 '=
R 1  R 2  R
2
4

R R 3
R R 4
3 R 5
5

a b

Fig. 8.24 Contopirea regiunilor

Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

1 2
A B A B R2
Divizare D C D C Contopire
A B R1
D C
4 3

1 2 3 4 1(A,B,D)
1C, 2D, 3A
2(A,B,C)
A B D C A B C D A B C D 3(B,C,D)
4
b
c

Fig. 8.25 Segmentare prin divizare si contopire: a. intrare

b. divizare cu arbori c. regiunile segmentate
Prelucrarea numerica a imaginilor Cap.8 Analiza de imagini si recunoasterea formelor

a) Imaginea originală b) Rezultatul segmentării

bazate pe regiuni

c) Principalele obiecte detectate,

marcate în imaginea originală prin
conturul lor