METODE INTELIGENTE DE REZOLVARE A PROBLEMELOR REALE

Laura Dioan Tema 6

Procesarea imaginilor

De ce?

mbuntirea calitii imaginilor

Reducerea zgomotolui i a altor defecte Evidenierea anumitor zone Determinarea contururilor

Extragerea de informaii Recunoaterea caracterelor Recunoaterea amprentelor Prelucrarea imaginilor medicale Prelucrarea imaginilor din satelit

Aplicaii

Procesarea imaginilor
Captarea imaginilor i reprezentarea lor Operaii asupra imaginilor

Operaii geometrice Operaii de mbuntire Operaii de comprimare

Extragerea de informaii relevante din imagini

Captarea imaginilor i reprezentarea lor

Captare

Foto Video n domeniul spaial (geometric)

Reprezentare

Imaginea = un ansamblu de valori plasate dupa o form spaial (regulat sau nu) de dimensiune supra-unitar (plan, spaiu, dar nu dreapt) Matrice de pixeli (picture elemnt) Reprezentare intuitiv dpdv al ochiului uman Imaginea = un ansamblu de frecvene care compun imaginea (culoare frecven lungime de und (IP) amplitudine) Imaginea = semnal bidimensional Grafic, pe OX, OY se afl distribuia frecvenelor pe cele 2 axe ale imaginii, iar culoarea pixelilor va reprezenta amplitudinea (mai deschis nseamn amplitudine superioar) Reprezentare f. util n procesele de analiz, comprimare i prelucrare a imaginilor

n domeniul frecvenelor (spectral)

Captarea imaginilor i reprezentarea lor domeniul spaial

Imaginea = ansamblu de pixeli Tipologia imaginilor n domeniul spaial (geometric) Dup valoarea unui pixel

Imagini scalare orice valoare este un scalar (intensitatea luminoas, distana, temperatura)

imagini monocrome (binare) 0/1 imagini alb-negru (cu nivele de gri) 8 bii
0 negru 255 alb

Imagini vectoriale orice valoare este un vector; imaginea vectorial = sandwich de imagini scalare

Imagini color vectori de 3 componente Imagini satelitare vectori de 3-200 componente Imagini termografice vectori de 2-5 componente n band de infrarou

Captarea imaginilor i reprezentarea lor domeniul spaial

Imagini color vectori de 3 componente

Modelul RGB (Red-Green-Blue)

(0,0,0) negru (255, 255, 255) alb Nuana unghiul culorii n cercul de culori (0-360) Saturaia puritatea culorii (procentual) Intensitatea

Modelul HSI (Hue-Saturation-Intensity)

Modelul CMY (Cyan-Magenta-Yellow)

(0,0,0) alb (255,255,255) negru

Conversii ntre modele

Captarea imaginilor i reprezentarea lor domeniul spaial

Tipologia imaginilor n domeniul spaial (geometric) Dup semnificaia valorilor

Imagini de intensitate valori DP cu mrimea fizic msurat n scen Imagini indexate valorile sunt indici (adrese) ntr-un tabel asociat imaginii, n care se gsete informaia de intensitate

Captarea imaginilor i reprezentarea lor domeniul spaial

Pp. o imagine de dimensiune MxN fij valoarea pixelului de pe linia i i coloana j P mulimea tuturor pixelilor Vecinti

Pt. un pixel p situat la poziia (i,j) Vecini ortogonali:

p1 (i-1,j), p2 (i+1,j), p3 (i,j-1), p4 (i, j+1) Formeaz ansamblul N4(p) p5 (i-1,j-1), p6 (i-1,j+1), p7 (i+1,j-1), p8 (i+1,j+1) formeaz ansamblul ND(p)

Vecini diagonali

N8(p)=N4(p) U ND(p) 2 pixeli p1(i1,j1) i p2(i2,j2) se afl n relaie de k-conectivitate

Conectiviti

dac p1Nk(p2) sau p2Nk(p1), k {4,8}

Drum

de lungime n mulimea de pixeli Dn={p1,p2,...,pn} a.. pi se afl n relaie de conectivitate cu pi+1, i=1,2,...,n-1

Pixelii p i q sunt conectai dac exist un drum ntre ei Regiune

set de pixeli conectai

Captarea imaginilor i reprezentarea lor domeniul spaial

Metrici ntre 2 pixeli p1(i1,j1) i p2(i2,j2)

Distana Euclidean

d(p1,p2)=[(i1-i2)2+(j1-j2)2]1/2

Distana Manhattan

d4(p1,p2)=|i1-i2|+|j1-j2| N4(p)={qP a.. d4(p,q)1}

Distana jocului de ah

d8(p1,p2)=max(|i1-i2|,|j1-j2|) N8(p)={qP a.. d8(p,q)1}

Captarea imaginilor i reprezentarea lor domeniul frecvenelor

Imaginea = ansamblu de frecvene Transformarea unei imagini din domeniul spaial n domeniul spectral

Serii Fourier Matrice de pixeli matrice de frecvene (lungimi de und)

Orice und (sinusoidal) poate fi descompus ntr-o sum de mai multe sinusoidale

Captarea imaginilor i reprezentarea lor Operaii asupra imaginilor

Operaii Operaii Operaii Operaii Operaii

geometrice de mbuntire de comprimare de segmentare de restaurare

Extragerea de informaii relevante din imagini

Operaii geometrice

Pentru reprezentarea spaial a imaginilor Nu modific valorile pixelilor (compoziia) Modific aezarea lor spaial (structura) Translaie

Modificarea dup o traiectorie dreapt a coordonatelor unui pixel

x=x+Tx y=y+Ty

Rotaie

Modificarea dup o traiectorie circular a coordonatelor unui pixel

Coordonate carteziene coordonate polare

x=r cos() y=r sin() x= r cos(+) y= r sin(+)

Oglindire

Fa de o ax de simetrie

Operaii de mbuntire

mbuntirea calitii imaginilor

Originale sau nu Prin accentuarea unor caracteristici

Muchii Contururi Contrast

Nu modific cantitatea de informaie din imagine Modificarea valorii unor pixeli Reducerea degradrilor perceptuale sau aleatoare:

Contrast sczut Imagine supra- sau sub-expus Zgomot suprapus peste semnalul util

Restaurare

Reducerea degradrilor deterministe

Micare Lipsa focalizrii Defecte optice

Segmentare

Descompunerea imaginii n elementele componente

Compresie

Reducerea volumului de date necesare reprezentrii informaiei dintr-o imagine

Operaii de mbuntire

Pentru reprezentarea spaial n funcie de numrul de pixeli din imaginea iniial folosii pentru calculul valorii unui pixel n imaginea prelucrat

Operaii punctuale 1 1 Operaii de vecintate (locale) k 1 Operaii integrale (unitare) nxm 1

Operaii de mbuntire

Operaii punctuale 1 1

g(x,y)=(f(x,y)) Negativarea imaginilor Modificarea contrastului Decuparea

Operaii de mbuntire

Operaii punctuale 1 1

Negativarea imaginilor

(x)=(L-1)-x, de obicei L = 256 ((R,G,B))=((L-1)-R,(L-1)-G,(L-1)-B)) Utilitate

Imagini negative (de tip pelicul)

Operaii de mbuntire

Operaii punctuale 1 1

Modificarea contrastului

Accentuarea contrastului
Pant subunitar apropierea nivelelor de gri Pant supraunitar deprtarea nivelelor de gri Caz particular: ntinderea maxim a contrastului

Nivelele de gri din [a,b] vor fi distanate Restul nivelelor de gri vor fi nlocuite cu alb, respectiv negru Caz particular: binarizarea (a = b)

Operaii de mbuntire

Operaii punctuale 1 1

Decuparea

Cu pstrarea fundalului Fr pstrarea fundalului

Utilitate
decuparea regiunilor de temperatur joas reprezentate de nori din imaginile obinute de un satelit meteo

Operaii de mbuntire

Operaii de vecintate (locale) k 1

n funcie de scop:

op. care vizeaz reducerea zgomotului sau a altor defecte (filtrare) filtre trece-jos op. care vizeaz accentuarea detaliilor (evidenierea muchiilor, a contururilor, etc) filtre trece-sus

n funcie de tip

op. liniare combinaii liniare ntre pixeli vecini op. neliniare combinaii complexe ntre pixeli

Operaii de mbuntire
Operaii de vecintate (locale) k 1 operaii de filtrare Tehnici de filtrare

Filtrare prin tehnica ferestrei glisante convoluie bidimensional

Filtru = masc de filtrare (convoluie) = form + coeficieni + origine = kernel Convoluie = schimbarea intensitii unui pixel a.. s reflecte intensitatea pixelilor vecini

Filtrare prin estimare statistic Filtrare prin clustering

Filtre liniare noua valoare a pixelui = combinaie liniar a mai multor pixeli din imaginea original (principiul superpoziiei)

g(m,n) = (k,l)W wkl*f(m-k,n-l), unde

W o structur de puncte vecintate wkl coeficienii filtrului (tehnica ferestri glisante) Filtre de netezire
Suma coeficienilor = 1 Filtru de mediere Toi coeficienii sunt egali (=1/k2) Suma coeficienilor = 0 Filtre de accentuare a contrastelor

Tipologie

Filtre de detectare a contururilor filtre trece-sus

Filtre derivative

Operaii de mbuntire
Operaii de vecintate (locale) k 1 operaii de filtrare Filtre neliniare

Tehnica ferestrei glisante ordonarea pixelilor Tipologie

Filtre de ordine
Filtru median eliminarea zgomotului sare i piper Filtru de minim Filtru de maxim

Filtre adaptive modificarea formei i a coeficienilor ferestrei de filtrare

Filtre bazate pe distan (relativ) coeficienii se calculeaz n funcie de distana dintre punctul respectiv i un punct fix Filtre bazate pe orientare fereastra are form liniar, orientat dup o anumit direcie Filtre distan-direcie combinaia celor 2 filtre precedente

Operaii de mbuntire

Operaii integrale (unitare) nxm 1

Egalizarea histogramei

Scop: manipularea contrastului

Transformarea Transformarea Transformarea Transformarea Transformarea

Fourier discret cosinus discret sinus discret Walsh-Hadamard Karhaunen-Loeve

Operaii integrale (unitare) nxm 1 Egalizarea histogramei

Histograma nivelurilor de gri

O funcie care asociaz fiecrui nivel de gri prezent n imagine frecvena sa (relativ) de apariie Estimarea densitii de probabilitate

Utilitate

mbuntirea constrastului mbuntirea luminozitii segmentarea imaginii Lipsa informaiilor privind

locaia pixelilor poziia relativ a pixelilor

Ne-ajunsuri

Operaii integrale (unitare) nxm 1 Egalizarea histogramei

Egalizarea histogramei reprezint o operaie de accentuare a contrastului i are ca scop obinerea unei histograme uniforme Algoritm

Se calculeaz histograma h(x) imaginii Se calculeaz histograma cumulativ hc(x) Se calculeaz noile nivele de gri

x=(hc(x)-hcmin)/(hcmax-hcmin)*(L-1)+0.5

Extragerea atributelor

Metod de captare a coninutului vizual al imaginilor n vederea indexrii lor Atribute vizuale - tipologie

n funcie de domeniu:

Generale
Ex. Culoare, textur, form Pot fi considerate la nivelul unui pixel unei regiuni de pixeli ntregii imagini Amprente Fee umane

Specifice

n funcie de modul de extragere

De nivel primar
Extrase direct din imagine Determinate pe baza atributelor de nivel primar

De nivel nalt

Exemple de atribute

Contururi (margini ale unor regiuni) Intersecii (puncte de interes, coluri) Regiuni de interes Creste

Extragerea atributelor

Atribute vizuale Generale

Culoare reprezentate prin

Diferite modele Histogram

Procentul fiecrei culori care apare n imagine (hk, k=1,2,...,K, K nr. de culori) nu ine cont de poziia culorilor (se pierde informaia regional) partiionarea imaginii n regiuni i determinarea histogramelor regionale Distane ntre 2 histograme

Extragerea atributelor
Atribute vizuale Generale Textur

Caracteristica tactil sau vizual a unei suprafee Elementele componente = texteli

Forme geometrice care se repet pe o suprafa Texturi slabe interacii slabe ntre texteli Texturi puternice > interacii puternice ntre texteli Diferenele ntre nivelurile de gri (contrastul) Mrimea regiunii unde apar modificri (fereastr) Direcia sau lipsa ei

Tipologie

Cuantific

Extragerea atributelor
Atribute vizuale Generale Textur Poate fi analizat prin metode

Sintactice (structurale)

relaiile spaiale din textur ~ gramatic (texteli simboluri terminale, relaiile reguli de transformare) De ordin I calculate la nivel de pixel:
Media =k=1,2,...,Kk*pk Variana 2=k=1,2,...,K(k-)2*pk Turtirea (skewness) 3=1/ 3k=1,2,...,K(k-)3*pk Excesul (kurtosis) 4=1/ 4k=1,2,...,K(k-)4*pk-3, unde pk=hk/k=1,2,...,Khk procentul fiecrei culori care apare n imagine (hk, k=1,2,...,K, K nr. de culori)

Statistice

Extragerea atributelor
Atribute vizuale Generale Textur Poate fi analizat prin metode

Sintactice Statistice

De ordin II calculate la nivelul unei vecinti de 2 pixeli

Matricea de co-ocuren a nivelurilor de gri C(i,j)=cardinal{((x1,y1), (x2,y2)) pentru care f(x1,y1)=i i f(x2,y2)=j, (x2,y2) = (x!,y1)+(d*cos,d*sin)}, i,j=1,2,...,K Energia i=1,2,...,K j=1,2,...,KC(i,j)2 Ineria i=1,2,...,K j=1,2,...,K(i-j)2C(i,j) Corelaia i=1,2,...,K j=1,2,...,K(ij)C(i,j)-ij/ij Momentul diferenei i=1,2,...,K j=1,2,...,KC(i,j)/(1+(i-j)2) Entropia i=1,2,...,K j=1,2,...,KC(i,j)logC(i,j) Filtre Gabor Atribute de tip Markov unde: i = i=1,2,...,Ki j=1,2,...,KC(i,j) j = j=1,2,...,Kj i=1,2,...,KC(i,j) i = i=1,2,...,K(i-i)2 j=1,2,...,KC(i,j) j = i=1,2,...,K(j-J)2 j=1,2,...,KC(i,j)

Extragerea atributelor

Atribute vizuale Generale

Form

Metode bazate pe
Regiuni Contur

Extragerea atributelor

Atribute vizuale Generale

Form

Metode bazate pe
Regiuni Momentele geometrice Momentele centrale i momentele centrale normalizate Invarianii momentului Momentele Zernike i Legendre Momentele complexe

Extragerea atributelor

Atribute vizuale Generale

Form

Metode bazate pe
Contur Circularitatea cir=4pA/P2 Rata aspectului ar=(p1+p2)/C Iregularitatea unghiului de discontinuitate (|ii+1|/2(n-2))1/2 Iregularitatea lungimii lir= |Li-Li+1|/K, unde K=2P pt n>3 i K=P pt n=3 Complexitatea com=10-3/n

Extragerea atributelor

Detecia contururilor

Contururile sunt acolo unde apar schimbri de culoare Schimbrile de direcie ale unei funcii pot fi detectate cu ajutorul derivatei I cele mai mari schimbri apar acolo unde derivata I are magnitudine (norm, mrime, dimensiune) maxim derivata II = 0

Extragerea atributelor

Gradientul unei imagini

O schimbare direcional a intensitii sau culorii ntr-o imagine

Este orientat n direcia n care apare cea mai rapid schimbare de culaore

Magnitudinea gradientului

Extragerea atributelor

Gradientul unei imagini

Se poate aproxima magnitudinea gradientului n cazul discret (domeniul spaial al imaginii)

De ordin I operatori
Sobel algoritmul Cany Schar Roeberts Cross Prewitt Costella

De ordin II: Operatori Laplaciani ai Gaussianului

Extragerea atributelor

Algoritmi pentru detecia atributelor

Scale-invariant feature transform (SIFT)

http://www.cs.ubc.ca/~lowe/keypoints/ Biblioteca OpenCV http://opencv.willowgarage.com/wiki/ openCV

Speeded Up Robust Features (SURF)

Gradient Location and Orientation Histogram (GLOH) Local Energy based Shape Histogram (LESH)

Extragerea atributelor

Trebuie ghidat cf. urmtoarelor principii

Atributele trebuie s conin suficient informaie despre imagine i nu trebuie folosite informaii specifice n procesul de extracie Atributele trebuie s fie uor calculabile imagini mari i numeroase

Compresia imaginilor

Compresie Compresie Compresie Compresie

la nivel de pixel predictiv (bazat pe o vecintate) cu transformate cu fractali, etc

Segmentarea imaginilor

http://www.lsv.unisaarland.de/dsp_ss05_chap8.pdf http://facweb.cti.depaul.edu/research/vc/ VC_Workshop/presentations/pdf/daniela_t utorial2.pdf