ANALIZA IMAGINILOR

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

ANALIZA IMAGINILOR
Titular curs : Prof. Dr. Ing. Constantin VERTAN cvertan@alpha.imag.pub.ro B141 Laborator : As. Dr. Ing. Laura FLOREA lflorea@alpha.imag.pub.ro B141/ B135A
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Chestiuni administrative

http://alpha.imag.pub.ro/cursuri
Cod curs: 04.S.08.O.512 - 3 puncte credit Curs: 3 ore/ saptamana 9.3 saptamani Laborator: 3 ore/ 2 saptamani, cu subgrupa, B135A Punctare: 20 puncte lucrare finala 2 x 20 puncte lucrari de verificare la curs 40 puncte colocviu de laborator

(20 pct. test teoretic laborator, eliminatoriu

20 pct. test practic laborator 0 pct. prezenta)
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Chestiuni administrative

http://alpha.imag.pub.ro/cursuri
Programare lucrari de verificare (cu degrevare): Lucrarile NU SE REPETA ! Lucrare 1: Saptamana 4 Marti, 16 martie (la curs) Lucrare 2: Saptamana 7 Marti, 13 aprilie (la curs) Verificare finala: Saptamana 10 Marti, 4 mai (la curs) C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Bibliografie de baza

http://alpha.imag.pub.ro/cursuri
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Imaginile digitale sunt un bun de larg consum

anul 2008: 140 milioane aparate foto digitale vandute 250 milioane telefoane mobile cu camera vandute + cateva zeci de milioane de camere video digitale + produsele profesionale

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

ANALIZA IMAGINILOR: imagini de consum

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Analiza continutului imaginilor pentru detectia si corectia erorilor

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Analiza coninutului imaginilor pentru detecia feelor... chiar si corectia feelor

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Analiza coninutului imaginilor pentru detecia continutului ofensator: family filter

Renoir : Nude
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

ANALIZA IMAGINILOR: imagini de securitate

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Identificarea persoanelor

Iris

Amprenta

Fata

01110010111..
Recunoastere ?
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

AH-64 Apache helicopter

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

ANALIZA IMAGINILOR: imagini medicale

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Melanoame de piele Descrierea automata: criteriul ABCD A - asimetrie B - bordura C - culoarea D - diametrul

Problema : stabilitatea achizitiei culorii

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Detectia cancerului mamar

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

MIAS database X-rays

normal

malignant chistic masses

Urmarirea protezelor totale de sold

identificarea si caracterizarea protezei

imagine HDR a filmului radiologic

Analiza interfetei os-proteza

Descrierea structurii osoase in regiunile Gruen descriere de textura

detectia semnelor radiologice (piedestal, linii radiolucenta)

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Screening-ul osteoporozei prin analiza [semi]automata a radiografiilor de calcai

Baza de cazuri

radiografie de calcai
ROI 0 ROI 1 ROI 2

schema de descriere MPEG-7 + extra

decizie privind osteoporoza

clasificare supervizata

<=10% MD <=15% FA

ANALIZA IMAGINILOR
Ce este, cum se leaga de prelucrarea imaginilor .

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Sistemul tipic de prelucrarea imaginilor

Compunere la nivel logic (in sistemul de calcul):

Imbunatatire

Restaurare Compresie

Segmentare

Analiza

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Imbunatatire

Restaurare

Segmentare

Analiza

Segmentare: Descompunerea imaginii (scenei) in partile sale constituente.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Imbunatatire

Restaurare

Segmentare

Analiza

Segmentare: Descompunerea imaginii (scenei) in partile sale constituente.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Imbunatatire

Restaurare

Segmentare

Analiza

Analiza: Descrierea partilor (obiectelor) din imagine si a relatiilor dintre ele; decizii/ clasificari De la obiecte la numere: 011 000 111 .
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Caracteristicile pixelului pozitie : linie, coloana valoare (+ informatie de afisare) dimensiune legatura cu realitatea fizica forma
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

imagine

Valoarea pixelului vs. conventii de afisare

Imaginea ce se vede pe un ecran nu este neaparat informatia reala achizitionata din scena investigata. In general, imaginilor li se adauga si conventiile de afisare a valorilor, ce sunt stabilite de utilizator. Aceste conventii sunt deci subiective si independente de continutul imaginii. Actiunea este de modificare a perceptiei vizuale a imaginii, si nu a continutului imaginii.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR - LAPI

Caracteristicile pixelului
Sunt valorile fizice masurate in scena relevante ?

Este oare posibil ca : Obiecte diferite sa fie caracterizate de aceleasi valori ale pixelilor ? sau Obiecte identice sa fie caracterizate de valori diferite ale pixelilor ? depinde de ceea ce se achizitioneaza ..
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Caracteristicile pixelului

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Structura cursului
Segmentarea imaginilor segmentarea orientata pe regiuni segmentarea orientata pe contururi separarea componentelor scenei (imaginii)

Caracterizarea componentelor din imagini descrierea regiunilor descrierea contururilor

C. VERTAN

individualizarea (recunoasterea, identificarea) componentelor scenei (imaginii)

LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Segmentarea orientata pe regiuni

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Segmentare
Descompunerea imaginii (scenei) in partile sale constituente. Matematic: segmentarea este o partitionare a multimii pixelilor din imaginea f, in submultimi fi continand una sau mai multe componente conexe, disjuncte si uniforme dpdv al unui criteriu C pre-stabilit.

f = U fi
i

f i f j = ,i j C( f i ) = 1 C( f i f j ) = 0
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Exemplu de segmentare

imagine originala

componenta 1 imagine segmentata: componentele sunt pseudocolorate comp. 2

comp. 3

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Exemplu de segmentare

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Segmentare : uniformitatea regiunilor

uniformitate a valorilor

uniformitate a unor caracteristici, altele decat valoarea [texturale]

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Texturi

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Segmentare
Evident, segmentarea inseamna ca pentru fiecare pixel din imagine, in functie de valoarea acestuia (si poate si alte valori din imagine) si in functie de parametri specifici unui anume metode, sa se decida care componenta din care respectivul pixel face parte. Parametrii care particularizeaza o metoda generala pentru o anume imagine pot sa depinda doar de valoare pixelilor de valoarea pixelilor si de caracteristici de vecinatate ale pixelilor segm. globala segm. locala

de valoarea pixelilor, de caracteristici segm. dinamica de vecinatate ale pixelilor si de pozitia in imagine C. VERTAN segm. adaptiva
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Categorii de tehnici de segmentare pe regiuni Thresholding (segmentare pe histograma) Cresterea si fuziunea regiunilor Segmentarea in spatiul caracteristicilor (generalizare thresholding) pentru regiuni cu uniformitate a valorilor pentru regiuni cu uniformitate a caracteristicilor (texturi)

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Marea problema
Cate tipuri de obiecte (cate clase de obiecte) sunt in imagine ?

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Segmentarea orientata pe contururi

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Contur = frontiera unei regiuni; este format din pixeli in jurul carora criteriul de uniformitate nu se mai respecta. Contur = modificare (variatie) a valorilor pixelilor.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Descrierea (caracterizarea) regiunilor si contururilor

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Cum putem individualiza acest obiect printr-un set de numere ? (mutam obiectul de studiu din domeniul functiilor binare cu suport in Z2 intr-un spatiu real de dimensiune n).

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Aplicatii posibile sky is the limit .

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Thresholding (segmentare pe histograma)

Presupunere esentiala : diversele categorii de obiecte din scena sunt formate din pixeli al caror nivel de gri (valoare) este relativ constanta. Tip de obiecte = plaja ingusta de valori a pixelilor Obiectele sunt caracterizate de grupuri de pixeli avand o uniformitate a valorilor.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Thresholding
Nivelul de gri (valoarea) pixelilor corespunde in scena unor proprietati fizice definitorii si discriminatorii pentru tipurile de obiecte. Distributia proprietatii fizice masurate in scena este aproximata de histograma imaginii.

Histograma - instrument de descriere a continutului scenei.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Histograma
Histograma = functie ce asociaza fiecarui nivel de gri posibil probabilitatea [sa] de aparitie in imagine. h(u) = numar pixeli de nivel de gri u / numar total pixeli

1 h( u ) = MN

M 1N 1 m = 0 n =0

( f ( m ,n ) u ), u = 0 ,1,..., L 1

Histograma este o functie de densitate de probabilitate.

u =0

h( u ) = 1
Histograma descrie continutul de culoare/ de gri al imaginii.
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

L 1

Histograma

Histograma

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Histograma color

culori

Histograma nu ofera informatie asupra distributiei spatiale a culorilor.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Histograma
Se poate face distinctia intre imagini intunecate / luminoase. Histograma nu reflecta distributia spatiala a valorilor.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Histograma
Se pot face presupuneri asupra numarului de tipuri de componente din imagine.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Histograma
Modurile histogramei corespund unor categorii de obiecte.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Thresholding
Segmentarea pe histograma (thresholding) inseamna determinarea modurilor din histograma si separarea lor. Fiecare mod va corespunde unui tip de obiecte, caracterizate de plaje distincte (si relativ inguste) de nivele de gri.

Problema : cate moduri sunt ? care este separatia dintre ele ?

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Exemplu

C=3 T1=40 T2=100

C=4 T1=40 T2=100 T3=190

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Thresholding
Presupunem cunoscut numarul de clase de obiecte din imagine in care se face segmentarea, C. Presupunem ca am ales pragurile de separatie dintre modurile histogramei, aceleasi pentru intreaga imagine (deci suntem in cazul unei segmentari de tip global). Presupunem ca nivelul de gri al pixelilor corespunde unei marimi fizice discriminante. Tuturor pixelilor ce apartin aceluiasi mod (au acelasi interval de valori) li se atribuie aceeasi eticheta de apartenenta la o clasa. Dupa segmentare rezulta o imagine etichetata (sau harta a claselor).
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Thresholding
gasirea pragurilor de separare dintre modurile histogramei de nivele de gri a imaginii. Fie Tk pragurile de segmentare pe histograma. g(m,n) = Ek, daca Tk f(m,n) Tk+1 Ek este eticheta ce se atribuie tipului de obiecte k T0 = 0, TC = L, k = 0, 1, ..., L-1 Caz particular : C = 2 (binarizarea)
E0 , f (m, n) T g (m, n) = E1 , f (m, n) > T
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Exemplu de binarizare

C=2 T=170

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Evident, alegerea pragurilor de segmentare Tk este cruciala.

T1 obiecte intunecate obiecte gri mediu

T2 obiecte foarte luminoase

Pragurile se aleg pe minimele histogramei (separatia dintre moduri).

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Exemplu

Pentru inspectia de calitate a produselor se fac fotografii ale suprafetei acestora, cu imagini cu 1 pixel/ mm. Petele de rugina nu trebuie sa depaseasca niste limite impuse. Cum se detecteaza aceasta ?

Rugina: culoare (nivel de gri) intermediar. Fixam doua praguri care sa separe acest mod central: fie T1=80 si T2=150 (pragurile sunt situate pe minimele histogramei). T1 T2
C. VERTAN

LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Exemplu

Imaginea segmentata: eticheta 1 pentru pixelii de rugina (mod central), eticheta 0 pentru pixelii modului intunecat si eticheta 2 pentru pixelii modului alb. Imaginea etichetata este afisata in mod pseudo-color: rosu pentru 0, albastru pentru 1, verde pentru 2. Rugina = pixelii avand nivele de gri intre 80 si 150, adica pixelii colorati in albastru in imaginea etichetata, adica 62.2 % din imagine.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Exemplu O bila alba de biliard este fotogafiata pe un fundal negru. Fotografia este esantionata pe o retea patrata cu spatierea pixelilor de 1 mm si este cuantizata pe 11 de nivele de gri. Histograma imaginii este descrisa de vectorul : (300, 3000, 9000, 3000, 800, 200, 300, 1127, 700, 300, 0). a) Binarizati imaginea; care este valoarea pragului de segmentare ? b) Calculati raza bilei de biliard. c) Rezultatul ar mai fi credibil daca spatierea dintre pixeli ar fi de 2 mm ?

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Observatie Elementele partitiei determinate prin segmentarea pe histograma (deci multimile de pixeli ce au aceeasi eticheta) nu sunt multimi conexe (pot avea mai mult de o singura componenta). Nu se poate face nici o distinctie intre componente conexe diferite din aceeasi clasa (adica intre obiectele de acelasi fel din scena). Individualizarea componentelor dintr-o aceeasi clasa se face prin etichetare.

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Thresholding
Modalitati de alegere a pragurilor Metode globale Minimele histogramei Metoda Bhattacharryya Metoda Fisher Metoda Otsu Metoda Kittler-Illingworth Metode globale cu cunostinte apriori Segmentarea pe histograma cumulativa Segmentarea cu prag optim
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Thresholding
Modalitati de alegere a pragurilor (cont.) Metode locale Folosirea histogramelor ponderate Metode dinamice (adaptive) Metoda Nakagawa

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

www.dilbert.com

C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR