Ai Curs8

DESCRIEREA TEXTURILOR
C. VERTAN
LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR
Textura
Nu exista definitii definitive ale texturii; textura este descrisa prin

termeni lingvistici precum : regularitate, omogenitate, granularitate,
Textura : aspect similar in orice parte a sa, la o scala fixata.
C. VERTAN
albumul Brodatz
(120 texturi)
Descrierea texturilor
Descrierea texturii este in principal bazata pe interpretarea valorilor
pixelilor ca realizari ale unor procese aleatoare corelate. Descrierile
vor fi deci de tipul unor distributii ale unor caracteristici (valoare,
energie, variatie) in domeniul spatial al imaginii sau in domeniul de
frecventa (caracterizare spectrala).
Descriere statistica:
descriere prin momente (descriptori de ordinul 1)
descriere prin distributii spatiale (distributii de ordin cel putin 2).
descrierea in domeniul de frecventa
descrierea prin modele (AR, fractali, ...)
C. VERTAN
Distributii de ordinul 1
C. VERTAN
Descrierea prin momente (distributii de ordin 1)

textura = colectie de pixeli, realizari particulare ale unui
proces aleator
Histograma regiunii este atunci functia de densitate de probabilitate
a v.a., din care se pot calcula familii de momente statistice de diferite
ordine.
Ipoteze implicite:
textura este generata de un proces aleator stationar
procesul aleator este si ergodic !!!
C. VERTAN
Distributii de ordinul 2
C. VERTAN
Matricea de
coocurenta
Fie o textura definita pe suportul spatial al regiunii R.
Matricea de coocurenta a regiunii grupeaza probabilitatile de aparitie
in regiunea R a diferitelor perechi de valori posibile ale pixelilor ce
satisfac o regula impusa de plasament spatial.
Regula de plasament spatial este existanta unei separari spatiale
t = (i, j ) intre pixelii ce formeaza perechea.
Mt(a,b) = Prob{R(x) = a si R(x+t) = b}
M este o matrice patrata, de dimensiune egala cu numarul de valori
posibile diferite ale valorilor pixelilor.
C. VERTAN
Matricea de
coocurenta
Exemplu :
Culorile sunt coduri vizuale pentru numere :

1
2
3
4
Valorile pixelilor sunt deci cuprinse in [1, 5], matricea de coocurenta

va avea dimensiunea 5.
Vector de translatie : (1, 1) (perechi de puncte situate pe diagonala,
la distanta de 1).
C. VERTAN
Matricea de
coocurenta
4
4 perechi de pixeli de
valorile specificate in
relatia spatiala specificata
se normalizeaza la numarul
total de perechi (32)
C. VERTAN
Matricea de
coocurenta
C. VERTAN
Matricea de
coocurenta
1 pereche de pixeli de
C. VERTAN
Matricea de
coocurenta
C. VERTAN
Matricea de
coocurenta
matrice rara
continutul se schimba
la modificarea lui t
se poate folosi ca atare
(functie scalara de
doua variabile)
1
32
C. VERTAN
Parametri statistici [Haralick]
Matricea de
coocurenta
omogenitatea si omogenitatea locala
1
M t2 (a, b)
N nz a b
1
1
M t ( a, b)
=
N nz a b 1 + (a b) 2
O=
Oloc
uniformitatea
U = M t2 (a, a )
directivitatea
D = M t ( a ,a )
a
C. VERTAN
Matricea de
coocurenta
Parametri statistici [Haralick]
contrastul
C=
1
N nz ( L 1) 2
M
k
( a, b)
a b = k
entropia
H = 1
1
N nz log N nz
M
a
(a, b) log M t (a, b) (M t (a, b) )
etc ....
C. VERTAN
Matricea de coocurenta Haralick

M = Mt1 + Mt2 + Mt3 + Mt4
t1 = (0,1)
t2 = (0, -1)
t3 = (1, 0)
t4 = (-1, 0)
adica o matrice cumulata de coocurenta

pentru vecinatatea de baza V4
C. VERTAN
Fie o textura definita pe suportul spatial al regiunii R.
Matricea de
coocurenta
generalizata
Matricea de coocurenta generalizata a regiunii grupeaza

probabilitatile de aparitie in regiunea R a diferitelor perechi de
pixelilor avand diferite valori ale unei trasaturi caracteristice, ce
satisfac o regula impusa de plasament spatial.
Trasaturi caracteristice :
valoare (nivel de gri)

medie in vecinatate
neuniformitate (laplacian)
Realtie spatiala :
translatie (ca la coocurenta)

distanta de separare (corelograma)
C. VERTAN
Corelograma
Corelograma este o matrice care grupeaza probabilitatile de a avea
o pereche de pixeli de valori specificate separati de o distanta fixata.
pixeli ce satisfac constrangerea
spatiala de a fi plasati la o
distanta d de pixelul curent.
d
d
pixel curent
Pentru fiecare distanta d, corelograma

este o matrice patrata de dimensiune
egala cu numarul de valori diferite
posibile pentru pixeli.
C. VERTAN
10
Auto-corelograma
Simplificare : se calculeaza doar perechile de pixeli avand

aceeasi valoare (auto-corelograma), pentru diferite distante.
Autocorelograma va avea un numar de coloane dat de numarul
de distante diferite la care se face calculul si un numar de linii
egal cu numarul de valori posibile diferite ale pixelilor.
Distantele corespund in general metricilor discrete city-block
(L1) si chess-board (L).
C. VERTAN
Auto-corelograma
Exemplu :

1
2
3
4
5
Valorile pixelilor sunt deci cuprinse in [1, 5], auto-corelograma
va avea 5 linii.
Consideram distanta city-block (L1 - suma modulelor diferentelor
de coordonate) si distantele 1 si 2 (2 coloane in auto-corelograma).
d=2
d=1
C. VERTAN
11
Auto-corelograma
d=1 : 2 perechi de puncte

C. VERTAN
Auto-corelograma

12
C. VERTAN
12
Auto-corelograma

12
C. VERTAN
Auto-corelograma

29
26
12
C. VERTAN
13
Auto-corelograma

29
26
12
C. VERTAN
Matricea de
izosegmente
Izosegment (runlength) = grup de pixeli formand o componenta
conexa, formand un segment de dreapta orientat pe o directie impusa
Matricea de izosegmente grupeaza (pentru o zona data si o directie
impusa) probabilitatea de aparitie a unui izosegment de diferite
lungimi posibile si diferite valori.
Matricea are un numar de linii egal cu numarul de valori diferite ale
valorilor posibile ale pixelilor din regiune si un numar de coloane
egal cu dimensiunea maxima a regiunii pe directia specificata.
M ( a ,l )
probabilitatea de a avea un izosegment de lungime l

si valoare a pe directia
C. VERTAN
14
Matricea de
izosegmente
Exemplu :

1
2
3
4
Valorile pixelilor sunt deci cuprinse in [1, 5], matricea de izosegmente

va avea 5 linii.
Sa consideram orientarea orizontala; dimensiunea maxim posibila a
unui izosegment este dimensiunea orizontala a regiunii, deci 9.
In practica se considera imaginile binare obtinute prin extragerea
fiecarei valori posibile, pe care se numara izosementele corespunzatoare
C. VERTAN
Matricea de
izosegmente
1 izosegment de
lungime 2
C. VERTAN
15
Matricea de
izosegmente
5 izosegmente de
lungime 1
4 izosegmente de
lungime 2
1 izosegment de
lungime 3
1 izosegment de
lungime 4
C. VERTAN
Matricea de
izosegmente
3 izosegmente de
lungime 1
C. VERTAN
16
Matricea de
izosegmente
2 izosegmente de
lungime 2
2 izosegmente de
lungime 3
C. VERTAN
Matricea de
izosegmente
3 izosegmente de
lungime 1
2 izosegmente de
lungime 2
1 izosegment de
lungime 3
0
0
C. VERTAN
17
Matricea de
izosegmente
Parametri statistici [Gallaway]

numarul / proportia de izosegmente
L 1 n
N iz = M (a, b)
RF 5 =
a = 0 b =1
N iz
N reg
proportia de izosegmente scurte / lungi
1 L1 n 2
RF2 = b M (a, b)
Niz a=0 b=1
1 L1 n M (a, b)
RF1 =
Niz a=0 b=1 b2
heterogenitatea valorilor / lungimilor

2
1 L1 n
RF3 = M (a,b)
Niz a=0 b=1
1 n L1
RF4 = M (a, b)
Niz b=1 a=0
C. VERTAN
Extinderea parametrilor Galloway
C. VERTAN
18
Interpretarea statistica a matricii de izosegmente
C. VERTAN
19
C. VERTAN
Extindere : matricea de izosegmente fuzzy
C. VERTAN
20
De ce modelare fuzzy a valorii ?

Imprecizie perceptuala
(JND - Just Noticeable Difference)
Erori de cuantizare si zgomot
C. VERTAN
Modelarea fuzzy a valorii

model fuzzy = functie Lukasiewicz
c : C [ 0 ;1 ], c C
c descrescatoare fata de distanta intre valori d(c,c)
c(c)
1
c(c): grad de similaritate intre valorile

c si c
dmax
d(c,c)
C. VERTAN
21
Definitia fuzzy a izosegmentului (1)

apartenenta (similaritatea) pixelilor din izosegment fata
de valoare dorita este mare
SI
apartenenta (similaritatea) multimii de pixeli fata de
clasa izosegment ideal este mare
Masuram :
neuniformitatea izosegmentului
similaritatea multimii de pixeli cu un izosegment ideal
C. VERTAN

neuniformuitatea izosegmentului :
intervalul de similaritate al valorilor, c (in [0,1])
similaritatea setului de pixeli fata de izosegmentul ideal :
similaritatea medie E[c] (in [0,1])
(E[c] e mare) SI (c e mic)
mare
1
mic
1
= (E[c], 1 - c)
0
T-conorma (de ex. min)
C. VERTAN
22

Orice izosegment e caracterizat de un ; il acceptam ?
Acceptam izosegmentul daca > T (in [0,1])

T 1 : izosegment ideal (clasic, net)
T (0,1) : izosegment suficient de uniform
T 0 : izosegment de lungime maxima, confuzie
maxima intre valori
C. VERTAN
Exemplu simplu (1)
Calculam izosegmentele rosii, orizontale
1 1 .8 .8 .2 1 .5 .2
similaritate a valorilor (culorilor)
c=0.0; E[c]=1.00 =1.0

c=0.2; E[c]=0.93 =0.8
c=0.2; E[c]=0.90 =0.8
c=0.8; E[c]=0.76 =0.2
....
C. VERTAN
23
Exemplu simplu (2)

original
T=0.99
T= 0.75
T= 0.5
parametru de
scala
T= 0.1
reprezentare multirezolutie dictata de confuzia dintre

valori !
C. VERTAN
DESCRIEREA
TEXTURILOR
(cont)
24
Distributii in domeniul spectral

(Fourier)
C. VERTAN
Descrierea spectrala a texturilor

pre-procesare
Fourier
textura color
masti
luminanta
concentrari liniare
ale energiei spectrale
spectru de energie
Distributie
spectrala de
energie
C. VERTAN
25
Ce proprietati ale transformatei Fourier se folosesc ?
Cum se aleg mastile de decupare a spectrului ?
C. VERTAN
26
Descriptori MPEG - 7
MPEG - Motion Picture Experts Group
9 Multimedia Content Descriptor Interface
descriptors (D)
description schemes (DS)
description definition language (DDL) se fol. XML
27
Visual Descriptors
Color Descriptors
Texture Descriptors
Shape Descriptors
Motion Descriptors for Video
MPEG-7: descriptori de texturi omogene

Filtre Gabor
360 o
p i = [G P s , r ( , ) P ( , )]
sinusoida ponderata
=0 + =0o +
cu gaussiana
P(
P(,) is the Fourier transform
modeleaza canale
of an image represented in the
polar frequency domain
individuale
fiecare canal raspunde
( )2
( )2
s
r
la un anume fel de G P s,r ( , ) = exp 2 2 exp 2 2
textura
2
ei = log10 [1 + pi ]
C. VERTAN
28
C. VERTAN
Functia de transfer in frecventa

e unui banc de filtre Gabor cu
5 scale si 8 orientari
C. VERTAN
29
MPEG-7: descriptori de texturi neomogene
Distributia spatiala a 5 tipuri de muchii

vertical, orizontal, 45, 135, non-directional
imaginea impartita in 16 (4x4) blocuri

pt fiecare bloc se genereaza o histograma cu 5
bini
invarianta la scala
C. VERTAN
MPEG-7: descriptori de texturi neomogene
descompunere
multirezolutie
a imaginii
masti de gradient orientat

C. VERTAN
30
Descriere texturilor prin modele

modele fractale
modele statistice (modele AR autoregresive)
C. VERTAN
Fractali
Sierpinski
Koch
Sierpinski
C. VERTAN
31
Fractali
Fractal = multime auto-similara (orice parte seamana cu intregul)
Nr D = 1
D - dimensiunea fractala
r - factor de scalare
N - numar submultimi scalate
(similare multimii)
Dpdv matematic, un fractal este o multime de puncte a carei

dimensiune fractala este mai mare decat dimensiunea topologica.
Koch
D = ln(4)/ ln(3) = 1.2619
D=1
Analiza
fractala
Presupunand ca obiectul studiat este un fractal, sa se calculeze

dimensiunea sa fractala (D).
1.
Metoda numararii cutiilor (box counting)

Stabileste elementul de masura de baza (EM)
(segment de dreapta, paralelipiped, ...)
Contorizeaza numarul de EM in obiectul studiat
Repeta masuratoarea la diferite scale (dimensiuni EM)
D se obtine din graficul log-log al numarului de EM
fata de scara (panta aproximarii liniare)
Este utila daca descrierea obiectului este binara.
32
Numararea
cutiilor
Nr D = 1
N=8, r=1/4
N - numar de
cutii ce se suprapun
cu obiectul
r - factorul de scala
N=56, r=1/16
N=18, r=1/8
Numararea
cutiilor
Nr D = 1
log N + D log r = 0
log N
D=
log r
scara
1/4
numarul EM
8
1/8
18
1/16
56
D = 1.4
C. VERTAN
33
Numararea
cutiilor
Numararea cutiilor pentru imagini cu nivele de gri:
aplicare directa prin considerarea subgraficului functiei
de luminanta;
aplicare pe mai multe imagini binare rezultate din binarizarea
imaginii initiale, la mai multe nivele.
Teoretic putem lucra cu cutii cu orice numar de dimensiuni ...
dar este mai comod sa folosim dreptunghiuri plane.
C. VERTAN
Metoda spectrala de determinare a lui D
Analiza
fractala
1. aplica transformarea Fourier

2. calculeaza distributia spectrala de energie la scara logaritmica
in sectoare circulare ale spectrului
3. aproximeaza liniar distributia energiei la scara logaritmica
4. D este legat liniar de panta dreptei de aproximare
D = 4+ p/2
Utila mai ales in cazul descrierii obiectelor prin functii
(imagini cu nivele de gri).
C. VERTAN
34
Estimare
fractala
FFT
masca
energie
Modele statistice de descriere a texturilor

Se bazeaza pe observatia ca intr-o textura exista o corelatie
semnificativa intre valorile pixelilor vecini, si deci ar fi
posibila gasirea unei legi de generare a valorilor succesive
din textura.
Corelatia inseamna deci predictibiltatea valorilor din textura.
Modele AR auto-regresive.
C. VERTAN
35
Model AR
valoare de
valoarea curenta a
combinatie liniara de valori
+
= la intrarea
iesirii modelului
anterioare ale iesirii modelului
modelului
iesire
intrare
AR
v(n)
u(n)
u (n) + a1u (n 1) + a2u (n 2) + ... + aM u (n M ) = v(n)

parametrii modelului : aj
intrarea v(n) : zgomot alb
ordinul modelului : M
C. VERTAN
u (n) + a1u (n 1) + a2u (n 2) + ... + aM u (n M ) = v(n)

u (n) = w1u (n 1) + w2u (n 2) + ... + wM u (n M ) + v(n)
M
u (n) = wk u (n k ) + v(n)
wk = ak
k =1
valoare
curenta
istorie
eroare
(perturbatie)
Problema: cum calculam coeficientii modelului AR atunci cand

dispunem de esantioane u din acesta ?
C. VERTAN
36
Trebuie plecat de la datele experimentale, din care vom deduce

marimi statistice (functia de autocorelatie).
M
a u ( n k ) = v ( n)
k
a0 = 1
k =0
M
a u (n k )u (n l ) = v(n)u (n l )
k
k =0
M
a u (n k )u (n l ) = v(n)u (n l )
k
k =0
M
a r (l k ) = v(n)u (n l )
k
k =0
M
a r (l k ) = 0
termen nul; u(n-l)

depinde doar de
esantioane anterioare
ale zgomotului alb
k =0
C. VERTAN
a r (l k ) = 0
k
k =0
r (l ) = wk r (l k )
pentru l > 0
k =1
(ecuatia de definitie a autocorelatiei procesului aleator).

Daca ecuatia se scrie pentru l = 1, 2, ..., M si tinem cont ca functia
de autocorelatie este simetrica, obtinem sistemul:
r (1)
r (0)
r (0)
r (1)
...
...
r ( M ) r ( M 1)
... r ( M ) w1 r (1)

... r ( M 1) w2 r (2)
=
...
... ... ...

r (0) wM r ( M )
...
ec. Yule-Walker
Rw = r
37
In cazul 2D mai trebuie definita notiunea de anterior ...

deci ordinea de parcurgere a pixelilor din regiunea ce se
doreste aproximata prin model autoregresiv.
Se pot alege mai multe modalitati de parcurgere a pixelilor
din plan ... baleiaj normal, pe diagonale, parcurgere dupa
curba Z sau Peano.
C. VERTAN
38

Ai Curs8

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Ai Curs8

Încărcat de

Drepturi de autor:

Formate disponibile

DESCRIEREA TEXTURILOR

Nu exista definitii definitive ale texturii; textura este descrisa prin

Descrierea prin momente (distributii de ordin 1)

Culorile sunt coduri vizuale pentru numere :

Valorile pixelilor sunt deci cuprinse in [1, 5], matricea de coocurenta

LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Parametri statistici [Haralick]

omogenitatea si omogenitatea locala

LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Parametri statistici [Haralick]

(a, b) log M t (a, b) (M t (a, b) )

Matricea de coocurenta Haralick

adica o matrice cumulata de coocurenta

Fie o textura definita pe suportul spatial al regiunii R.

Matricea de coocurenta generalizata a regiunii grupeaza

valoare (nivel de gri)

translatie (ca la coocurenta)

LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Pentru fiecare distanta d, corelograma

LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Simplificare : se calculeaza doar perechile de pixeli avand

Culorile sunt coduri vizuale pentru numere :

d=1 : 2 perechi de puncte

d=1 : 12 perechi de puncte

d=1 : 0 perechi de puncte

d=1 : 29 perechi de puncte

d=1 : 9 perechi de puncte

probabilitatea de a avea un izosegment de lungime l

LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Culorile sunt coduri vizuale pentru numere :

Valorile pixelilor sunt deci cuprinse in [1, 5], matricea de izosegmente

LABORATORUL DE ANALIZA I PRELUCRAREA IMAGINILOR

Parametri statistici [Gallaway]

proportia de izosegmente scurte / lungi

heterogenitatea valorilor / lungimilor

Extinderea parametrilor Galloway

Interpretarea statistica a matricii de izosegmente

Extindere : matricea de izosegmente fuzzy

De ce modelare fuzzy a valorii ?

Modelarea fuzzy a valorii

c(c): grad de similaritate intre valorile

Definitia fuzzy a izosegmentului (1)

Definitia fuzzy a izosegmentului (2)

T-conorma (de ex. min)

Definitia fuzzy a izosegmentului (3)

Acceptam izosegmentul daca > T (in [0,1])

Exemplu simplu (1)

Calculam izosegmentele rosii, orizontale

similaritate a valorilor (culorilor)

c=0.0; E[c]=1.00 =1.0

Exemplu simplu (2)

reprezentare multirezolutie dictata de confuzia dintre

Distributii in domeniul spectral

Descrierea spectrala a texturilor

Ce proprietati ale transformatei Fourier se folosesc ?

Cum se aleg mastile de decupare a spectrului ?

MPEG-7: descriptori de texturi omogene

Functia de transfer in frecventa

MPEG-7: descriptori de texturi neomogene

Distributia spatiala a 5 tipuri de muchii