RESTAURAREA IMAGINILOR

Restaurarea imaginii const n reconstruirea sau

estimarea imaginii originale din imaginea
observat (degradata), adic este o operaie
invers celei ce a degradat imaginea.
Spre deosebire de imbunatatire la restaurare
presupunem ca stim modelul de degradare.

Exemple de imagini degradate

original

restaurata
original

blurata

Restaurarea
Reconstruieste originalul folosind modelul
de degradare
Proces invers celui de degradare
Presupune utilizarea unui criteriu obiectiv
de calitate a restaurarii pentru estimatul
optim

Domeniile de aplicaie a tehnicilor de

restaurare a imaginilor sunt diverse:

astronomie
imagini medicale
domenii tiinifice
fotografie etc.

Modelul degradarii imaginilor

Degradarea imaginilor=blurare+zgomot
Blurarea poate fi cauzat de:
- micarea relativ a camerei fa de scena
original;
- distorsiuni datorate turbulenei atmosferice;
- defocalizare.
n plus imaginea este afectat de zgomotul
echipamentului de captare, de zgomotul datorat mediului
de transmisie, de erori de msurare i cuantizare etc.
7

Modelul degradrii imaginilor este descris n

diagrama de mai jos:

f (i,j)
F (u,v)

d (i,j)

f (i,j) * d (i,j)
F (u,v) D (u,v)

D (u,v)
n (i,j)
N (u,v)

g (i,j)
G(u,v)

g (i, j ) = f (i, j ) * d (i, j ) + n(i, j )

G (u , v ) = F (u , v ) D (u , v ) + N (u , v )
n acest model se presupune c degradarea imaginii este o
operaie liniar i invariant spaial, iar zgomotul se
aplic aditiv:
unde:
g(i,j) este imaginea observat (blurat i cu zgomot)
f(i,j) este imaginea original
d(i,j) este funcia de blurare
n(i,j) este zgomotul aditiv aplicat imaginii
* convolutie
9

M 1 N 1

g(i, j) = f (i, j) *d(i, j) + n(i, j) = f (i p, j q)d( p, q) + n(i, j)

p=0 q=0

m,n = coordonatele spatiale

0i M1,

0 j N1

Folosind proprietatea convolutiei a tr Fourier bidimensionale, rezulta:

G (u , v ) = F (u , v ) D (u , v ) + N (u , v )
u,v = frecvente

10

Modelul:
Blurarea imaginii este modelat ca o convoluie
a imaginii ideale cu nucleul spaial d(i, j)
( PSF Point Spread Function -funcia de
mprtiere a punctului- care este raspunsul
filtrului de degradare, presupus invariant spatial,
la delta Dirac bidimensional).

11

Filtrul de degradare
Filtrul de degradare d este in general
un filtru trece jos, avand zerouri in
frecventa ( frecvente spatiale in care
functia de transfer a filtrului se
anuleaza).

12

Filtru de degradare d1:

1/ 9 1/ 9 1/ 9
1/ 9 1/ 9 1/ 9
1/ 9 1/ 9 1/ 9

13

14

Filtru de degradare d2:

1/ 25 1/ 25 1/ 25 1/ 25 1/ 25
1/ 25 1/ 25 1/ 25 1/ 25 1/ 25
1/ 25 1/ 25 1/ 25 1/ 25 1/ 25
1/ 25 1/ 25 1/ 25 1/ 25 1/ 25
1/ 25 1/ 25 1/ 25 1/ 25 1/ 25

15

16

Spectrele:
Degradat cu d1
original

Degradat cu d2

17

Modelul de zgomot:
Zgomot alb
Independent de semnalul util
Caracterizat de energia sa, care se presupune
cunoscuta:

Er = r 2 (i, j )
i

18

Problema restaurarii cu operatii

liniare:
Cunoscand
filtrul de degradare d(i,j) si
energia zgomotului

Er

trebuie proiectat un filtrul de restaurare Q

liniar si
invariant spatial
19

Filtrul de restaurare este definit de :

coeficientii spatiali q(i,j) sau
functia de transfer Q(u,v)
Filtrul de restaurare este folosit la obtinerea
imaginii restaurate f .

f
(estimare optima, intr-un sens pe care trebuie
sa-l precizam, a imaginii originale)
20

Filtrul invers
M1N1

g(i, j) = f (i, j)*d(i, j) +n(i, j) = f (i p, j q)d( p, q) +n(i, j)

p=0 q=0

G (u , v ) = F (u , v ) D (u , v ) + N (u , v )
Ideea: neglijarea zgomotului

G (u , v ) = F (u , v ) D (u , v )
Q (u , v ) = D 1 (u , v )

u, v

21

Imaginiea restaurata (in frecv):

F (u , v ) = Q (u , v )G (u , v ) = D 1 (u , v )G (u , v)

22

Filtrul invers
M1N1

g(i, j) = f (i, j)*d(i, j) +n(i, j) = f (i p, j q)d( p, q) +n(i, j)

p=0 q=0

G (u , v ) = F (u , v ) D (u , v ) + N (u , v )
f(i, j)

Estimat al imag originale a.i :

2 = E{( g f * d ) 2 } min
23

N 1 N 1

= [ g (i, j) ( f * d )(i, j)]2 min

2

i =0 j =0

N 1 N 1

= [G(u, v) F (u, v) * D(u, v)]2 min

2

u =0 v =0

Daca toti termenii sunt nuli eroarea este minima.

G (u , v ) = F (u , v ) * D (u , v )
F (u , v ) = D 1 (u , v ) * G (u , v )
Q (u , v ) = D 1 (u , v )
24

u, v

Dar:

G (u , v ) = F (u , v ) D (u , v ) + N (u , v )

F (u, v ) = D 1 (u, v )G (u, v ) =

= F (u, v ) + D 1 (u, v ) N (u, v )
f = f + n * q

25

Spectru pt D
Filtru de degradare d1:

1/ 9 1/ 9 1/ 9
1/ 9 1/ 9 1/ 9
1/ 9 1/ 9 1/ 9

Spectru pt Q

26

27

Spectru pt D
Filtru de degradare d2:

1/ 25 1/ 25 1/ 25 1/ 25 1/ 25
1/ 25 1/ 25 1/ 25 1/ 25 1/ 25
1/ 25 1/ 25 1/ 25 1/ 25 1/ 25
1/ 25 1/ 25 1/ 25 1/ 25 1/ 25
1/ 25 1/ 25 1/ 25 1/ 25 1/ 25

Spectru pt Q

28

blurata
original

Refacuta cu filtrul invers

29

Deci, dac n imagine va fi prezent i zgomot,

atunci:

G (u , v ) = F (u , v ) D (u , v ) + N (u , v )
Q (u , v ) = D 1 (u , v )

u, v

F (u , v ) = F (u , v ) + D 1 (u , v ) N (u , v )

u, v

1
Termenul D (u, v) N (u, v) are valori extrem de mari.

30

original

Degradata cu d1 si zg aditiv

Degradata cu d1

Refacuta cu filtru invers:

31

Metoda filtrului invers este extrem de sensibil la

nivelul zgomotului atunci cnd D (u , v) are zerouri
(sau valori extrem de mici), caz caracteristic
blurrii determinate de micarea liniar sau de
blurarea de defocalizare.
Filtrul pseudo invers evit problema impririi la
zero prin aplicarea formulei:
1
D (u , v ) 0

Qinv (u , v ) = D (u , v )
0
D (u , v ) = 0
32

Cum probleme pot apare i n cazul valorilor mici

ale lui Q(u,v), formula se aplic un pic modificat:
1

Qinv (u, v) = D(u, v)

0

D(u, v) >
D(u, v)

ceea ce duce la o reducere a efectului zgomotului

asupra imagii restaurate.

33

original

Refacuta cu filtru invers

34

Blurata+zgomot

Refacuta cu pseodo-filtru invers

Spectrele imaginilor
original

blurata si cu zg

refacuta cu filtru invers

refacuta cu filtru pseudo invers

35

N (u, v)
D(u, v)

poate lua valori foarte mari

spectrul imaginii dominat de componentele zgomotului

Problema deblurrii

problem prost condiionat

Scopul principal:
soluia obinut s fie, pe de o parte, apropiata de imaginea
originala
s fie mai puin sensibil la zgomot.
Aceste cerine sunt contradictorii i de aici apare necesitatea
realizrii unui compromis.
Filtrul invers produce rezultate neutilizabile.
36

Filtrul invers cu constrangeri

Deoarece filtrul invers produce in general
rezultate instabile din cauza zerourilor sau
valorilor mici din domeniul de frecventa si din
cauza prezentei zgomotului din imagine, trebuie
impuse constrangeri suplimentare in criteriul de
minimizare a erorii.

37

Se presupune ca in modelul
g (i, j ) = f (i, j ) * d (i, j ) + n (i, j )
g (i, j ) =

M 1 N 1

f (i, j ) d (i p , j q ) + n (i, j )

p=0 q=0

G (u , v ) = F (u , v ) D (u , v ) + N (u , v )
sunt cunoscute:

g (i, j ), d (i, j ) si energia totala a zgomotului

M 1 N 1

En = n(i, j )
i =0 j =0

38

In cazul filtrului invers cu constrangeri , imaginea

restaurata este calculata a.i. energia imaginii
diferenta intre imaginea degradata si imaginea
obtinuta din aplicarea filtrului de degradare
imaginii restaurate sa fie egala cu energia
zgomotului:

{g (i , j ) ( f * d )( i , j )} = E

M 1 N 1

i =0 j =0

39

Deorece ecuatia admite o infinitate de solutii ,

trebuie impuse constrangeri suplimentare.
O solutie este impunerea conditiei de minimizare a
energiei componentelor de frecventa inalta ale
imaginii restaurate:
2

M 1 N 1

f ( p , q )c (i p , j q ) min

i =0 j =0 p =0 q =0

M 1 N 1

Unde
40

c (i , j ) sunt coeficientii unui filtru de tip trece-sus.

In domeniul transformatei Fourier ecuatii devin:

1
MN

1
MN

M 1 N 1

G (u , v ) F (u , v ) D (u , v )

u =0 v=0
M 1 N 1

= En

min

C (u , v ) F (u , v )

u =0 v=0

unde:

E zg

1
=
MN

M 1 N 1

N (u, v )

u=0 v=0

41

Utilizand metoda multiplicatorilor Lagrange

problema de optimizare este descrisa de
urmatoarea expresie care trebuie minimizata:
2
2
M 1N 1

F(u, v) = C(u, v) F(u, v) + G(u, v) F(u, v)D(u, v) En

u=0 v=0

min

42

Scriind :

F (u, v) = A(u, v) + jB (u, v)

F(u, v) min

= 0
A (u , v )

= 0
B (u , v )

43

F (u, v) = A(u, v) + jB (u, v)

F * (u , v) = A(u , v) jB (u , v)
x = a + jb
2

x = a2 + b2
2

x = xx*
2

xy = x y

( x + y )* = x * + y *

(xy )* = x* y *

xy * + x * y = 2 Re{xy * } = 2 Re{x* y}

44

xy * x * y = 2 j Im{xy * } = 2 j Im{x* y}


2
= 2 C (u , v ) A (u , v ) + 2 A (u , v ) D (u , v )
A (u , v )

G (u , v ) D * (u , v ) + G * (u , v ) D (u , v ) = 0

2
= 2 C (u , v ) B (u , v ) + 2 B (u , v ) D (u , v )
B (u , v )

+ j G (u , v ) D * (u , v ) G * (u , v ) D (u , v ) = 0

45

A (u , v ) =

Re {G ( u , v ) D * ( u , v ) }
2
2
C (u , v ) + D (u , v )

Im {G ( u , v ) D * ( u , v ) }
B (u , v ) =
2
2
C (u , v ) + D (u , v )

46

Cum derivatele de ordin doi:

2
= 2 C (u , v )
A (u , v ) 2
2
= 2 C (u , v )
B (u , v ) 2
2
= 0
A (u , v ) B (u , v )

+ 2 D (u , v )

+ 2 D (u , v )

2
= 0
B (u , v ) A (u , v )
Rezulta ca functia are minim.
47

Re {G ( u , v ) D * ( u , v ) }
A (u , v ) =
2
2
C (u , v ) + D (u , v )
Im {G ( u , v ) D * ( u , v ) }
B (u , v ) =
2
2
C (u , v ) + D (u , v )
F ( u , v ) =

D * (u , v )G (u , v )
2
C (u , v ) + D (u , v )

= Q (u , v )G (u , v )
2

D (u , v )
1
Q (u , v ) =
D (u , v ) C (u , v ) 2 + D (u , v )
48

D (u , v )
1
Q (u , v ) =
D (u , v ) C (u , v ) 2 + D (u , v )
Iar

trebuie calculat din:

1
En =
MN
=

1
MN

M 1 N 1

N (u , v )

u =0 v=0

M 1 N 1

G ( u , v ) F ( u , v ) D ( u , v )

u =0 v=0

49

En =

1
MN

M 1 N 1

u =0 v=0

1
En =
MN

50

G (u , v )

M 1 N 1

u =0 v=0

D (u , v )G (u , v )
*

C (u , v ) 2 + D (u , v )
2

G (u , v ) C (u , v )

{C ( u , v

va fi determinat iterativ.

+ D (u , v )

2 2

D (u , v )

D (u, v )
1
Q (u, v ) =
D (u , v ) C (u , v ) 2 + D (u , v ) 2
En

1
=
MN

M 1 N 1

u=0 v=0

G (u , v )

{C ( u , v

C (u , v )

+ D (u , v )

Valori mari , E n va tinde la zero, filtrul va

tinde spre filtrul invers
Daca D ( u , v ) este un filtru trece jos, atunci
Q(u,v) poate fi privit ca un filtru invers urmat de un
filtru de corectie a efectelor negative ale filtrului
invers
51

Filtrul Wiener
realizeaz o mbuntire optima a imaginii n
sens statistic, n sensul minimizrii erorii ptratice
medii dintre imaginea restaurat i imaginea
original, folosind informaii apriorice despre
imagine i despre zgomotul din imagine;
imaginea si zgomotul sunt presupuse campuri
stationare.

52

Se presupune ca imaginea originala f(m,n) si

zgomotul adaugat n(m,n) sunt campuri
aleatoare necorelate si li se cunosc functiile
de autocorelatie

ff (m, n ) = E [ f (s, t ) f (s m, t n )]
nn (m, n ) = E [n(s, t )n(s m, t n )]

53

Filtrul Wiener:
min (MSE), unde

(
(

)
)

2
MSE = E f (i, j ) f (i, j ) =

1 M 1 N 1
(i, j ) 2
f
(
i
,
j
)

MN i = 0 j = 0

54

E f ( i , j ) f ( i , j )

)
2

min

f (i, j ) = g (i m, j n) q ( m, n)
m

f (i, j ) = g (i, j ) * q (i, j )

55

E f (i, j ) f (i, j ) min

E f 2 (i, j) f (i, j) f (i, j) f (i, j) f (i, j) + f 2 (i, j)

min

]
]

E [ f 2 ( i , j ) ] E f ( i , j ) f ( i , j )
E f ( i , j ) f ( i , j ) + E f 2 ( i , j ) min

56

] [

E f (i, j ) f (i, j ) min

ff (0,0 ) ff (0,0 )

ff (0,0 ) + ff (0,0 ) min

In domeniu Fourier:

= ff (u , v ) ff (u , v ) ff (u , v ) + ff (u , v ) min
57

Tinand seama ca:

fg (m, n ) = f (m, n)g (m, n) = f (m, n) * g ( m, n)

= corelatie
* = convolutie
Fourier ( f ( m, n) * g ( m, n)) = F (u , v )G (u , v )
Fourier ( f ( m, n) * g ( m, n)) = F (u , v )G * (u , v )
fg (u , v ) = F (u , v )G * (u , v )

58

 ff (u , v ) = F (u , v) F * (u , v ) = F (u , v )

f ( m, n) = q ( m, n) * g ( m, n)
g ( m , n ) = f ( m, n ) * d ( m , n ) + n ( m, n )
(u , v ) = F (u , v ) F * (u , v)
ff

ff (u , v ) = F (u , v )Q * (u , v )G * (u , v)

ff (u , v ) = Q * (u , v ) F (u , v ) D * (u , v ) F * (u , v ) + N * (u , v )

ff (u , v ) = Q * (u , v ) D * (u , v) F (u , v) F * (u , v)
ff (u , v ) = Q * (u , v ) D * (u , v) ff (u , v )
59

F (u , v ) = Q (u , v )G (u , v ) = Q (u , v )[ F (u , v ) D (u , v ) + N (u , v )
ff (u , v ) = Q (u , v )[ F (u , v ) D (u , v ) + N (u , v )] F * (u , v )
ff (u , v ) = Q (u , v ) D (u , v ) ff (u , v )

60

F (u , v ) = Q (u , v )G (u , v ) =
= Q (u , v )[ F (u , v ) D (u , v ) + N (u , v )]
ff (u , v ) = {Q (u , v )[ F (u , v ) D (u , v ) + N (u , v )]}

{Q (u , v )[ F (u , v ) D (u , v ) + N (u , v )]}* =
ff (u , v ) = Q (u , v )

{D(u, v)

ff (u , v ) + nn (u , v )

61

= ff (u , v ) ff (u , v ) ff (u , v ) + ff (u , v ) min
k

= { ff (u, v) Q* (u, v)D* (u, v) ff (u, v)

u

Q(u, v)D(u, v) ff (u, v) +

} } min

+ Q(u, v) D(u, v) ff (u, v) + nn (u, v)

2

62

Q (u , v ) = A(u , v ) + jB (u , v )

= 0;
A(u , v )

= 0;
B (u , v )

63

= D * (u , v ) ff (u , v ) D (u , v ) ff (u , v ) +
A(u , v )

+ 2 A(u , v ) D (u , v ) ff (u , v ) + nn (u , v ) = 0;
2

= jD * (u , v ) ff (u , v ) jD (u , v ) ff (u , v ) +
B (u , v )

+ 2 B (u , v ) D (u , v ) ff (u , v ) + nn (u , v ) = 0;

64

A(u , v ) =

B (u , v ) =

Re D * (u , v ) ff (u , v )

D (u , v ) ff (u , v ) + nn (u , v )
2

Im D * (u , v ) ff (u , v )

D (u , v ) ff (u , v ) + nn (u , v )
2

D (u , v ) ff (u , v )
1
Q (u , v ) =
D (u , v ) D (u , v ) 2 ff (u , v ) + nn (u , v )
2

65

D (u , v ) ff (u , v )
1
Q (u , v ) =
D (u , v ) D (u , v ) 2 ff (u , v ) + nn (u , v )
2

Filtrul Wiener poate fi privit ca o cascadare a doua filtre:

filtrul invers urmat de un filtru care face o corectie a
efectelor negative ale filtrului invers; corectia se face
folosind cunostinte despre puterea zgomotului si despre
imaginea originala.

66

Observatii:
densitatea spectrala de putere a semnalului util (imaginea
originala) este in general necunoscuta si trebuie estimata.
Un mod simplu (nu foarte precis ):

ff (u , v ) = F (u , v ) F * (u , v ) = F (u , v )
2

G (u , v) 2 N (u , v) 2

daca

G (u , v ) N (u , v )

in

rest

67

Densitatea spectrala a zgomotului este aproximata

printr-o constanta, deoarece se presupune ca zgomotul
este alb:

rr (u, v) N (u, v) = ct
2

68

Metode directe
Filtrul invers

Qinv (u , v) =

Filtrul Wiener

1
D (u , v)
2

D(u, v)
1
Qw(u, v) =
=
(u, v) D(u, v)
2 (u, v)
D(u, v) D*(u, v) + nn
D(u, v) + nn
ff (u, v)
ff (u, v)
D*(u, v)

Filtrul invers cu constrngeri

Q ic (u , v ) =

D * (u , v )
2

D (u , v ) + C (u , v )

D (u , v )
1
=
D (u , v ) D (u , v ) 2 + C (u , v ) 2

69

Se observ c forma general a filtrelor

prezentate este de tipul:

H (u , v ) =
unde

(u , v )
M = nn
ff (u , v )
C (u , v ) 2

70

D * (u , v )
D (u , v )

+ M

pt

filtrul invers

pt

filtrul Wiener

pt

filtrul invers

cu

constrange ri