Grafică digitală

Restaurarea imaginilor
Conf. dr. ing. Ana-Maria Suduc
Cursul 10
Restaurarea imaginilor

 Îmbunătățirea imaginilor - proces subiectiv

 Restaurarea imaginilor - proces obiectiv

Restaurarea imaginilor

Recuperarea
Modelarea
imaginii
Aplicarea
unui proces

degradării invers

originale
Restaurarea imaginilor

 Exemple

Mărirea contrastului – tehnică de îmbunătățire a imaginilor

Deblurring - tehnică de restaurare

Restaurarea imaginilor

 Tehnici
 În domeniul spațial (ex. zgomot aditiv)
 În domeniul frecvență (ex. neclaritatea imaginii)

Filtru de restaurare în domeniul frecvență  filtru digital

implementat hardware/firmware
Modelarea proceselor de degradare și de
restaurare a imaginilor

Funcție de 𝑔𝑔(𝑥𝑥, 𝑦𝑦)

degradare Filtru de ̂ 𝑦𝑦)
𝑓𝑓(𝑥𝑥, 𝑦𝑦) + 𝑓𝑓(𝑥𝑥,
restaurare
H
Zgomot
𝜂𝜂(𝑥𝑥, 𝑦𝑦)
DEGRADARE RESTAURARE
Modelarea proceselor de degradare și de
restaurare a imaginilor
 Dacă funcția de degradare, H, este un proces liniar, invariant în raportul
cu poziția, atunci procesul de degradare, în domeniul spațial va fi:

𝑔𝑔 𝑥𝑥, 𝑦𝑦 = ℎ 𝑥𝑥, 𝑦𝑦 ⋆ 𝑓𝑓 𝑥𝑥, 𝑦𝑦 + 𝜂𝜂 𝑥𝑥, 𝑦𝑦

h(x,y) - reprezentarea spațială a funcției de degradare
⋆ - produsul de convoluție
 În domeniul frecvență, procesul de degradare este exprimat prin
expresia:
𝐺𝐺 𝑢𝑢, 𝑣𝑣 = 𝐻𝐻 𝑢𝑢, 𝑣𝑣 𝐹𝐹 𝑢𝑢, 𝑣𝑣 + 𝑁𝑁 𝑢𝑢, 𝑣𝑣
Modele de zgomot

 Surse de zgomot în imaginile digitale - în timpul achiziției și/sau transmiterii imaginii

 condiții de mediu din timpul achiziției de imagini
 calitatea elementelor de detecție în sine)
 Nivelul de lumină
 Temperatura senzorului
 Interferențele din canalul utilizat pentru transmisie
Modele de zgomot

 Important
 Caracteristicile spațiale ale zgomotului
 Dacă zgomotul e corelat cu imaginea

 Zgomot alb - conține toate frecvențele în proporții egale

 Situația cea mai simplă e când zgomotul este independent de coordonatele spațiale și
necorelat în raport cu imaginea în sine
Zgomotul Gaussian

 Funcția densitate de probabilitate a unei variabile

Gaussiene, z, e dată de formula:
1 𝑧𝑧−𝑧𝑧̅ 2
−
𝑝𝑝 𝑧𝑧 = 𝑒𝑒 2𝜎𝜎2
2𝜋𝜋𝜎𝜎

 Unde 𝑧𝑧 reprezintă intensitatea, 𝑧𝑧̅ este valoarea

medie a lui 𝑧𝑧, iar 𝜎𝜎 e deviația standard. Deviația
standard la pătrat, 𝜎𝜎 2 este varianța lui 𝑧𝑧.

Aproximativ 70% dintre valorile lui 𝑧𝑧 se găsesc în intervalul

𝑧𝑧̅ − 𝜎𝜎 , 𝑧𝑧̅ + 𝜎𝜎 , iar circa 95% se găsesc în intervalul
𝑧𝑧̅ − 2𝜎𝜎 , 𝑧𝑧̅ + 2𝜎𝜎 .
Zgomotul Rayleigh

 Funcția densitate de probabilitate a zgomotului Rayleigh este:

2 𝑧𝑧−𝑎𝑎 2
−
𝑝𝑝 𝑧𝑧 = �𝑏𝑏 𝑧𝑧 − 𝑎𝑎 𝑒𝑒 𝑏𝑏 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑧𝑧 ≥ 𝑎𝑎
0 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑧𝑧 < 𝑎𝑎

 Media și varianța pentru această funcție de densitate de

probabilitate sunt:

𝜋𝜋𝜋𝜋
𝑧𝑧̅ = 𝑎𝑎 +
4

𝑏𝑏 4 − 𝜋𝜋
𝜎𝜎 2 =
4
Zgomotul Erlang (gamma)

 Funcția densitate de probabilitate a zgomotului Erlang

este:

𝑎𝑎𝑏𝑏 𝑧𝑧 𝑏𝑏−1 −𝑎𝑎𝑎𝑎

𝑒𝑒 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑧𝑧 ≥ 0
𝑝𝑝 𝑧𝑧 = � 𝑏𝑏 − 1 !
0 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑧𝑧 < 0

 Unde a>0, b e un număr întreg pozitiv, iar ! reprezintă

factorial. Media și varianța sunt:
𝑏𝑏
𝑧𝑧̅ =
𝑎𝑎
𝑏𝑏
𝜎𝜎 2 = 2
𝑎𝑎
Zgomotul exponențial

 Funcția densitate de probabilitate a zgomotului

exponențial este:

𝑎𝑎𝑎𝑎 −𝑎𝑎𝑎𝑎 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑧𝑧 ≥ 0

𝑝𝑝 𝑧𝑧 = �
0 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑧𝑧 < 0

 Unde a>0. Media și varianța sunt:

1
𝑧𝑧̅ =
𝑎𝑎
2 =
1
𝜎𝜎
𝑎𝑎2
 Această funcție densitate de probabilitate este un caz
particular al funcției Erlang, în care b=1.
Zgomotul uniform

 Funcția densitate de probabilitate a

zgomotului uniform este:

1
𝑝𝑝 𝑧𝑧 = �𝑏𝑏 − 𝑎𝑎 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑎𝑎 ≤ 𝑧𝑧 ≤ 𝑏𝑏
0 î𝑛𝑛 𝑐𝑐𝑐𝑐𝑐𝑐 𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐

 Media și varianța sunt:

𝑎𝑎 + 𝑏𝑏
𝑧𝑧̅ =
2
2
2
𝑏𝑏 − 𝑎𝑎
𝜎𝜎 =
12
Zgomotul impuls (sare și piper)

 Funcția densitate de probabilitate a zgomotului impuls

(bipolar) este:

𝑃𝑃𝑎𝑎 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑧𝑧 = 𝑎𝑎
𝑝𝑝 𝑧𝑧 = �𝑃𝑃𝑏𝑏 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 𝑧𝑧 = 𝑏𝑏
0 î𝑛𝑛 𝑐𝑐𝑐𝑐𝑐𝑐 𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐

 Zgomot salt and peper, data-drop-out sau spike

 Uzual, într-o imagine pe 8 biți, a=0 (negru), iar b=255
(alb).
Utilizări

 Zgomotul gaussian datorită zgomotul circuitelor electronice și zgomotul senzorului

datorat iluminării slabe sau temperaturii ridicate
 Densitatea Rayleigh - utilă în caracterizarea fenomenelor de zgomot în imagistica de
distanță
 Densitățile exponențială și gamma își găsesc aplicarea în imagistica laser
 Zgomotul impuls – când au loc tranziții rapide, cum ar fi o comutare defectuoasă
 Densitatea uniformă – în simulări
Exemplu
Zgomotul periodic

 Apare datorită interferențelor electrice sau electromecanice din timpul achiziției

imaginii
 Dependent de spațiu
 Redus semnificativ prin filtrarea în domeniul frecvență
Zgomotul periodic

 Analiza automată este posibilă în situațiile în

care vârfurile de zgomot sunt extrem de
pronunțate sau atunci când sunt disponibile
informații despre localizarea generală a
componentelor de frecvență ale
interferențelor.

Spectrul Fourier a imaginii afectate de zgomot periodic (fiecare

pereche de impulsuri conjugate corespunde unei unde
sinusoidale)
Parametrii funcțiilor de densitate de
probabilitate
 Pot fi cunoscuți parțial din specificațiile senzorului
 Estimarea parametrilor pentru un anumit aranjament de imagistică - captarea unui set
de imagini ale unor medii "plate„
Exemplu: colectarea unor imagini a unei plăci gri, solide, iluminată uniform

Histogramele unor
benzi (subimagini)
extrase din imaginile
afectate de zgomot
Gaussian, Reyleigh și
uniform
Parametrii funcțiilor de densitate de
probabilitate
 Datele obținute din benzile de imagine pot fi obținute pentru a calcula media și varianța
nivelurilor de gri (de intensitate). Dacă se notează o bandă (subimagine) cu S și 𝑝𝑝𝑆𝑆 𝑧𝑧𝑖𝑖 , 1=1...L-1,
valorile probabilităților estimate (histogramei normalizate) ale intensităților pixelilor din S, unde L
este numărul total de valori posibile din întreaga imagine (256, pt o imagine pe 8 biți), media și
varianța pixelilor din S se estimează folosind formulele:

𝑧𝑧̅ = ∑𝐿𝐿−1
𝑖𝑖=0 𝑧𝑧𝑖𝑖 𝑝𝑝𝑆𝑆 𝑧𝑧𝑖𝑖

𝜎𝜎 2 = ∑𝐿𝐿−1 ̅ 2 𝑝𝑝𝑆𝑆 𝑧𝑧𝑖𝑖

𝑖𝑖=0 (𝑧𝑧𝑖𝑖 −𝑧𝑧)

 Forma histogramei identifică cea mai apropiată potrivire a funcției de densitate de probabilitate.
Dacă forma este aproximativ gaussiană, atunci media și varianța sunt suficiente, deoarece funcția
densitate de probabilitate gaussiană este complet specificată de acești doi parametri.

 Pentru celelalte forme ale zgomotului se folosesc media și varianța pentru a afla parametrii a și b.
Restaurarea imaginilor afectate doar de
zgomot – Filtrarea spațială
 Când singura degradare într-o imagine este cea dată de zgomot, imaginea degradată
va fi:
𝑔𝑔 𝑥𝑥, 𝑦𝑦 = 𝑓𝑓 𝑥𝑥, 𝑦𝑦 + 𝜂𝜂 𝑥𝑥, 𝑦𝑦

 În domeniul frecvență, procesul de degradare este exprimat prin expresia:

𝐺𝐺 𝑢𝑢, 𝑣𝑣 = 𝐹𝐹 𝑢𝑢, 𝑣𝑣 + 𝑁𝑁 𝑢𝑢, 𝑣𝑣
În cazul în care o imagine este afectată doar de zgomot aleator aditiv, se preferă filtrarea
spațială – filtre de mediere (uzual)
Filtrul de mediere aritmetică

 Acesta este cel mai simplu filtru de mediere. Imaginea filtrată va fi:
1
𝑓𝑓̂ 𝑥𝑥, 𝑦𝑦 = � 𝑔𝑔(𝑠𝑠, 𝑡𝑡)
𝑚𝑚𝑚𝑚
(𝑠𝑠,𝑡𝑡)∈𝑆𝑆𝑥𝑥𝑥𝑥

 Unde Sxy este o vecinatate (subimagine dreptunghiulară) de dimensiune m x n.

 Această operație poate fi implementată prin folosirea unui filtru spațial de dimensiune
m x n în care toți coeficienții au valoarea 1/mn. Un filtru de mediere estompează
variațiile locale din imagine, iar zgomotul e redus.
Filtrul de mediere geometrică

 O imagine restaurată de un filtru de mediere geometrică e dată de expresia:

1
𝑚𝑚𝑚𝑚
𝑓𝑓̂ 𝑥𝑥, 𝑦𝑦 = � 𝑔𝑔(𝑠𝑠, 𝑡𝑡)
(𝑠𝑠,𝑡𝑡)∈𝑆𝑆𝑥𝑥𝑥𝑥

 În acest caz fiecare pixel restaurat va avea valoarea produsului pixelilor din vecinătate,
ridicat la puterea 1/mn. Filtrul de mediere geometrică are un efect asemănător cu cel
de mediere aritmetică, doar că, de obicei, se pierd mai puține detalii.
Filtrul de mediere armonică

 O imagine restaurată de un filtru de mediere armonică e dată de expresia:

𝑚𝑚𝑚𝑚
𝑓𝑓̂ 𝑥𝑥, 𝑦𝑦 =
1
∑(𝑠𝑠,𝑡𝑡)∈𝑆𝑆𝑥𝑥𝑥𝑥
𝑔𝑔(𝑠𝑠, 𝑡𝑡)

 Filtrul de medie armonică funcționează bine pentru zgomotul de tip sare, dar nu
funcționează pentru zgomotul de tip piper. Se descurcă bine și cu alte tipuri de
zgomot, cum ar fi zgomotul gaussian.
Filtru de mediere contraarmonică

 O imagine restaurată de un filtru de mediere contraarmonică e dată de expresia:

∑(𝑠𝑠,𝑡𝑡)∈𝑆𝑆𝑥𝑥𝑥𝑥 𝑔𝑔(𝑠𝑠, 𝑡𝑡)𝑄𝑄+1
𝑓𝑓̂ 𝑥𝑥, 𝑦𝑦 =
∑(𝑠𝑠,𝑡𝑡)∈𝑆𝑆𝑥𝑥𝑥𝑥 𝑔𝑔(𝑠𝑠, 𝑡𝑡)𝑄𝑄

 Unde Q este numit ordinul filtrului.

 Acest filtru este foarte potrivit pentru reducerea sau eliminarea virtuală a efectelor
zgomotului de tip "sare și piper". Pentru valori pozitive ale lui Q, filtrul elimină
zgomotul de tip piper. Pentru valori negative ale lui Q, acesta elimină zgomotul de tip
sare. Nu le poate face pe amândouă simultan. Filtrul contraarmonic este filtrul de
mediere aritmetică atunci când Q = 0 și la filtrul de mediere armonică atunci când Q = -1.
 imagine afectată de
Imaginea originală
zgomot Gaussian cu
media 0 și varianța 400

Imaginea filtrată Imaginea filtrată

cu filtru de cu filtru de
mediere mediere
aritmetică (3x3) geometrică (3x3)
 imaginea afectată
imaginea afectată
de zgomot de tip
de zgomot de tip
sare
piper

imaginea filtrată
imaginea filtrată
cu filtru de
cu filtru de
mediere
mediere
contraarmonică
contraarmonică
Q=-1.5
Q=1.5
Observații

 Filtrele de mediere aritmetică și geometrică (în special cel din urmă) sunt potrivite
pentru zgomotul aleatoriu, cum ar fi zgomotul gaussian sau uniform
 Filtrul contraarmonic este bine adaptat pentru zgomotul impuls, dar are dezavantajul
că trebuie să se știe dacă zgomotul este întunecat sau luminos pentru a selecta semnul
adecvat pentru Q.
Rezultatele aplicării unor filtre de mediere contraarmonice cu semne greșite pentru Q (la
prima s-a aplicat un filtru cu Q=-1.5, iar la a doua Q=1.5)