Solutii pentru restaurea adaptativa supervizata a culorii

in imaginile de patrimoniu cultural

PAUL NEMES, MIHAELA GORDAN, AUREL VLAICU,
Centre for Multimedia Technologies and Distance Education,
Technical University of Cluj-Napoca
15, C. Daicoviciu Street, 400020 , Cluj Napoca,
ROMANIA,
{Paul.Nemes, Mihaela.Gordan, Aurel.Vlaicu}@com.utcluj.ro,
http://www.ctmed.utcluj.ro

Abstract: În acest articol am propus un punct nou de vedere asupra restaurarii de culoare folosind o funcţie de
corecţie a culorii: aceasta se poate defini ca o transformare a spaţiului culorilor "deformat" într-un spaţiu "corectat",
ideal. Funcţia poate fi definită scalar, în fiecare componentă, sau vectorial, dacă cele 3 componente de culoare sunt
corelate. Dintre spaţiile de culoare utilizate în literatură pentru corecţia culorilor, menţionăm: HSV, YCbCr. Functia de
restauare este generata folosind metodele bazate pe învăţarea supervizată a transformarii/corecţiei culorii . Maşinile cu
vectori suport sunt recunoscute pentru capacitatea lor de a învăţa cu capacitate de generalizare mare dintr-un numar
relativ mic de exemple, motiv pentru care utilizarea lor atât în probleme de clasificare, cât şi de regresie a luat avânt în
ultima decadă. Aplicaţiile lor în restaurarea culorii sunt relativ restrânse, însă cercetările arată că pot fi o alternativă
promiţătoare la alte metode de modelare, motiv pentru care am considerat interesantă aplicarea lor.

1. INTRODUCTION generalizare mare dintr-un numar relativ mic de exemple,

motiv pentru care utilizarea lor atât în probleme de clasificare,
Restaurarea culorii în imagini digitale este necesară atat din
cât şi de regresie a luat avânt în ultima decadă. Aplicaţiile lor
cauza degradării imaginii fizice, cat si din cauza
în restaurarea culorii sunt relativ restrânse, însă cercetările
imperfecţiunilor procesului de achizitie si afisare [Devlin’04].
arată că pot fi o alternativă promiţătoare la alte metode de
Modalităţile de realizare a restaurării culorii presupun fie
modelare, motiv pentru care am considerat interesantă
modelarea fizică a procesului de degradare (similar restaurării
aplicarea lor la problema adresată în teză.
imaginilor afectate de zgomot sau deformări geometrice)
[Knut’99], fie deducerea din exemple a funcţiei de corecţie a
O problemă în antrenarea SVM pentru regresie în cazul
culorii (în cazul în care estimarea e mai greu de realizat -
aplicaţiei particulare a transformării culorii o reprezintă faptul
adesea în practică) [Devlin’02]. Cercetări sunt la ora actuală
că implicit o maşină cu vectori suport pentru regresie are ca
în ambele direcţii - aşa cum arată literatura de specialitate. În
ieşire o funcţie scalară. Acest lucru înseamnă că o putem doar
cazul celei de-a 2-a abordări [Devlin’04], apare avantajul unei
aplica pentru predicţia independentă a componentelor de
metode mai flexibile, dacă se presupun aceleaşi condiţii de
culoare, motiv pentru care avem nevoie de un spaţiu al
degradare, putând avea funcţii de corecţie înalt neliniare.
culorilor decorelat. Am examinat aici eficienţa corecţiei
culorii în 2 spaţii de culoare folosite pe scară largă în
Pentru înţelegerea modalităţii de restaurare a culorii, este
prelucrarea imaginilor digitale: YCbCr şi HSV.
importantă cunoaşterea unor aspecte fizice despre formarea
culorii şi a factorilor care o afectează - spectrul iluminantului,
În principiu, în formularea propusă în această lucrare, corecţia
dar şi structura suprafeţei obiectului [Barnard’01]. În ceea ce
culorii se realizează astfel. Se consideră disponibilă o imagine
priveşte funcţia de corecţie a culorii: aceasta se poate defini ca
degradată, de preferinţă fie standardizată, fie care să conţină o
o transformare a spaţiului culorilor "deformat" într-un spaţiu
varietate suficient de largă de culori încât să acopere o plajă
"corectat", ideal. Funcţia poate fi definită scalar, în fiecare
largă a spaţiului RGB. Deasemenea există disponibilă varianta
componentă, sau vectorial, dacă cele 3 componente de culoare
sa restaurată (fie în condiţii optime de iluminare, fie - dacă
sunt corelate. Dintre spaţiile de culoare utilizate în literatură
este vorba de o imagine digitală a unei picturi afectate de
pentru corecţia culorilor, menţionăm: HSV, YCbCr.
degradarea mediului său fizic - imaginea sa restaurată de către
experţi). Atunci, pentru restaurarea oricărei alte imagini
În acesta lucrare sunt abordate metodele bazate pe învăţarea
degradate în aceeaşi manieră, trebuie deduse cele 3 funcţii de
supervizata a functiei de transformare/corectie a culorii. Cele
transformare a componentelor de culoare (fie ele pentru
mai performante reprezentante din această categorie sunt:
exemplificare Y, Cb, Cr => fy(Y), fcb(Cb), fcr(Cr)). Aceste
reţelele neuronale; maşinile cu vectori suport folosite pentru
funcţii sunt deja specificate complet în punctele de culoare
regresie [Dekel’05]. În special, maşinile cu vectori suport sunt
cunoscute din imaginea degradată, însă trebuie realizată o
recunoscute pentru capacitatea lor de a învăţa cu capacitate de
interpolare pentru celelalte puncte. Metodele de regresie pot
rezolva eficient acest deziderat. În cazul folosirii maşinilor cu
vectori suport în acest scop, cele 3 funcţii fy, fcb, fcr sunt
definite prin parametrii maşinilor, în urma fazelor lor de
antrenare (vor fi antrenate 3 SVM, câte unul pentru fiecare
componentă a spaţiului culorilor, folosind ca vectori de
antrenare - setul valorilor componentei respective din
imaginea degradată, iar ca şi vectori ţintă - setul valorilor
componentelor respective din imaginea originală, considerînd
imaginile perfect aliniate spaţial, astfel încât culorile
corespondente se găsesc în exact aceeaşi poziţie spaţială.
În lucrare am folosit, pentru verificarea metodei propuse, o
imagine de antrenare standardizată pentru evaluarea culorilor
(Macbeth colour checker). Funcţiile de transformare a culorii
astfel deduse au fost folosite în restaurare atât pentru imaginea
de antrenare, cât şi pentru alte imagini, cu rezultate foarte
bune, în condiţiile folosirii unei imagini de antrenare mult
subeşanţionate (pentru o viteză acceptabilă a algoritmului) şi a
mai multor variante de maşină cu vectori suport atât cea
liniară, cât şi neliniare.
Degradarea culorii in imaginea digitala
Deoarece avem în vedere în principal imagini de patrimoniu
cultural digitizate luam în considerare atat degradarea fizica
cât şi erorile introduse de iluminare si de sistemul de achizitie.
Restaurarea unei imagini depinde foarte mult de aprecierea
iluminării la achiziţie, de aberaţiile cromatice şi optice ale
sistemului de achiziţie cât şi de aprecierea ochiului unui
expert asupra denaturării datorate modificărilor fizice care
apar în timp inevitabil şi condiţiilor fizice de păstrare, fiecare
din aceste proleme necesitând o tratare separată [Kunt’99].
Corecţia imaginilor implică în primul rând identificarea şi
corecţia celor existente deja indexand în acelaşi timp
cunoştiinţele referitoare la restaurarea şi corecţia acestora din
trecut, în special cea realizată fizic în laboratoare de restaurare
şi in al doilea rând identificarea şi realizarea unui protocol de
achiziţie şi stocare care să permită evitarea sau corectura
ulterioară a degradărilor şi pierderilor de informatie.
Surse de iluminare
Datorită surselor de iluminare, digitizarea imaginilor şi
percepţia poate varia foarte mult si se denatureaza foarte uşor.
Pentru o afisare adecvata a culorilor unei opere de artă trebuie
să inregistram in conditii cat mai bune şi să putem modifica
parametrii achiziţiei pentru a avea control atît asupra imaginii
cît şi asupra afişării digitale şi printării.
Temperatura culorii ese o caracteristică a spectrului vizibil al
luminii şi este dererminată prin compararea culorii ei cu
culoarea unui corp negru încălzit treptat, care va radia lumină
în funcţie de temperatura la care este, de la roşu-închis până la
alb. Relaţia dintre temperatură şi lumina radiată defineşte
temperatura culorii şi se exprimă în grade Kelvin. Lumina
zilei are un spectru similar cu cel al corpului negru. În practică
între 5500 şi 5800° (K), iar în zilele cu ceaţă este între 7700-
8500°(K).
Mai jos sunt prezentate câteva surse tipice de lumină şi
temperatura în grade Kelvin corespunzatoare: flacăra
lumânării 1500(K); incandescent 3000(K); răsărit, apus de
soare 3500(K); lumina soarelui la amiază, flash 5500; soare
puternic, cer senin 6000(K); cer noros, umbră 7000(K); cer
albastru 9000(K) .
Sisteme de achizitie
Principalele erori introduse de sistemele de achiziţie sunt
legate în principal de geometria imaginii, problemă prezentă
la sistemele optice ale camerelor foto, iar la scanerele
bidimensionale de dimensiunea mică a suprafeţei de scanare si
problemele intampinate la scanarea unei suprafeţe mari.
Erorile de geometrie si de poziţionare se resfrâng direct asupra
cromaticii imaginilor achiziţionate [Barnard’02] [Puech’01].
Camerele foto digitale furnizează fişiere brute de imagine în
format RAW care procesează imaginea direct, întrucât, în
fişierul RAW, informaţia stocată este cea furnizată de senzor,
valorile înregistrate pentru fiecare pixel sunt direct
proporţionale cu cantitatea de lumină incidentă. Ochiul uman
percepe luminanţa în mod diferit, adică este mai sensibil la
variaţii mici ale luminozităţii în zonele mai intunecoase şi
proportional mai putin sensibil la variaţii similare ale
intensităţii în zonele luminoase.
Modul în care sunt înregistrate sau percepute variatii ale
luminozitatii unui subiect este definit ca "gamma"; fisierul
RAW este inregistrat in mod nativ cu gamma 1, pe cand
ochiul uman are gamma 2,2.
Situatia in care reproducera corecta a culorilor este mai
dificila, este intalnita in cazul scenelor iluminate cu multiple
surse de lumina, cum ar fi, de exemplu, interioarele iluminate
atat de lumina solara cat si de becuri fluorescente, sau alte
combinatii de surse de lumina cu temperaturi de culoare
diferite. In aceasta ultima imprejurare, determinatea
balansului de alb se recomanda a fi facuta inainte de
fotografie, prin etalonare pe mostre gri 18%. Deoarece
fisierele RAW nu au aplicat balansul de alb, ele pot fi afisate
cu orice mod al balansului de alb posibil in camera.
Cele mai multe scannere din ziua de astăzi sunt variaţii ale
scanner-ului desktop (sau Flatbed). Ele folosesc un senzor de
imagine implementat printr-un dispozitiv CCD (CCD -
Charged-Coupled Device) sau CIS (Contact Image Sensor).
Pe de altă parte, un scanner cu tambur foloseşte un tub
fotomultiplicator pe rol de senzor de imagine. Cea mai veche
tehnologie scanner este cea cu tambur, unde tubul
fotomultiplicator se mişcă inainte şi înapoi pe o singură axă.
Imaginea ce urmează a fi scanată este fixată pe un tambur care
se roteşte în faţa tubului fotomultiplicator.
Utilizarea scannerelor cu tambur a cunoscut o cădere
semnificativă de când scannerele flatbed bazate pe tehnologia
CCD au scăzut ca preţ. Totuşi, scannerele cu tambur se mai
folosesc în anumite aplicaţii high-end unde calitatea scanării
atarna mai greu în balanţă, cum ar fi arhivarea fotografiilor în
muzee şi în producţia de cărţi şi reviste.
Un scanner desktop este alcătuit de obicei dintr-un panou de
sticlă, sub care se afla o sursă de lumină (de obicei xenon sau
lumină fluorescentă cu catod rece) care luminează panoul, şi
un dispozitiv mobil CCD. Scannerele color conţin de obicei
trei randuri de elemente CCD cu filtre roşii, verzi şi albastre.
Degradarea fizica

În trecut pictura era, în general, formata din mai multe straturi

de culoare. Stratul cel mai de jos, cel negru sau alb, a fost
încorporat în comoziţia picturală de către artist prin folosirea
diferitelor grade de opacitate şi transparenţă a culorilor din
straturile superioare. Din cauza distrugerilor suferite de
pictură, structura straturilor de pictură poate fi observată cu
uşurinţă.
Termenul de îngălbenire primară este folosit pentru a descrie
reacţia de înnegrire, care în acest caz a apărut din cauză că
marginile picturii erau acoperite de rama care încadra tabloul.
În timpul procesului de uscare, picturile în ulei îşi pierd o
parte din opacitatea şi starea lor de prospeţime. Prin urmare
liniile desenului iniţial devin vizibile.
Fig. 2. Tonurile initiale ale culorii
Varnişul gros a căpătat o culoare închisă (stânga) şi crepături
accentuate, ceea ce sugerează că nu s-a folosit obişnuitul
“resin varnis”, mai moale, ci unul bazat pe uleiuri şi/sau
uleiuri sicative.
Stratul pictat e acoperit cu un strat de praf, care îi conferă o
aură albăstruie şi cu varnis galben. Culoarea originală a
culorilor nu e obţinută decât după curăţarea tabloului.
(Cornelius de Vos - 1584-1651 – “Încununarea Eroului de
către Victoria” – detalii, Muzeul Brunswick)
Varnişul galben poate modifica culoarea şi efectul de
spaţialitate creat de stratul pictat, efectul de ansamblu fiind
unul monocrom, fără accente. Doar după înlăturarea
varnisului pictura îşi recapătă intensitatea culorilor şi
spaţialitatea care îi conferă de fapt plasticitate şi valoare
[Giakoumis’05] [Weken’07].

Fig. 1. Indepartarea varnisului

De-a lungul secolelor unele dintre culori îşi pierd din

intensitatea lor iniţială. Uneori, sub rama tablourilor se mai
pot observa tonalităţiile iniţiale ale picturii Fig.2.
Umezela poate duce la desaturarea culorilor din straturile de
pigment şi de finisare. Această desaturare e urmarea pierderii
legăturii dintre pigmentul de culoare şi liant, rezultatul fiind
transformarea coloraţiei originale în tonuri de gri. O
predispoziţie accentuată pentru acest fenomen o prezintă
culorile smălţuite şi verdele pământiu, ceea ce înseamnă
albire.
În imaginea din Fig. 2. pe marginile crepăturilor, pigmeniţii Fig. 3. Cornelius de Vos “Încununarea Eroului de către
au început să fie afectaţi de efectul de albire. În imagine Victoria” - detaliu
zonele verzi, realizate cel mai porbabil prin amestecarea
pigmenţilor galbeni de pământ şi ai celor smălţuiti, efectul de 2. MASINI CU VECTOR SUPORT PENTRU REGRESIE
albire se poate observa cu uşurinţă. Limitările metodelor statistice în dezvoltarea empirică a unui
model de date pentru mai multe aplicaţii a condus la
dezvoltarea unei noi teori a estimării funcţonalităţii în regresie
şi clasificare sub formă de maşini cu vector suport (Support
Vector Machine - SVM). Teoria este derivată din teoria
învăţării statistice dezvoltată de Vapnik şi Chervonenkis
[Vapnik’98]. Modelarea empirică a datelor se bazează pe
principiul inducţiei în care modelul concluzionează informaţia
din datele de intrare şi în final prevede setul de ieşire, model
care nu este similar reţelelor neuronale. Datorită restricţiilor
 ¿
impuse precum set finit de date, dimensiune mare, datele vor minimizarea variabilelor liniare ţinând cont de w i , b , ξ , ξ şi
forma doar o distribuţie rară în spaţiul de intrare maximizarea lor ţinând cont de multiplicatorii pozitivi
[Bousquet’04].
SVM este o nouă teorie de învăţare bazată pe cadrul α ,α ¿ , β , β ¿. Astfel funcţia pierdere are soluţii atât în spaţiul
minimizării structurale a riscului (SRM) faţă de tradiţionalele liniar cat şi în cel n-dimensional. Variabilele Lagrange duale
reţele neuronale care sunt bazate pe minimizarea previzivbilă Ld ( α , α ¿ ) sunt exprimate doar prin multiplicatorii Lagrange.
a riscului. Fundamentul matematic şi performanţa superioară
Deci sunt 2l multiplicatori pentru regresia liniară, iar matricea
ale SVM-urilor faţă de reţelele neuronale tradiţionale prezintă
Hessiană are dimensiunea de (2l, 2l). Astfel sunt optimizate
o alternativă excelentă la reţelele neuronale folosite pentru
variabilele Lagrange duale:
restaurarea culorii.
SVM a fost creata initial pentru clasificare si extinsa la
problema regresiei – SVR (Suport Vector or Reggresion) prin Ld =−0 . 5 α 2 Hα+ f T α (3)
introducerea diferitelor functii pierdere [Plat’00] [Smola’98].
Presupunand un set de date de intrare reprezentat printr-un ¿
După calculul multiplicatorilor Lagrange α i si α i , mărimea
vector x, SVM-ul invata dependenta functionala dintre intrare
optimă a vectorilor şi erorii în hiperplanul regresiei este
si iesire reprezentata prin f(x). Ecuatia urmatoare prezinta
calculată folosind expresia:
expresia simpla a unui SVM antrenat pentru regresie:
l
N
f ( x , w ) =∑ wi φ( x) w 0=∑ ( α ¿i −α i ) x i (4)
i=1
i=1
l
1
unde functia φ(x) este denumita functia caracteristica.
Termenul wi corespunde ponderii atribuite fiecarei date de
b 0=
l (∑ ( i=1
)
y i−x Ti w 0 ) (5)
intrare. In regresie, sortarea erorilor de aproximare este
folosita ca sa obtinem cea mai buna estimare functionala intre Cea mai buna alegere a hiperplanului este dată de ecuaţia
datele de intrare si cele de iesire. Aceasta masura a erorii este
definita ca functia pierdere. z=f ( x , w ) =w T0 x +b 0 (6)
2.1. Regresia liniara

Regresia liniară implică o funcţie pierdere, având obiectivul 2.1. Regresia neliniara
de a o minimiza, ca să putem estima un hiperplan f(x,w):
SVM în cazul neliniar lucrează într-un spaţiu al
l caracteristicilor n-dimensional folosind un kernel specific.
1 1
2
2
R= ‖w‖ +C (∑ |
i=1
)
y i−f ( x , w )|ε ,C
λ
(1) Similar cu regresia liniară, funcţia pierdere este optimizată în
spatiul dual; de exemplu maximizarea variabilelor Lagrange
duale tinând cont de multiplicatorii Lagrange. Soluţia pentru
Pentru a minimiza ecuaţia sunt introduse variabilele
¿ hiperplanul de regresie f(x) care este liniar în spaţiul
pozitive, intregiξ si ξ , acestea sunt la o distanţă mai mare
caracteristicilor F va crea un hiperplan de regresie neliniar în
decat ε faţă de funcţie, de o parte şi alta a acesteia. spaţiul variabilelor de intrare.
¿
Multiplicatorii Lagrange (α i , α i ) sunt utilizaţi pentru Functia de regresie neliniară este dată de ecuaţia:
minimizarea funcţiei pierdere. Valoarea lor este zero dacă
¿ ¿
variabilele ξ si ξ <ε , şi diferită de zero daca ξ si ξ >ε , în
f ( x )=∑ ( ά i−ά ¿i ) K (xi , x)+ b́ (7)
acest caz multiplicatorii Lagrange sunt vectorii suport. SVs
Funcţia pierdere este in consecinţă modificată:
În cazul regresiei neliniare, matricea hessiană se schimbă
l l
1
R= ‖w‖ +C
2
2
(∑ i=1 i=1
)
ξ+ ∑ ξ ¿ ,(2)
H= G −G , G ( x k , x i ) (8)
−G G [ ]
ξ , ξ¿ ≥ 0 , i=1 , … ,l
y i−wT x i ≤ ε + ξ Dupa calculul multiplicatorilor Lagrange, mărimea optimă a
vectorilor şi a erorii sunt calculate folosind ecuaţiile:
w T xi − y i ≤ ε + ξ¿
w 0=α ¿ −α ( 9)
Constanta C este parametrul de regularizare care
controlează echilibrul dintre aproximarea erorii şi norma
vectorului ‖w‖. Condiţiile din ecuaţia de mai sus impun
 l culorilor). O variantă preferată de interpolare o oferă regresia
1
b 0=
l ( ∑ ( y i−G w0 ) (10)
i=1
) cu vectori suport, însă cu dezavantajul că valorile funcţiei
rezultate nu pot să fie decât scalare. Astfel problema nu se
poate formula direct în spatiul 3D ci trebuie găsite spaţii de
Deci cea mai bună alegere a hiperplanului de regresie este culoare cu componente decorelate pentru a deduce individual
dată de ecuaţia: cele trei funcţii de regresie.
Fiecare funcţie este dată de un SVM, iar setul de antrenare a
z=f ( x , w ) =G w0 +b 0 (11) SVM pentru regresie este format de perechile ¿. Corecţia va fi
independentă conform schemei bloc din Fig.4. :

3. RESTAURAREA CULORII FOLOSIND MAŞINI CU

VECTOR SUPORT Imagine
Formularea problemei de restaurare a culorii din imagini degradata
digitale din perspectiva matematică a regresiei cu maşini cu
vector suport. { yC , i }
1
f C −SMV C
1 1
{x C ,i }
1
O abordare posibilă este urmatoarea: dacă avem la dispoziţie
un spaţiu de culoare în care componentele sunt decorelate
(ideal complet decorelate) notat general C1C2C3, unde de
{ yC , i }
2
f C −SMV C
2 2
{x C ,i }
2

exemplu C1=Y, C2=Cb, C3=Cr pentru spaţiul YCbCr.

În cazul general putem formula problema restaurării culorilor { yC , i }
3
f C −SMV C {x C ,i }
3
astfel: fie subspaţiul culorilor dintr-o imagine nedegradată 3 3

(“paleta de culori a imaginii” o mulţime discretă)

Imagine
Snedegradat = {y1, y2, ..., yN}, (12) corectata

yi [3x1] – cele trei componente [y i1, yi2, yi3], unde [yi1, yi2, Fig. 4. Schema bloc de restaurare folosind SVR
yi3]=[R,G,B] sau [yi1, yi2, yi3]=[H,S,V] sau [yi1, yi2,
yi3]=[Y,Cb,Cr], i=1,2, ..., N Particularizări pentru reprezentarea colorilor în spatiul
Fie subspaţiul culorilor imaginii degradate: YCbCr este reprezentata in Fig.5.
Sdegradat = {x1, x2, ..., xM}, (13) RGB
-> Imagine
în general M ≠ N, dar presupunem pentru simplitate M = N. degradata
YCbCr
Pentru restaurare este necesară deducerea unei
mapari Sdegradat ❑ S nedegradat care poate fi exprimată analitic
→ Y { y C ,i } f C −SMV C Y {x C ,i }
printr-o funcţie: 1 1 1 1

f : S degradat ❑ Snedegradat (14) Cb { y C ,i }

2
f C −SMV C
2 2
Cb {x C ,i }2
→

Cr { y C ,i } f C −SMV C Cr { xC , i }
Problema principlă este deducerea exprimării funcţiei f, dat 3 3 3 3

fiind că avem la dispoziţie doar un set de exemple redus

(puncte yi în care se cunosc valorile funcţiei f(y i)=xi) fiind YCbC
Imagine
date reprezentările în spaţiul C1C2C3 pentru punctele {yi} din ->
corectata
Snedegradat şi {xi} din Sdegradat , notate prin RGB

{ y C , i },{ y C ,i }, { y C ,i }
1 2 3
şi respectiv Fig. 5. Schema bloc de restaurare in spatiul YCbCr
{x C ,i }, {x C ,i }, {x C , i }, trebuie găsite funcţiile f C , f C , f C ,
1 2 3 1 2 3
pentru spaţiul HSV nu se poate folosi SVM pe componenta H
deoarece aceasta are distanţa unghiulară in Fig. 6..
f C : { xC , i }❑ { y C ,i } , k =1,2,3(15)
k k k
→

RGB
Funcţia se poate rezolva cu formule explicite de interpolare, Imagine
->
dar este mai dificil dacă forma funcţiei este înalt neliniară şi degradata
HSV
neregulată (ca şi în cazul frecvent al degradării naturale a
 H

S { y C ,i }
2
f C −SMV C
2 2
S {x C ,i }
2

c)
V { y C ,i }3
f C −SMV C
3 3
V {x C ,i }3
c) Rezultatul restaurarii culorii folosind funcţiile de regresie
aplicate simultan pe Y, Cb şi Cr generate de SVM-urile cu
kernel liniar.
HSV
Imagine
-> 3.2. Testarea restaurarii imaginilor
corectata
RGB
Paşii sunt similari etapei de antrenare, însă avem la dispoziţie
numai imaginea deradată (de corectat) şi în plus funcţiile de
Fig. 6 Schema bloc de restaurare in spatiul HSV
estimare a valorilor corectate, f Y , f Cb , f Cr date de antrenarea
3.1. Vectori de antrenare celor trei SVM-uri:
1. Se converteşte imaginea de test în spatiul YCbCr şi
Fie perechea de imagini D[HxWx3] – imaginea degradată şi rezultă D test ,Y , D test ,Cb , D test ,Cr
C[HxWx3] – imaginea corectă. 2. Se scanează fiecare componentă linie cu linie şi se
Se aliniază spaţial pixel cu pixel cele două imagini de formează vectorul d test , Y [ H test W test x 1],
antrenare d test , Cb [ H test W test x 1], d test , Cr [ H test W test x 1]
Se convertesc în spaţiul de culoare ales. 3. Se calculează:
Se scanează în aceiaşi ordine şi se reprezintă vectorial din c test ,Y [ i ]=f Y ( d test ,Y [ i ] )c test ,Cb [ i ] =f Cb ( d test , Cb [ i ] )
liniile puse una sub alta, astfel reprezentarea imaginii va avea
c test ,Cr [ i ] =f Cr ( d test ,Cr [ i ] ) ,unde i=1,2, … , HW
forma d Y [ HWx 1 ] , d Cb [ HWx 1 ] , d Cr [ HWx 1 ]
4. Se reface imaginea vectorială şi rezultă o matrice în
Se construieşte setul de antrenare al SVM-ului sub forma spaţiul YCbCr.
perechilor Se coverteşte aceasta în spaţiul RGB.

{( CY [ i ] ; d Y [ i ] ) , i=1,2 ,... , HW }(16) 4. IMPLEMENTARE SOFTWARE

{( CCb [ i ] ; d Cb [ i ] ) ,i=1,2 , ... , HW } (17)
{( CCr [ i ] ; d Cr [ i ] ) , i=1,2 ,... , HW }(18)
Exemplu: am folosit imaginea verificatorului Macbeth, care
este un tipar test proiectat in scopul determinării balansului
culorii, pentru a genera un subset al vectorilor de antrenare în
spatiul YCrCb:
IrezCor(:,:,1) = 113 113 112 188 188 186 112 112 106
91 91 87 142 142 129 128 128 117.....
IrezCor(:,:,2) = 68 68 66 148 148 143 124 123 118
97 97 90 128 128 115 199 199 180.....
IrezCor(:,:,3) = 51 51 50 127 127 123 152 154 146
45 45 43 176 176 159 171 171 154......
a) b)
Fig. 7 a) Imagine de intrare, b) Imagine de ieşire
(degradată) (dorită)
Am folosit mediul de dezvoltare Matlab 7.0 cu „Image
Processing” toolbox din care am utilizat funcţiile:
Imread, rgb2ycbcr, reshape, im2double, im2uint8, ycbcr2rgb,
şi toolbox-ul „Support Vector Machines for Classification and
Regression”, Steve R Gunn [Gunn’98], din care am folosit
funcţiile:
svr(X,Y,ker,C,loss,e), svroutput(trnX,tstX,ker,beta,bias)
5. PROTOCOL EXPERIMENTAL
Pentru alinierea imaginilor de antrenare, pixel cu pixel, am
folosit utilitarul Photoshop de la Adobe. Am scris aplicaţia
care implementează paşii prezentati in capitolul 6. Imaginile
au fost subesantionate pentru a nu depasi memoria
disponibila.
Pentru test am utilizat atat imaginea diagramei de verificare a
culorilor Macbeth cat si alte imagini cu conditii de deteriorare
reale.
1. Varianta standard: imaginea Macbeth degradată controlat
simulând îngălbenirea varnish-ului de pe pictură
2. Varianta imaginilor de pictură restaurate scanate din The
Restoration of Paintings, Knut Nicolaus, Ed. Konemann,
1999 [Knut’99],
 - Pentru antrenare am folosit imagini de antrenare de
aproximativ 20x30 pixeli, peste aceasta valoare crescând
foarte mult timpul de lucru
- Pentru test am folosit imagini de 300 – 400 pixeli,
suficiente pentru aproximarea vizuală performantelor
SVM-ului.
Parametrii SVM-ului au fost de două tipuri liniar şi neliniar,
din cel de al doilea am implementat kernelul: polinomial,
gausian RBF, exponential RBF

5. COMPARAREA ALGORITMILOR DE RESTAURARE a) b)

A CULORII
Performanţele au fost evaluate din perspectivă:
- obiectivă: eroarea numerică medie în setul de antrenare şi a
erorii numerice maxime, la restaurarea fiecarei componente de
culoare (individual pe SVR)
- subiectivă – vizual, pe baza imaginilor ţintă, imagini refacute
şi imagini deteriorate.
Evaluarea a fost efectuată atât pe imagini de antrenare cât şi
pe imagini de test. În plus am examinat reprezentările grafice
ale perechilor de date de antrenare şi funcţiile de regresie cu c) d)
modulul uiregress.
Fig 8.3 a) Imaginea degradata. Imaginea rezultată în urma
restaurării culorii folosind funcţiile de regresie aplicate
simultan pe imaginea degradata pe canalele Y, Cb şi Cr
generate de SVM-urile cu kernel liniar antrenat pe setul a) - b)
cu b) kernel liniar, c) polinomial de grad 2, respectiv cu d)
gausian RBF.

Fig. 8.1 Restaurarea fizică a operei Crowning of the Hero by

Victoria [detaliu], Cornelis de Vos (1584-1651) [Knut’99].
Fig 9.1 Restaurarea fizică, in laborator a operei. [Knut’99]

9.2 a) b) c) d)
a) b) c) d) Fig 9.2 Imagini de antrenare: a)intrare, b)ieşire şi rezultatul
restaurării culorii folosind funcţiile de regresie aplicate
Fig 8.2 Imagini de antrenare: a) intrare (degradată), b) ieşire simultan pe imaginea a) pe canalele Y, Cb şi Cr generate de
(dorită) şi c) rezultatul restaurării culorii aplicata pe imaginea SVR-urile rezultate folosind c)kernel polinomial şi respectiv
a) folosind funcţiile de regresie aplicate simultan pe Y, Cb si d)gausian RBF.
Cr generate de SVM-urile cu c) kernel polinomial şi respectiv
d) exponenţial RBF.
9.3 a) b)

d) e)
Fig. 9.5 Imagini de antrenare: a)intrare (degradată), b)ieşire
c) (dorită) şi c)rezultatul restaurării culorii folosind funcţiile de
regresie aplicate simultan pe imaginea degradata pe canalele S
Fig 9.3 a) Imagine degradata. Aplicarea SVR cu kernel b) şi V generate de SVM-urile cu kernel liniar pe imaginea a).
polinomial de grad 2, respectiv cu c) gausian RBF. d)Imaginea degradată e)Imaginea rezultată în urma restaurării
culorii folosind funcţiile de regresie aplicate simultan pe
imaginea degradata pe canalele S şi V generate de SVM-urile
cu kernel liniar antrenat pe setul a) - b).
a) b) c)

d) e)
Fig 9.4 Imagini de antrenare: a)intrare (degradată), b)ieşire
(dorită) şi c)rezultatul restaurării culorii folosind funcţiile de
regresie aplicate simultan pe imaginea degradata pe canalele
Y, Cb şi Cr generate de SVM-urile cu kernel liniar pe Fig. 9.6 Restaurarea in laborator a picturii [Knut’99].
imaginea a). d)Imaginea degradată e)Imaginea rezultată în
Utilizarea spatiului de culoare HSV, aplicând masini cu vector
urma restaurării culorii folosind funcţiile de regresie aplicate
suport pentru regresie pe canalele S si V conduc la rezultate
simultan pe imaginea degradata pe canalele S şi V generate de
mai slabe decat in cazul spaţiului YCbCr.
SVM-urile cu kernel liniar antrenat pe setul a) - b).

Kernel Eroarea medie Eroarea maxima

Liniar 5,4306 36
Polinomial 2,6846 25
Gausian RBF 2,8462 27
Exponential RBF 2,0237 19
9.5. a) b) c) Spline 1,9922 19
B-spline 1,7308 19
Tabel 1. Evaluarea erorii pe imaginea de antrenare (degradata,
dar care a fost folosita in deducerea functiilor de regresie)
Macbeth folosind diverse kerneluri pentru SVR aplicate pe
reprezentarea in spatiul YcbCr
5. CONCLUZII SI DEZVOLTARI ULTERIOARE
Analiza detaliată a direcţiilor iniţiale de studiu a concluzionat
ca aplicarea tehnologiilor unui domeniu foarte nou cum este
învăţarea supervizată bazată pe maşinile cu vector suport
pentru regresie în aria restaurării de culoare a imaginilor, în
special a celor de patrimoniu cultural este o zonă neexplorată
şi care a generat rezultate bune de la primele teste. Am ales
acest domeniu deoarece în ultimii ani studiul în domeniul
maşinilor cu vectori suport este tot mai asiduu şi cu rezultate
superioare algoritmilor neliniari clasici.
Rezultatele din testele efectuate până acum sunt încurajatoare
pentru cautarea celor mai bune soluţii şi strategii pentru
restaurarea culorilor obiectelor de patrimoniu. Am ales acest
domeniu deoarece continua munca ultimiilor ani în domeniul
patrimoniului cultural, al procesării de imagini şi al
tehnologiilor multimedia.
Cautarea în această direcţie este axată înspre optimizare,
robusteţe şi stabilitate. O altă direcţie este cea de combinare a
SVM-urilor pentru regresie, utilizând un clasificator pentru
marcarea zonelor cu nuante similare din imagine, deoarece am
constatat că aplicarea SVM-rilor pe o nuanţă duce la
aproximări mult mai bune decât în cazul aplicării pe o gamă
variată de culori.
În literatura de specialitate, nu am identificat utilizarea SVM
pentru regresie aplicate în restaurarea culorii, ci doar aplicarea
regresiei pe invarianţa culorilor la iluminare.
Aplicarea sistemelor cu vectori suport pentru regresie pe
imagini care au o paleta limitata sau caracteristici spatiale
definite intr-un cadru finit pot furniza rezultate mult
superioare decât aplicarea pe imagini cu o paletă de culori
foarte largă.
O zonă care cred ca merită atenţie este studiul geometriei
indusă de kernel in funcţie de ecuaţiile pe care acesta le
implementează precum si includerea lor in sisteme complexe.
REFERENCES
[Barnard’01] K. Barnard, and B. Funt, “Camera
Characterization for Color Research,” Color Research
and Application, vol. 27, no. 3, pp. 153-164, 2001.
[Blais’08] Eric Blais, Ryan O’Donnell and KarlWimmer,
Polynomial regression under arbitrary product
distributions, Carnegie Mellon University, 2008
[Bousquet’04] Olivier Bousquet, Stephane Boucheron2,
Gabor Lugosi, Introduction to Statistical Learning
Theory, Advanced Lectures on Machine Learning (2004),
pp. 169-207.
[Brefeld’05] Ulf Brefeld, Thomas Gärtner, Tobias
Scheffer, Stefan Wrobel, Efficient Co-Regularized Least
Squares Regression, Journal of Machine Learning
Research 6, 2005
[Chakrabartty’07] Shantanu Chakrabartty, Gert
Cauwenberghs; Gini Support Vector Machine:
Quadratic Entropy Based Robust Multi-Class
Probability Regression, Journal of Machine Learning
Research 8(Apr):813--839, 2007
[Dekel’05] Ofer Dekel, Shai Shalev-Shwartz, Yoram
Singer; Smooth ε-Insensitive Regression by Loss
Symmetrization, Journal of Machine Learning Research 6
711--741, 2005
[Devlin’02] Kate Devlin, A review of tone reproduction
techniques, Technical Report CSTR-02-005, Department
of Computer Science, University of Bristol, 2002
[Devlin’04] Adela Katharine Devlin, Perceptual fidelity
for digital image display, A thesis submitted to the
University of Bristol, UK in accordance with the
requirements for the degree of Doctor of Philosophy in
the Faculty of Engineering, Department of Computer
Science, 2004
[Ebner’03] M. Ebner, “A Parallel Algorithm for Color
Constancy,” Journal of Parallel and Distributed
Computing, vol. 64, no. 1, pp. 79-88, 2004.
[Finlayson’01] G. H. Finlayson, S. D. Hordley, and P. M.
Hubel, Color by Correlation: A Simple, Unifying
Framework for Color Constancy, IEEE Transactions on
Pattern Analysis and Machine Intelligence, vol. 23, no.
11, pp. 1209-1221, 2001.
[Gonzalez’01] R. Gonzalez, R. Woods, Digital Image
Processing – Second Edition, Prentice Hall, New Jersey,
2001
[Gordan’06] Mihaela Gordan, Sisteme de analiza a
imaginilor digitale folosind clasificatoare masini cu
vector suport, Casa Cartii de Stiinta, Cluj Napoca, 2006
[Gunn’98] Steve R. Gunn, Support Vector Machines For
Classification And Regression, Faculty of Engineering,
Science and Mathematics, School of Electronics and
Computer Science, University of Southampton, 1998
[Hao’07] Pei-Yi Hao, Shrinking the Tube: A New Support
Vector Regression Algorithm with Parametric Insensitive
Model, 2007, pages: 1871-1874
[J Smola’98] Alex J Smola, Bernhard Scholkopf, A
Tutorial on Support Vector Regression, NeuroCOLT
Technical Report Series,
[Knut’99] The Restoration of Paintings, Knut Nicolaus,
Ed. Konemann, 1999
[Koltchinskii’08] Vladimir Koltchinskii, Ming Yuan,
Sparse Recovery in Large Ensembles of Kernel Machines,
School of Mathematics, Georgia Institute of Technology,
2008
[Luxburg’04] von Luxburg, U., Bousquet, O., Scholkopf,
B.: A compression approach to support vector model
selection. The Journal of Machine Learning Research 5
(2004) 293-323
[Micchelli’03] Charles A. Micchelli, Massimiliano Pontil,
On Learning Vector - Valued Functions, Department of
Computer Science, University College London, Research
Note RN/03/08, 2003
[Pitas’00] I. Pitas, Digital Image Processing: Algorithms
and Applications, John Wiley & Sons, February 2000
[Platt’00] J. Platt, Probabilistic outputs for support vector
machines and comparisons to regularized likelihood
methods, Advances in Large Margin Classifiers, (A.
Smola, P. Bartlett, B. Scholkopf, and D. Schuurmans,
Eds.), MIT Press, Cambridge, MA, 2000.
[Quoc’06] Quoc V. Le, Alex J. Smola, Thomas Gartner,
Simpler Knowledge-based Support Vector Machines,
23rd International Conference on Machine Learning,
2006, Pittsburgh
[Scholkopf’00] Bernhard Scholkopf, Alexander J.
Smola, Learning with Kernels, The MIT Press,
Cambridge, Massachusetts, London, England, 2000
[Scholkopf’98] B. Scholkopf, P. Bartlett, A. Smola, R.
Williamson, Support Vector Regression with Automatic
Accuracy Control, Proceedings of ICANN'98,
Perspectives in Neural Computing, pages 111 – 116, 1998
[Smola’98] Bernhard Scholkopf, Peter Bartlett, Alex
Smola, Robert Williamson, Shrinking the Tube: A New
Support Vector Regression Algorithm, Technical Report
Series, NC2-TR-1998-031, 1998
[Vapnik’98] V.N. Vapnik, Statistical Learning Theory, J.
Wiley, N.Y., 1998.
[Vivek’05] Vivek Agarwal, Ridge Regression Approach
to Color Constancy, A Thesis Presented for the Master of
Science Degree, The University of Tennessee, Knoxville,
2005
[Vlaicu’97] A. Vlaicu, Prelucrarea numerică a
imaginilor, Editura Albastră, Cluj-Napoca, 1997
[Ying’08] Yiming Ying and Colin Campbell, Learning
coordinate gradients with multi-task kernels, Department
of Engineering Mathematics, University of Bristol, 2008