Regsirea informaiei multimedia

-Referat-

Student: Camelia Gomotarceanu

Anul: II
Sectia: Inginerie Software

Regsirea informaiei multimedia

Sistemele de regsire de imagini, sistemele de recomandare, precum i detecia de

concepte vizuale i adnotarea automat a imaginilor reprezint direcii de cercetare care n
ultimii ani au primit i continu s primeasc mult atenie la nivel academic i nu numai, ele
extinznd remarcabil capabilitile mainilor de cutare de tip google. De exemplu, ACM
organizeaz n 2011 a cincea conferin pe tema sistemelor de recomandare
(http://recsys.acm.org). De asemenea, sistemele de recomandare au fost declarate ca fiind una
dintre primele cinci teme de interes deosebit n domeniul web-ului, printre altele precum web-ul
semantic, realitatea mbuntit, web-ul mobil i reelele sociale (MacManus, 2009).
Sistemele de recomandare sunt aplicaii software concepute pentru a filtra informaia i a
oferi sugestii utilizatorilor despre obiecte ce ar putea fi de interes pentru ei, pe baza unor anumite
criterii. Multe din aplicaiile online care folosesc sau doresc s includ o astfel de soluie au
milioane de nregistrri stocate n diverse medii, coninnd informaii despre articolele cu care
aplicaia lucreaz, despre utilizatorii si i despre activitile realizate de acetia. Sistemul
rezultat trebuie s ofere scalabilitate i procesare n timp real a cererilor de recomandare, pentru a
facilita utilizatorului final o experien agreabil. Competiii internaionale precum ImageCLEF
ncearc s ncurajeze cercetarea n domeniul adnotrii automate a imaginilor, pe baza deteciei
conceptelor vizuale, prin punerea la dispoziie a unui set de date comun i unor metodologii de
evaluare a performanelor. (http://www.imageclef.org) Aceast competiie face posibil evaluarea
comparativ a mai multor algoritmi i stimuleaz dezvoltarea i mbuntirea metodelor de
adnotare automat a imaginilor. n conjuncie cu aceste competiii deschise, activitatea de
cercetare n aceste domenii se concretizeaz printr-un numr mare de articole, noi abordri i noi
metode de evaluare. Cu toate acestea, progresul n domeniul regsirii i recomandrii de imagini
este departe de a fi ajuns la un nivel final.
Sistemele de recomandare sunt sisteme care ofer faciliti de predicie a preferinelor
utilizatorilor ntr-un spaiu de articole dat, pentru a-i ajuta n procesul de selecie a articolelor
(Resnick i Varian, 1997). Dup algoritmii utilizai, aceste sisteme se mpart n dou mari
categorii. Primul tip de sisteme de recomandare utilizeaz recomandarea bazat pe coninutul
articolului. Aceti algoritmi se axeaz pe coninutul efectiv al articolului i ofer ca recomandri
articole similare unui articol iniial pe baza unor metrici specifice (de pild: tag-uri, tema
articolului, etc). Aceast abordare este cuprins n aplicaia noastr prin recomandrile fcute pe
baz de etichete (tag-uri) i pe baza trsturilor din imagine. Punctul slab al acestei abordri este
c nu ia n considerare i partea social, ce const n modele de similaritate ntre profilurile de
preferine ale utilizatorilor.
Cea de-a doua modalitate de abordare, filtrarea colaborativ, utilizeaz entitile din
aplicaie (utilizatori, articole, preferine, aciuni amd) i recomand articole pe baza preferinelor
utilizatorilor. Preferinele utilizatorilor pot fi obinute prin exprimarea lor explicit, prin vot, sau

implicit, prin studiul comportamentului utilizatorilor. Metodele de filtrare colaborativ se pot

clasifica la rndul lor n dou categorii: (1) metode bazate pe utilizator: se folosesc preferinele
utilizatorilor similari pentru un articol dat pentru a descoperi recomandri de articole,
similaritatea ntre utilizatori determinndu-se pe baza preferinelor exprimate n sistem
(utilizatorii similari avnd, informal spus, aceleai gusturi) ; precum i (2) metode bazate pe
articol: se gsesc articolele similare unui articol dat prin cuantificarea anumitor aspecte sociale,
de pild faptul c muli dintre utilizatorii care au preferat articolul dat, au votat pozitiv i un alt
articol.
Caracteristici ale sistemelor de recomandare
Sistemele de recomandare sunt caracterizate prin multiple criterii, iar unele dintre cele
mai importante dintre acestea sunt detaliate n continuare (Riedl, Beaupre, Sanders, 2009).
Transparena recomandrii reprezint o calitate prin care sistemul ofer o motivaie pentru
recomandarea unui anumit articol (de ex: Pentru c v-a plcut filmul Naul, v recomandm i
Lista lui Schindler), iar astfel poate crete ncrederea unui utilizator n calitatea algoritmului de
recomandare utilizat. Un alt aspect este legat de explorare versus exploatare. Presupunem situaia
n care exist dou articole care pot fi expuse (recomandate) unui grup de utilizatori i se poate
nregistra activitatea pentru un articol iniial expus. Problema la care trebuie s se rspund este
cnd i dac ar trebui s fie expus i al doilea articol, aa nct impactul dorit asupra utilizatorului
s fie maxim (ex: numr de vizualizri, volum de vnzri etc), i este cunoscut n inteligena
artificial ca i problema multi-armed bandit (mai multe detalii despre ea n Vermorel i Mohri,
2004). Problema const n faptul c un juctor are la dispozitie un joc mecanic de tip slotmachine
cu mai multe variante (manete), iar el dorete o strategie de tragere a manetelor astfel nct s-i
maximizeze profitul total. Ghidarea navigrii reprezint problema oferirii unei interfee adecvate
utilizatorului, atunci cnd exist un coninut foarte vast n cadrul aplicaiei, pe baza unor tehnici
de interaciune om-calculator, a unor algoritmi inteligeni, a prezicerii inteniei sau dispoziiei
utilizatorului amd. Prin valorificarea corect a momentului de timp, un sistem de recomandare
ine cont de schimbrile pe care trecerea timpului le aduce asupra relevanei unui articol, precum:
creterea interesului pentru articole ce privesc evenimente recente, posibilitatea ca sistemul de
recomandare s asimileze rapid informaie nou etc. Scalabilitatea sistemului este deosebit de
important n contextul gestiunii de volume mari de date i n continu cretere. n plus,
algoritmii de recomandare sunt n general iterativi, bazai pe procesarea extensiv a datelor. Sunt
de dorit timpi de rspuns mici pentru utilizatorul final, iar n acest sens sunt folosite procesri
offline, i n mic parte procesri online, la momentul cererii formulate de utilizator. Diversitatea
constituie, potrivit lui (Linden, 2009), un aspect de dorit n unele cazuri de recomandare, atunci
cnd recomandarea de elemente aproape duplicate minimizeaz impactul sau utilizabilitatea
sistemului pentru utilizator.
Probleme clasice ale sistemelor de recomandare
Problema cold start apare n cazul utilizatorilor noi ai sistemului, atunci cnd nu exist
informaie explicit despre preferinele acestora pentru a produce recomandri. Printre soluiile
posibile se numr: completarea de chestionare legate de preferine nerecomandat ntruct un
sistem de recomandare inteligent ar trebui s cear explicit ct mai puine informaii din partea

utilizatorului sau utilizarea de ageni de nvare care s descopere profilul utilizatorului pe

baza aciunilor realizate de acesta. Problema first rater este problema echivalent n cazul
articolelor nou intrate n sistem, pentru care nu exist nc preferine exprimate. O soluie viabil
n acest caz este realizarea unui mecanism hibrid de recomandare, care poate face recomandri
bazate i pe coninutul efectiv al unui articol pentru a descoperi articole similare. n ce privete
utilizatorul nsui, apare problema manipulrii (influenrii) sistemului de recomandare de ctre
un grup mic de utilizatori, de exemplu prin comentarii negative la adresa unui articol oferit de
competitori. n acest sens, trebuie ca sistemul s discearn i s elimine aceste tentative de
manipulare. Trebuie evaluat de asemenea i impactul recomandrii, constnd n costul furnizrii
unei recomandri proaste sau omiterii unei recomandri bune, atunci cnd alegerea unui articol
are impact important asupra utilizatorului. Problema confidenialitii apare n condiiile n care
trebuie ca un utilizator s poat evalua recomandrile primite, dar nu se dorete ca preferinele
utilizatorilor care au condus la elaborarea recomandrii s fie publice sau s poat fi determinate
prin manipularea datelor de intrare ale sistemului.

Regsirea de imagini pe baza coninutului vizual

Regsirea de imagini pe baza coninutului vizual utilizeaz tehnici de detecie a
trsturilor vizuale, modaliti de exprimare a lor prin intermediul descriptorilor vizuali i metrici
de similaritate pe baza descriptorilor care permit identificarea celor mai apropiate imagini din
punct de vedere al anumitor aspecte vizuale. n acest domeniu, s-au cutat cele mai bune practici
pentru identificarea conceptelor vizuale din imagini, prin analiza rezultatelor obinute de echipele
ctigtoare la ImageClef 2010, LEAR i XRCE (Mensink et al., 2010) i Universitatea din
Amsterdam (van der Sande, Gevers, 2010). De acolo, au fost identificai descriptorii SIFT Scale Invariant Feature Transform (Lowe, 2004), alturi de clasificarea pe baz de SVM i de
necesitatea de a combina descriptorii SIFT cu descriptori de culoare pentru a include att
elemente de textur i form local, ct i elemente de culoare n calculul similaritilor.
Utilizarea tehnicii bag of visual words i recurgerea la crearea unui vocabular vizual n aplicaia
propus a fost, de asemenea, inspirat de rezultatele deosebite obinute n competiie de cele
dou echipe i nu numai. Descriptorul SIFT este folosit cu rezultate foarte bune n acest domeniu
pentru extragerea de trsturi care sunt, ntr-o anumit msur, invariante la modificri precum
intensitatea luminii, zgomotul n imagine, rotaie, scalare etc. Potrivit lui (Lowe, 2004), procesul
de detecie a acestui tip de trsturi implic:
Scale-space extrema detection = detectarea punctelor de interes reprezentate de puncte
de extrem DoG (diference-of-Gaussian) la diferite scri.
Localizarea punctelor cheie = puncte de maxim / minim local pentru DoG; se compar
fiecare pixel din imaginea transformat DoG cu cei 8 vecini de la o anumit scal, plus vecinii de
la celelalte scale.
Asignarea orientrii pentru fiecare punct cheie. Se bazeaz pe calculul unei histograme
de gradient de orientare n vecintatea punctelor cheie.

 Generarea de descriptori pentru punctele cheie. Pe baza orientrii punctelor cheie,

descriptorul se obine ca un set de histograme de orientare pe vecinti de 4x4 pixeli.
Regsire de imagini pe baza metadatelor semantice
Biblioteca RiTa (http://www.rednoise.org/rita/wordnet/) este un API Java care ofer acces
la ontologia WordNet (Fellbaum, 1998), o baz de informaii lexicale pentru limba englez foarte
cuprinztoare i utilizat n numeroase proiecte ce implic procesare de limbaj natural. RiTa
ofer posibilitatea de a regsi sinonime, antonime, hipernime i hiponime, dar i holonime,
meronime, identificarea celei mai probabile pri de vorbire pentru un cuvnt, nominalizri,
suport pentru algoritmul Soundex, anagrame, potrivire de sabloane, amd (Howe, 2009). De
asemenea, RiTa ofer i metrici de distan ntre termeni din ontologie, funcionalitate utilizat n
prezenta lucrare.
Cele mai multe dintre motoarele de cutare dup cuvnt-cheie (Lycos, Excite, Google,
Mamma, Metacrawler, Yahoo, etc.) ofer posibilitatea de specificare a tipului de document avut
n vedere: text, sunet, imagine, video, etc., prin selectarea nc de la nceputul procesului de
cutare a comenzii images, de obicei sub forma unui buton radio.
Dup introducerea cuvntului-cheie i activarea butonului de selecie pentru imagini,
motorul de cutare va afia o list de imagini, sub form tabelar, pe una sau mai multe pagini
succesive, selecia fcndu-se dup urmtoarele criterii:
limba n care s-a introdus cuvntul
numele imaginii dimensiunile imaginii
sursa imaginii
Unele dintre motoarele de cutare ofer i o legtur ctre pagina original, iar, n unele
cazuri, sunt oferite i o serie de alte imagini din domeniul cutat prin cuvntul-cheie. n cazul n
care se utilizeaz un motor de cutare multi-mecanism (multi-engine - vezi All-In-One,
Metacrawler, Mamma, etc.) v sunt oferite i informaii tehnice suplimentare:
numr de pixeli
extensia fiierului: .gif, .bmp, .jpg, etc.
mrimea fiierului de imagine (n bii)
Imaginile gsite de motorul de cutare sunt prezentate sub forma unor pictograme, ceea ce
faciliteaz vizualizarea rapid a listei pentru identificarea 12 acelora care sunt solicitate de
utilizator. Selecia se face de ctre cel care execut cutarea, dup activarea pictogramei printr-un
clic i vizualizare la dimensiunea originala, se poate trece la operaiunea de stocare a imaginii fie
prin salvare (clic dreapta pe imagine i activarea meniului contextual Save Picture As, cu
indicarea locaiei pentru salvare, My Picture), fie prin copiere direct ntr-un alt tip de document,
ca de exemplu Word, Excel, Access, etc. (clic dreapta pe imagine i activarea meniului
contextual Copy, lipirea fcndu-se cu comanda Paste). Secvenele sau filmele video pot fii
consultate online, foarte puine dintre ele putnd fii copiate. n cazul n care este posibil acest

lucru, atunci exist o facilitate special de transfer (Download) cu specificarea numelui i locaiei
exacte pentru depozitarea n propriul calculator. Vizualizarea unui film video online se
efectueaz prin intermediul unor programe speciale (Player): Windows Media Player, QuickTime
Player, BSPlayer, RealOne Player, etc.).
Cutarea informaiei de tip sunet
Exist mai multe categorii de fiiere de tip sunet accesibile n Internet: cele mai multe
sunt simple melodii de fundal de tip midi sau wav. Ele nu pot fii considerate documente i nu pot
intra n categoria informaiilor deoarece nu au valoare tiinific. O categorie aparte o reprezint
fiierele comprimate de tip mp3 ce conin, n general, muzic. Standardul mp3 s-a impus, ns, i
n cazul documentelor de tip sunet cu valoare tiinific (nregistrri radio politice, culturale,
civice, etc., pentru acest tip de documente cu o vechime mai mare n timp) dar, de cele mai multe
ori, ele nsoesc azi filmele video. Majoritatea motoarelor de cutare ofer posibilitatea selectrii,
printr-un buton radio, a documentelor de tip sunet, modalitatea de selecie i afiare fiind identic
cu cea utilizat n cazul imaginilor i filmelor video. Ca i n cazul documentelor de tip video,
fiierele de sunet sunt accesibile online (se utilizeaz aceleai player-e) sau pot fi transferate
printr-un program download.