Local Linear Embedding și

Laplacian Eigenmaps
Introducere
 Local Linear Embeding și Laplacian Eigenmaps sunt algoritmi de
reducere a dimensionalității în care spațiul de soluție este convex.
Acești algoritmi rezolvă problema valorilor proprii ale matricelor
rare(matrici ce conțin un număr mare de zerouri). Caracteristica
comună este că acești algoritmi se concentrează doar pe păstrarea
structurii locale a datelor, spre deosebire de Isomap ce se axează pe
cea globală.
Local Linear Embedding
 Încorporarea liniară locală , prescurtat LLE, este o tehnică similară cu
Isomap și MVU prin faptul că construiește o reprezentare grafică a
datelor (datapoints).
 LLE este mai puțin sensibil la scurtcircuitare decât Isomap, deoarece
doar un număr mic de proprietăți locale o să fie afectate în cazul
apariției unei scurtcircuitări.
 Această scurtcircuitare este cauzată de ’’datele zgomotoase’’(noisy
data). În machine learning se numește zgomot orice greșeală sau
eroare apărută în urma colectării datelor. Zgomotul creează probleme
pentru algoritmii de machine learning, deoarece dacă aceștea nu sunt
instruiți în mod corespunzător, algoritmii pot crede că zgomotul este
un model (pattern) și poate începe să se generalizeze de la acesta,
ceea ce duce, evident, la învățarea mai puțin precisă.
 Un alt avantaj datorat păstrării proprietăților locale, permite
încorporarea cu succes a colecțiilor de date neconvexe. În LLE,
proprietățile locale ale colecțiilor de date sunt construite prin scrierea
datelor de înaltă dimensiune ca combinații liniare a celor mai apropiați
vecini.
 În reprezentarea de dimensiune joasă a datelor, LLE încearcă să
păstreze atât de bine pe cât este posibil ’’greutatea’’ de reconstrucție
(reconstruction weights) în combinații liniare. Erorile de reconstruție
sunt măsurate prin intermediul funcțiilor de cost :
 Primul pas al LLE este crearea unui graf al vecinătăților . Pentru a
măsura distanța între două puncte este necesară o distanță
metrică. După calcularea acestor distațe, punctele pot fi clasificate
ca vecini. Pot fi folosite distanțe Euclidiene (distanța liniară
obișnuită între două puncte din spațiul euclidian) sau
Mahalanobis(măsoară distanța între un punct P și distribuția sa D).
 Crearea grafului se poate realiza prin mai multe metode, printre
care cea a e-vecinătății. Astfel se crează o muchie între punctele
xi și xj dacă distanța între ele este mai mică decât un parametru
dat e. Parametrul e nu trebuie să fie prea mic sau prea mare. Dacă
este prea mare, fiecare punct va avea trasată o muchie către
celelalte puncte xj, iar în caz contrat, multe puncte nu vor avea
vecini.
 Pasul doi constă în reconstrucția liniară a ponderei unui punct xi
, folosind vecinii săi.
   Fiecare punct din colecția de date este reconstruit ca o . . .
. . . Sumă ponderată liniară (linear weighted sum) a vecinilor
săi. Având în . vedere faptul că participă doar vecinii,
reconstrucția este locală.
Reconstrucția este realizată de către coeficienții liniari a
ponderilor, de . asemenea liniari. Acesta este motivul de ce
algoritmul se numește . . încorporare locar liniară.
• Ponderele punctelor xi și xj sunt
independente una față de cealaltă.
• Rotația, translația și amplificarea cu scalar a
unui punct și a vecinătății sale nu afectează
matricea locală Wij a punctului xi.
• Este important de notat că dacă numărul
vecinilor este mai mare decât mărimea
originală D (dimensiunea superioară) unii
din coeficienții greutății ar putea fi zero,
ceea ce ar duce la apariția mai multor
soluții.
 Pasul 3 constă în reconstruirea punctelor in dimeniune mai
joasă:
În această etapă nu mai avem nevoie de colecția de date. Acum
trebuie să se creeze ,în dimensiunea mai joasă, fiecare punct
utilizând vecinii și matricea locală W. Graful vecinătătăților și
matricea locală W , au păstrat topologia(geometria locală,
distanțele) setului de date.

 Condiția ca ∑i Xi = 0 , constrânge output-ul să fie centralizat în

origine, făcând astfel translația invalidă.

 Condiția XXT=I, unde I este matricea de identitate, este necesară

pentru a face rotația și schimbarea de scalar al output-ului
invalidă.
 Dezavantajele LLE
 LLE este sensibil la valori extreme și zgomote. Colecțiile de date
au densitate diferită și nu este mereu posobil să folosești un set
de date omogen. În aceste cazuri, algoritmul LLE dă un rezultat
slab.
 Exemple de implementări:
• https://towardsdatascience.com/step-by-step-signal-processin
g-with-machine-learning-manifold-learning-8e1bb192461c

• http://rstudio-pubs-static.s3.amazonaws.com/94107_913ae6a
497fc408a91a2529b6c57f791.html

Referințe:

• https://cs.nyu.edu/~roweis/lle/papers/lleintro.pdf

• https://scikit-learn.org/stable/modules/manifold.html
Laplacian Eigenmaps
Laplacian Eigenmaps
 Similar cu LLE(Local Linear Embbeding), Laplacian Eigenmaps(hărțile
laplaciene proprii) găsesc o reprezentare de date cu dimensiuni scăzute prin
păstrarea proprietăților locale ale varietații. În acest algoritm, proprietățile
locale se bazează pe distanțe pereche între vecinii apropiați. 

 Eigenmap-urile laplaciene calculează o reprezentare a datelor de dimensiuni

scăzute în care distanțele, dintre un datapoint și cei k cei mai apropiati vecini
ai săi, sunt minimizate. Acest lucru se realizează într-o manieră ponderată,
adică distanța în reprezentarea de dimensiuni scăzute a datelor între un
datapoint și primul vecin cel mai apropiat contribuie mai mult la funcția de
cost decât distanța dintre un datapoint și al doilea vecin cel mai apropiat.

 Utilizând teoria grafului spectral, minimizarea funcției de cost este definită ca

un eigenproblem(problema proprie).
 Algoritmul laplacian Eigenmaps construiește, în primul rând, un graf de
vecinătăți G în care fiecare punct xi este conectat la k cei mai apropiați
vecini ai săi. Pentru toate punctele xi și xj din graful G care sunt
conectate printr-o muchie(edge), ponderea muchiei este calculată
folosind funcția kernel gaussiană, ceea ce duce la o matrice
rară(sparse adjacency matrix) W . În calculul reprezentării yi, de
dimensiune redusă, funcția de cost care este minimizată este dată de:

                                                                                (1)                               
                                                                                                                   
       

 În funcția de cost, ponderile mari wij corespund distanțelor mici dintre

punctele xi si xj de dimensiuni reduse.
 Calculul matricei de grad M și al grafului laplacian L al grafului W,
permite formularea problemei de minimizare în ecuația (1) ca o
problema proprie. Matricea de grad M a grafului W este o matrice
diagonală, în care intrările sunt sume de rânduri din W (adică mii
= Σjwij). Graful laplacian L este calculat de formula: L = M - W. Se poate
arăta că: 

 Prin urmare, minimizarea lui ф(Y) este proporțională cu minimizarea

lui  YTLY ce depinde de YTMY=In , o condiție a dispersiei similară cu cea
a algoritmului LLE. Reprezentarea datelor de dimensiuni reduse Y
poate fi astfel găsită prin rezolvarea problemei generalizate a valorilor
proprii:

 pentru d cele mai mici valori proprii diferite de 0. (Cei d vectori proprii
Algoritm
Având k puncte date x1.....xk in Rl, construim un graf ponderat cu
k noduri, unul  pentru fiecare punct, și setul de muchii care leagă
punctele vecine între ele.

Pasul 1 [Construirea graficului] 
Punem o muchie între nodurile i si j daca xi si xj sunt "apropiate". Există
două variante: 
 ε vecinatati [parametrul ε ∊ R]. Nodurile i si j sunt conectate printr-
o muchie daca:

 n cei mai apropiati vecini [param n ∊ N]. Nodurile i și j sunt conectate

printr-o muchie daca i se numără printre n cei mai apropiați vecini ai lui j
sau j se numără printre n cei mai apropiați vecini ai lui i.
    
Pasul2 [Alegerea ponderilor]
Există două variante pentru ponderile muchiilor:
 Heat Kernel [parametrul t ∊ R]. Dacă nodurile i si j
sunt conectate, avem:

 Varinata naivă [fără parametrii]. Wij=1 dacă si numai dacă vârfurile

sunt conectate printr-o muchie (O simplificare ce evita necesitatea
alegerii parametrului t)
Pasul 3 [Eigenmaps]
Presupunem că graficul G, construit mai sus, este conex, altfel aplicam pasul
3 la fiecare componentă conexă.
 Eigenmap-urile laplaciene suferă de multe din aceleași puncte slabe ca
și algoritmul LLE. Spre exemplu, prezența unei soluții banale care este
împiedicată să fie selectată de o conditie a dispersiei, ce poate fi
înșelată cu ușurință. 

 În ciuda acestor slăbiciuni, Eigenmap-urile laplaciene(și variantele

sale) au fost aplicate cu succes pentru, de exemplu, recunoașterea
feței și analiza datelor fMRI. 

 În plus, variante de LE pot fi aplicate la probleme de învățare

supravegheată sau semi-supravegheată. 
Exemple Laplacian Eigenmaps: 
https://juanitorduz.github.io/laplacian_eigenmaps_dim_red/
Vă mulțumim!