Sunteți pe pagina 1din 16

Metode si sisteme de analiza si

interpretare a imaginilor
Prezentari de curs sem. II 2011-2012

Curs 10 Clasificatoare masini cu vectori suport
(support vector machines, SVM)


Clasificatoare SVM binare
Metode si sisteme de analiza si interpretare a imaginilor (MSAII) Curs 10
Clasificatoare SVM binare (1)

Notatii matematice:
- Spatiul trasaturilor: R
F
=> F = dimensiunea spatiului trasaturilor
- Date de antrenare: X
trn
={x
t,1
, x
t,2
, , x
t,Ntrn
};
- Etichetele datelor de antrenare: Y
trn
={y
t,1
,y
t,2
,,y
t,Ntrn
}, y
t,i
=+1 sau -1.

SVM =clasificator binar capabil sa separe datele in 2 clase:
a) clasa exemplelor pozitive, etichetate cu +1, pentru o problema de
clasificare data (ex.: clasa imaginilor faciale)
b) clasa exemplelor negative, etichetate cu -1, pentru problema de
clasificare data = orice alt tip de date decat cele pozitive (ex.: orice alta
imagine decat o imagine faciala)



Metode si sisteme de analiza si interpretare a imaginilor (MSAII) Curs 10
Clasificatoare SVM binare (2)


=> SVM clasifica datele in exemple pozitive si exemple
negative intr-o clasa C si o clasa non-C.

Principiul de separare a datelor in cele 2 clase in clasificatorul
SVM binar:
separarea datelor de catre un hiperplan separator optimal H, care
separa exemplele din cele doua clase fara eroare si cu margine
maxima = cu distanta maxima de la cel mai apropiat exemplu
pozitiv la H si de la cel mai apropiat exemplu negativ la H .


Metode si sisteme de analiza si interpretare a imaginilor (MSAII) Curs 10
Clasificatoare SVM binare (3)




1. Generarea
fisierului de
antrenare al
SVM:

Exemple pozitive Exemple negative
2. Antrenare
SVM
=>
hiperplanul
separator
optim:


3. Etichetarea obiectelor
necunoscute:
MVS


x


f(x)
( ) ( ) b ,
1
+ =

=
L
i
i i
y f
i
x x K x o
2 clasa 0 ) ( f => < x
Metode si sisteme de analiza si interpretare a imaginilor (MSAII) Curs 10
Clasificatoare SVM binare (5)

Dupa separabilitatea liniara a datelor in spatiul trasaturilor:

(1) Clasificatoare SVM liniare => utilizate atunci cand datele de
antrenare sunt liniar separabile in spatiul trasaturilor R
F

(2) Clasificatoare SVM neliniare => utilizate atunci cand datele
de antrenare nu sunt liniar separabile in spatiul trasaturilor R
F

(3) Clasificatoare SVM cu relaxarea marginii (soft margin
SVM classifiers) => utilizate atunci cand datele de antrenare nu
pot fi separate fara eroare, dar admitem anumite erori in setul de
antrenare in urma clasificarii (ex. daca suspectam ca unele date de
antrenare sunt zgomotoase sau gresit etichetate sau atipice)



Metode si sisteme de analiza si interpretare a imaginilor (MSAII) Curs 10
Clasificatoare SVM binare liniare (1)
- Etapa de antrenare -

Procesul de nvare al SVM = gsirea parametrilor unui hiperplan
H
0
in R
F
care:
s separe perfect exemplele pozitive de cele negative din X
trn
in
R
F

s maximizeze marginea s maximizeze distana celui mai
apropiat exemplu pozitiv i distana celui mai apropiat exemplu
negativ la hiperplanul H
0
.



Hiperplan separator
optimal H
0
Metode si sisteme de analiza si interpretare a imaginilor (MSAII) Curs 10
Clasificatoare SVM binare liniare (2)

Este posibil definirea mai multor hiperplane care s separe perfect datele din
mulimea de antrenare : H
0
, H'
0
, H''
0
.
Doar hiperplanul H
0
d distana maxim de la cel mai apropiat exemplu pozitiv
i cel mai apropiat exemplu negativ la hiperplan => H
0
= hiperplan separator
optimal
Hiperplanul separator optimal este paralel cu hiperplanele-limit H
1
i H
2
, fiind
situat la mijlocul distanei dintre ele.



Principiul separrii datelor n procesul de clasificare binar n maina cu vectori
suport

margine
Vectori-suport din clasa exemplelor negative
Vectori-suport din clasa
exemplelor pozitive
H
0
= hiperplanul
separator optimal
= media
hiperplanelor limita
definite de vectorii
suport: H
1
, H
2

Metode si sisteme de analiza si interpretare a imaginilor (MSAII) Curs 10
Clasificatoare SVM binare liniare (3)

H
1
, H
2
= hiperplanele cu proprietatea c, nici una din datele de antrenare nu cade
ntre ele, dar exist date de antrenare i pe H
1
, i pe H
2
.
Datele de antrenare situate pe H
1
si H
2
= vectorii suport ai SVM.
Vectorii support = singurele date necesare pentru definirea SVM, deoarece
permit definirea univoc a H
0
:
Vectorii suport formai din exemple de antrenare pozitive definesc complet ecuaia
hiperplanului H
1

Vectorii suport formai din exemple de antrenare negative definesc complet ecuaia
hiperplanului H
2

Odat definite H
1
si H
2
prin ecuaiile lor matematice => ecuaia matematic a
hiperplanului separator optimal H
0
se poate defini prin "media" ecuaiilor hiperplanelor
H
1
i H
2
, respectiv, prin ecuaia acelui hiperplan care este paralel i cu H
1
, i cu H
2
, i
este amplasat exact la mijlocul distanei dintre ele.
Pentru exemplul din fig. anterioara, avem cte dou exemple din fiecare clas
aflate pe hiperplanele-limit => numrul de vectori suport = 4 (2 vectori suport
cu eticheta +1; 2 vectori suport cu eticheta 1).
Metode si sisteme de analiza si interpretare a imaginilor (MSAII) Curs 10
Clasificatoare SVM binare liniare (4)

Ecuaia matematic a hiperplanului H
0
n spaiul R
F
al datelor se exprim ca:


unde w = vectorul normal la hiperplan; b = termenul liber al hiperplanului.
Suma distanelor celui mai apropiat exemplu negativ la hiperplanul H
0
i a celui
mai apropiat exemplu pozitiv la hiperplanul H
0
este dat de expresia i se
numete margine. = norma Euclidian a vectorului w.
Problema antrenrii SVM = deducerea parametrilor w i b ai hiperplanului
separator optimal H
0
astfel nct marginea s fie maximizat, iar exemplele
pozitive i negative s respecte constrngerile ca nici unul dintre ele s nu "cad"
n interiorul marginii de separare a claselor, adic, s nu fie amplasate ntre
hiperplanele-limit H
1
i H
2
:
w
2
w
0 :
0
= +b H
T
x w
. ,...., 2 , 1 ,
1 pentru , 1
1 pentru , 1
trn
i i
T
i i
T
N i
y b
y b
=

= s +
+ = > +
x w
x w
Metode si sisteme de analiza si interpretare a imaginilor (MSAII) Curs 10
Clasificatoare SVM binare liniare (5)

Problema de maximizare a marginii cu constrngeri de tip inecuatie se poate
rezolva cu ajutorul multiplicatorilor Lagrange.
Datele x
k
din mulimea de antrenare pentru care, n urma procesului de
optimizare, se obin multiplicatori Lagrange
k
=0 nu vor interveni n expresia
matematic a funciei de decizie a clasificatorului main cu vectori suport.
Celelalte date, pentru care obinem multiplicatori Lagrange nenuli, definesc
ecuaia hiperplanului H
0
. Aceste date de antrenare sunt exact vectorii suport ai
clasificatorului, adic, datele din mulimea de antrenare care definesc cele dou
hiperplane-limit H
1
i H
2
. Fie N
S
= nr. vectorilor support, N
S
>0 i N
S
sN
trn
.
Vectorii suport, etichetele lor, valorile multiplicatorilor lor Lagrange asociai i
valoarea termenului liber b al hiperplanului deduse n urma procedurii de
optimizare sunt suficieni pentru a defini complet maina cu vectori suport
Ecuaia hiperplanului separator optimal H
0
al mainii cu vectori suport definete
funcia de decizie a clasificatorului main cu vectori suport, n urmtoarea
form:
sau
, ) (
1
b y f
S
N
i
i
T
i i
+

o =
=
x x x ( ). ) ( ) ( ' x x f sign f y = =
Metode si sisteme de analiza si interpretare a imaginilor (MSAII) Curs 10
Clasificatoare SVM binare neliniare (1)

Daca datele de antrenare nu sunt separabile fr eroare printr-un hiperplan n
domeniul lor original => SVM proiecteaz datele din spaiul ntr-un spaiu
Hilbert de dimensiune mai nalt R
M
, cu M>F, folosind pentru proiecie o
transformare neliniar u,
n noul spaiu, datele devin mai distanate i vor fi mai uor de separat liniar =>
SVM construiete n faza de antrenare hiperplanul separator optimal n noul
spaiu R
M
, dat de ecuaia:


ca orice SVM liniar, dar nu in R
F
ci in R
M
.
Similar SVM liniar, in expresia finala a functiei de decizie f(x), datele intervin
prin produsele lor scalare in R
M
:

M F
9 9 u:
( ) 0 :
0
= +b H
T
x w u
Metode si sisteme de analiza si interpretare a imaginilor (MSAII) Curs 10
( ) ( )
S i
T
N i ,..., 2 , 1 , = u u x x
Clasificatoare SVM binare neliniare (2)

Ilustrare a procesului de proiectie a datelor intr-un spatiu inalt dimensional si
deducere a hiperplanului separator optimal in acest spatiu:

Hiperplan separator
optimal in R
M
Proiectia hiperplanului
separator optimal in
R
F
; functia f(x)=0.

Metode si sisteme de analiza si interpretare a imaginilor (MSAII) Curs 10
Clasificatoare SVM binare neliniare (3)

n locul folosirii explicite a acestor produse i transformrii neliniare u, SVM
folosesc funcii-kernel , care implementeaza calculul:


Exemple de funcii-kernel n clasificatoarele SVM:
1) Funcia-kernel polinomial, de grad d, d ntreg pozitiv nenul:


unde: d = gradul polinomului; valori uzuale: 2,3,5 i 7; m, n = parametri cu
valori reale nenule, care reprezint coeficienii expresiei polinomiale. Uzual,
m=n=1.
2) Funcia-kernel exponenial (RBF)(=radial basis function):

unde reprezint parametrul cu valori reale pozitive nenule al funciei
Gaussiene.
9 9 9
F F
K :
( ) ( ) ( ) . ,..., 2 , 1 , , ,
trn j i j i
N j i K = u u = x x x x
( ) ( ) , ,
d
j
T
i j i
n m K + = x x x x
( ) , exp ,
2
)
`

=
j i j i
K x x x x
Metode si sisteme de analiza si interpretare a imaginilor (MSAII) Curs 10
Clasificatoare SVM binare neliniare (4)

n urma procesului de nvare al mainii cu vectori suport neliniare, se obine
funcia de decizie (cu valori reale) a clasificatorului sub forma:


Clasificatoare SVM cu relaxarea marginii (soft
margin SVM classifiers) (1)

Relaxarea marginii relaxarea constrangerilor (care cereau ca datele de
antrenare sa cada strict si neaparat in afara marginii) prin introducerea unor
variabile de relaxare (slack variables) s
i
>0, i=1,2,, N
trn
asociate datelor de
antrenare, cu care datele se pot deplasa fata de margine:


( ) , , ) (
1
b K y f
S
N
i
i i i
+

o =
=
x x x
. ,..., 2 , 1 ,
1 pentru , 1
1 pentru , 1
trn
i i i
T
i i i
T
N i
y s b
y s b
=

= + s +
+ = > +
x w
x w
Metode si sisteme de analiza si interpretare a imaginilor (MSAII) Curs 10
Clasificatoare SVM cu relaxarea marginii (soft
margin SVM classifiers) (2)

Totusi, dorim ca datele aflate la distanta mai mica decat marginea/2 de
hiperplanul separator optimal sa nu fie in numar foarte mare => introducem in
functia de optimizat un termen de penalizare, care sa penalizeze plasarea
datelor de antrenare de partea gresita a hiperplanelor-limita:


unde C = parametru; ideal C cat mai mare

Problema de optimizare in SVM cu relaxarea marginii:

Minimizeaza functia

cu constrangerile de inegalitate:
,
1

=
trn
N
i
i
s C
,
2
1

+
=
trn
N
i
i
T
s C
w w
( ) . ,..., 2 , 1 , 1
trn i i
T
i
N i s b y = > + x w
Metode si sisteme de analiza si interpretare a imaginilor (MSAII) Curs 10