Sunteți pe pagina 1din 16

Metode si sisteme de analiza si

interpretare
a
imaginilor
Prezentari de curs sem. II 2011-

Metode si sisteme de analiza si interpretare a imaginilor (MSAII)

Curs 10

Curs 10 Clasificatoare masini cu vectori suport


(support vector machines, SVM)
Clasificatoare SVM binare

Metode si sisteme de analiza si interpretare a imaginilor (MSAII)

Curs 10

Clasificatoare SVM binare (1)


Notatii matematice:
- Spatiul trasaturilor: RF => F = dimensiunea spatiului trasaturilor
- Date de antrenare: Xtrn={xt,1, xt,2, , xt,Ntrn};
- Etichetele datelor de antrenare: Ytrn={yt,1,yt,2,,yt,Ntrn}, yt,i=+1 sau -1.

SVM = clasificator binar capabil sa separe datele in 2 clase:


a) clasa exemplelor pozitive, etichetate cu +1, pentru o problema de
clasificare data (ex.: clasa imaginilor faciale)
b) clasa exemplelor negative, etichetate cu -1, pentru problema de
clasificare data = orice alt tip de date decat cele pozitive (ex.: orice alta
imagine decat o imagine faciala)

Metode si sisteme de analiza si interpretare a imaginilor (MSAII)

Curs 10

Clasificatoare SVM binare (2)


=> SVM clasifica datele in exemple pozitive si exemple
negative intr-o clasa C si o clasa non-C.

Principiul de separare a datelor in cele 2 clase in clasificatorul


SVM binar:
separarea datelor de catre un hiperplan separator optimal H, care
separa exemplele din cele doua clase fara eroare si cu margine
maxima = cu distanta maxima de la cel mai apropiat exemplu
pozitiv la H si de la cel mai apropiat exemplu negativ la H .

Metode si sisteme de analiza si interpretare a imaginilor (MSAII)

Curs 10

Clasificatoare SVM binare (3)


Exemple pozitive
Exemple negative
1. Generarea
fisierului de
antrenare al
SVM:

2. Antrenare
SVM
=>
hiperplanul
separator
optim:

3. Etichetarea obiectelor
necunoscute:
x

MVS

f(x)

f (x) 0 clasa 2
L

f x i y i K x, x i b
i 1

Metode si sisteme de analiza si interpretare a imaginilor (MSAII)

Curs 10

Clasificatoare SVM binare (5)

Dupa separabilitatea liniara a datelor in spatiul trasaturilor:


(1) Clasificatoare SVM liniare => utilizate atunci cand datele
de antrenare sunt liniar separabile in spatiul trasaturilor RF
(2) Clasificatoare SVM neliniare => utilizate atunci cand
datele de antrenare nu sunt liniar separabile in spatiul trasaturilor
RF

(3) Clasificatoare SVM cu relaxarea marginii (soft margin


SVM classifiers) => utilizate atunci cand datele de antrenare nu
pot fi separate fara eroare, dar admitem anumite erori in setul de
antrenare in urma clasificarii (ex. daca suspectam ca unele date
de antrenare sunt zgomotoase sau gresit etichetate sau atipice)

Metode si sisteme de analiza si interpretare a imaginilor (MSAII)

Curs 10

Clasificatoare SVM binare liniare (1)


- Etapa de antrenare

Procesul de nvare al SVM = gsirea parametrilor unui hiperplan


H0 in RF care:
s separe perfect exemplele pozitive de cele negative din X trn
in RF
s maximizeze marginea s maximizeze distana celui
mai apropiat exemplu pozitiv i distana celui mai apropiat
exemplu negativ la hiperplanul H0.
Hiperplan separator
optimal H0

Metode si sisteme de analiza si interpretare a imaginilor (MSAII)

Curs 10

Clasificatoare SVM binare liniare (2)

Este posibil definirea mai multor hiperplane care s separe perfect datele din
mulimea de antrenare : H0, H'0, H''0.

Doar hiperplanul H0 d distana maxim de la cel mai apropiat exemplu


pozitiv i cel mai apropiat exemplu negativ la hiperplan => H0 = hiperplan
separator optimal
Hiperplanul separator optimal este paralel cu hiperplanele-limit
H1 i H2din
, fiind
Vectori-suport
clasa
exemplelor pozitive
situat la mijlocul distanei dintre ele.

H0 = hiperplanul
separator optimal
= media
hiperplanelor limita
definite de vectorii
suport: H1, H2

margine

Principiul separrii datelor n procesul de clasificare binar n maina cu vectori


suport

Vectori-suport din clasa exemplelor negative

Metode si sisteme de analiza si interpretare a imaginilor (MSAII)

Curs 10

Clasificatoare SVM binare liniare (3)

H1, H2 = hiperplanele cu proprietatea c, nici una din datele de antrenare nu


cade ntre ele, dar exist date de antrenare i pe H1, i pe H2.

Datele de antrenare situate pe H1 si H2 = vectorii suport ai SVM.

Vectorii support = singurele date necesare pentru definirea SVM, deoarece


permit definirea univoc a H0:
Vectorii suport formai din exemple de antrenare pozitive definesc complet ecuaia
hiperplanului H1
Vectorii suport formai din exemple de antrenare negative definesc complet ecuaia
hiperplanului H2
Odat definite H1 si H2 prin ecuaiile lor matematice => ecuaia matematic a
hiperplanului separator optimal H0 se poate defini prin "media" ecuaiilor hiperplanelor
H1 i H2, respectiv, prin ecuaia acelui hiperplan care este paralel i cu H1, i cu H2,
i este amplasat exact la mijlocul distanei dintre ele.

Pentru exemplul din fig. anterioara, avem cte dou exemple din fiecare clas
aflate pe hiperplanele-limit => numrul de vectori suport = 4 (2 vectori suport
cu eticheta +1; 2 vectori suport cu eticheta 1).

Metode si sisteme de analiza si interpretare a imaginilor (MSAII)

Curs 10

Clasificatoare SVM binare liniare (4)

Ecuaia matematic a hiperplanului H0 n spaiul RF al datelor se exprim ca:

H 0 : wT x b 0

unde w = vectorul normal la hiperplan; b = termenul liber al hiperplanului.


Suma distanelor celui mai apropiat exemplu negativ la hiperplanul H0 i a celui
mai apropiat exemplu pozitiv la hiperplanul H0 este dat de expresia 2
i se
w
w
numete margine.
= norma Euclidian a vectorului w.
Problema antrenrii SVM = deducerea parametrilor w i b ai hiperplanului
separator optimal H0 astfel nct marginea s fie maximizat, iar exemplele
pozitive i negative s respecte constrngerile ca nici unul dintre ele s nu
"cad" n interiorul marginii de separare a claselor, adic, s nu fie amplasate
ntre hiperplanele-limit
H1 i H2:
T

w x i b 1, pentru y i 1
, i 1,2,...., N trn .
T
w x i b 1, pentru y i 1

Metode si sisteme de analiza si interpretare a imaginilor (MSAII)

Curs 10

Clasificatoare SVM binare liniare (5)

Problema de maximizare a marginii cu constrngeri de tip inecuatie se poate


rezolva cu ajutorul multiplicatorilor Lagrange.
Datele xk din mulimea de antrenare pentru care, n urma procesului de
optimizare, se obin multiplicatori Lagrange k=0 nu vor interveni n expresia
matematic a funciei de decizie a clasificatorului main cu vectori suport.
Celelalte date, pentru care obinem multiplicatori Lagrange nenuli, definesc
ecuaia hiperplanului H0. Aceste date de antrenare sunt exact vectorii suport ai
clasificatorului, adic, datele din mulimea de antrenare care definesc cele dou
hiperplane-limit H1 i H2. Fie NS = nr. vectorilor support, NS>0 i NSNtrn.
Vectorii suport, etichetele lor, valorile multiplicatorilor lor Lagrange asociai i
valoarea termenului liber b al hiperplanului deduse n urma procedurii de
optimizare sunt suficieni pentru a defini complet maina cu vectori suport
Ecuaia hiperplanului separator optimal H0 al mainii cu vectori suport definete
funcia de decizieN a clasificatorului main cu vectori suport, n urmtoarea
S
form:
f ( x ) i y i x T x i b,
y f ' (x) sign f ( x) .
i 1
sau

Metode si sisteme de analiza si interpretare a imaginilor (MSAII)

Curs 10

Clasificatoare SVM binare neliniare (1)

Daca datele de antrenare nu sunt separabile fr eroare printr-un hiperplan


n domeniul lor original => SVM proiecteaz datele din spaiul ntr-un spaiu
Hilbert de dimensiune mai nalt RM, cu M>F, folosind pentru proiecie o
transformare neliniar , : F M
n noul spaiu, datele devin mai distanate i vor fi mai uor de separat liniar =>
SVM construiete n faza de antrenare hiperplanul separator optimal n noul
spaiu RM, dat de ecuaia:

H 0 : wT x b 0

ca orice SVM liniar, dar nu in RF ci in RM.


Similar SVM liniar, in expresia finala a functiei de decizie f(x), datele intervin
prin produsele lor scalare in RM:

T x i x , i 1,2,..., N S

Metode si sisteme de analiza si interpretare a imaginilor (MSAII)

Curs 10

Clasificatoare SVM binare neliniare (2)

Ilustrare a procesului de proiectie a datelor intr-un spatiu inalt dimensional si


deducere a hiperplanului separator optimal in acest spatiu:

Proiectia hiperplanului
separator optimal in
RF; functia f(x)=0.

Hiperplan separator
optimal in RM

Metode si sisteme de analiza si interpretare a imaginilor (MSAII)

Curs 10

Clasificatoare SVM binare neliniare (3)

n locul folosirii explicite a acestor produse i transformrii neliniare , SVM


folosesc funcii-kernel K : F F
, care implementeaza calculul:

K x i , x j x i x j , i, j 1,2,..., N trn .

Exemple de funcii-kernel n clasificatoarele SVM:


1)Funcia-kernel polinomial, de grad d, d ntreg pozitiv nenul:

K xi , x j m xiT x j n ,

unde: d = gradul polinomului; valori uzuale: 2,3,5 i 7; m, n = parametri cu


valori reale nenule, care reprezint coeficienii expresiei polinomiale. Uzual,
m=n=1.
2)Funcia-kernel exponenial (RBF)(=radial
basis function):
2

K x i , x j exp x i x j ,

unde reprezint parametrul cu valori reale pozitive nenule al funciei


Gaussiene.

Metode si sisteme de analiza si interpretare a imaginilor (MSAII)

Curs 10

Clasificatoare SVM binare neliniare (4)

n urma procesului de nvare al mainii cu vectori suport neliniare, se obine


funcia de decizie (cu valori reale) a clasificatorului sub forma:
NS

f (x) i y i K x, x i b,
i 1

Clasificatoare SVM cu relaxarea marginii (soft


margin SVM classifiers) (1)

Relaxarea marginii relaxarea constrangerilor (care cereau ca datele de


antrenare sa cada strict si neaparat in afara marginii) prin introducerea unor
variabile de relaxare (slack variables) si>0, i=1,2,, Ntrn asociate datelor de
antrenare, cu care datele se pot deplasa fata de margine:
wT xi b 1 si , pentru yi 1
, i 1,2,..., N trn .
T
w xi b 1 si , pentru yi 1

Metode si sisteme de analiza si interpretare a imaginilor (MSAII)

Curs 10

Clasificatoare SVM cu relaxarea marginii (soft


margin SVM classifiers) (2)

Totusi, dorim ca datele aflate la distanta mai mica decat marginea/2 de


hiperplanul separator optimal sa nu fie in numar foarte mare => introducem in
functia de optimizat un termen de penalizare, care sa penalizeze plasarea
datelor de antrenare de partea gresita a hiperplanelor-limita:
N trn

C si ,
i 1

unde C = parametru; ideal C cat mai mare

Problema de optimizare in SVM cu relaxarea marginii:


N trn
wT w
C si ,
Minimizeaza functia
2
i 1

T
y
w
xi b 1 si , i 1,2,..., N trn .
cu constrangerile de inegalitate: i