Maini cu suport

vectorial
&
Mulimi rough

Introducere
O clas special de reele neuronale de tip
feedforward este reprezentat de mainile cu
suport vectorial (Support Vector Machines
SVM);
SVM-urile sunt bazate pe teoria nvrii
statistice (statistical learning theory -SLT);
Pionieri SVM: Vapnik, Boser i Guyon -1992|
Cortes i Vapnik -1995| Vapnik -1995, 1998.
2

Paradigma SVM

(C) Vipin Kumar, Parallel Issues in Data

Mining, VECPAR 2002

Paradigma SVM
Spaiu input de dimensiune doi, n care un
obiect este notat cu x = (x1, x2).
Exist dou clase de obiecte:
cele pozitive (decizie d = +1), care se gsesc n
interiorul cercului;
cele negative (decizie d = -1), care se gsesc n
afara cercului.

Se observ ca nu exist o separaie liniar

ntre cele dou mulimi de obiecte.
4

Paradigma SVM
Vom aplica spaiul input (x) de dimensiune doi
n alt spaiu (al caracteristicilor) (z), de
dimensiune trei (superioar), printr-o aplicaie z
= g(x), dat de:

In noul spaiu tri-dimensional (z), obiectele

transformate sunt liniar separabile.
5

Paradigma SVM

(C) Vipin Kumar, Parallel Issues in Data

Mining, VECPAR 2002

Paradigma SVM
Dac proiectm acest spaiu pe primele dou
axe, obinem imaginea de detaliu din figura de
mai jos, n care separatorul este o dreapt.
Cele mai apropiate puncte vectorii suport
sunt marcai cu cerculee.
Marginea de separaie (margin of separation),
care este limea benzii centrat pe separatorul
liniar, introduce o distan (separ) ntre
obiectele pozitive i cele negative.
7

Paradigma SVM

(C) Vipin Kumar, Parallel Issues in Data

Mining, VECPAR 2002

SVM (schema generala)

SVM (schema generala)

Conceptual, funcionarea SVM-urilor (mainilor
cu nucleu, n general) se bazeaz pe urmtorii
doi pai, ilustrai n figura de mai sus:
Aplicarea (neliniar) a spaiului input ntr-un spaiu
de dimensiune mare spaiul caracteristicilor
(feature space) spaiu ascuns att pentru input
ct i pentru output;
Construirea unui hiperplan de separaie pentru
caracteristicile obinute la pasul anterior, pe baza
nucleului K, dat de
10

SVM (schema generala)

(C) Vipin Kumar, Parallel Issues in Data

Mining, VECPAR 2002

11

Mulimi rough
Mulimile rough (rough sets RS) au fost
propuse de ctre Zdzislaw Pawlak (1982), n
ncercarea de a trata matematic conceptele
vagi, principala lor menire fiind transformarea
automat a datelor n cunotine.
Ideea de baz n domeniul mulimilor rough
este aceea ca, plecnd de la o mulime de
obiecte, un set de atribute i valori de decizie,
s se poat crea reguli pentru gsirea
aproximrii superioar i inferioare, precum i
a regiunii de frontier (de margine) a unei
mulimi de obiecte.
12

Mulimi rough (schema)

Se utilizeaza o baza relaional de date X (i.e.
obiecte cu atribute i valori ale atributelor
pentru fiecare obiect).
Unul dintre atribute va fi ales ca atribut de
decizie (atribut dependent), n timp ce celelalte
atribute vor reprezenta atributele pe baza
crora se ia decizia (atribute predictive).

13

Mulimi rough (schema)

Se construiesc aproximrile: (a) inferioar
(lower approximation) i (b) superioar (upper
approximation) ale mulimii de obiecte X.
Aproximarea inferioar a lui X este o colecie de
obiecte care pot fi clasificate sigur ca membre
ale lui X (cu certitudine maxim).
Aproximarea superioar a lui X este o colecie
de obiecte care pot fi clasificate ca posibile
elemente ale lui X (cu incertitudine).
14

Mulimi rough (schema)

Se construiete apoi regiunea de frontier/
margine (boundary region) a lui X, cuprinznd
obiectele ce nu pot fi clasificate cu certitudine
nici n X, nici nafara lui X.
n final, plecnd de la redusul relativ (atributele
suficiente pentru decizie), se construiesc
regulile. Considernd acum un nou obiect,
necunoscut (i.e. fr valoare de decizie),
utiliznd regulile de decizie astfel construite,
acesta va fi clasificat (i.e. i se va atribui o
valoare de decizie).
15

Mulimi rough (schema)

(C) Vipin Kumar, Parallel Issues in Data

Mining, VECPAR 2002

16

Mulimi rough (exemplu)

17

Redus 1 = {Strnut, Temperatur}

18

Redus 2 = {Durere de cap, Temperatur}

19

ROSETTA

20

THANK YOU!

21