Algoritmi i metode inteligente cu

aplicaii n electronic i
biomedicin
Volumul I

Dan-Marius Dobrea, Monica-Claudia Dobrea

Editura Cermi
Iai, Romnia, 2009

EDITURA CERMI
ROMANIA, 700141, Iasi, str. Curelari nr. 16,
Tel.:+40-723-136640, Tel/Fax.:+40-232-316604
Editur acreditat de CNCSIS Bucureti 181/

Descrierea CIP a Bibliotecii Naionale a Romniei:

Consilier editorial:

Secretar editorial:

II

Cuprins
1. Introducere ............................................................................................... 1
2. Limitri i particulariti cognitive ale procesului de
achiziionare a informaiei...................................................................... 3
3. Faze de lucru n recunoaterea de pattern-uri ....................................... 5
3.1. Blocul de achiziie a datelor......................................................................................... 5
3.2. Blocul de preprocesare/procesare ................................................................................ 6
3.3. Blocul de extragere a trsturilor ................................................................................. 7
3.4. Clusterizarea .............................................................................................................. 10
3.5. Clasificarea ................................................................................................................ 12
3.5.1. Introducere.......................................................................................................... 12
3.5.2. Funcii discriminant ............................................................................................ 13
3.5.3. Suprafaa de decizie ............................................................................................ 15
3.5.4. Metrica................................................................................................................ 16

4. Clasificatori elementari ......................................................................... 19

4.1. Clasificatorul de tip ablon ........................................................................................ 19
4.2. Clasificatorul de minim distan .............................................................................. 21
4.3. Limitri ale clasificatorilor simpli.............................................................................. 24
4.3.1. Trsturile pot fi inadecvat alese pentru procesul de clasificare......................... 25
4.3.2. Trsturile alese sunt corelate............................................................................. 25
4.3.3. Suprafeele de decizie nu sunt liniare ................................................................. 27
4.3.4. Numrul de clase este necunoscut ...................................................................... 27
4.3.5. Existena unor subclase distincte n setul de date ............................................... 29
4.3.6. Spaiul trsturilor este prea complex................................................................. 29

5. Elemente de statistic............................................................................. 31
5.1. Introducere ................................................................................................................. 31
5.2. Elemente fundamentale de statistic .......................................................................... 34
5.3. Variabile aleatoare ..................................................................................................... 50
5.4. Vectori aleatori .......................................................................................................... 56
5.4.1. Noiunea de vector aleator real ........................................................................... 56
5.4.2. Funciile de repartiie i densitate pentru un vector aleator ................................ 57
1. Funcia de repartiie a unui vector aleator....................................................... 57
2. Funcia densitate i funcia mas de probabilitate a unui vector aleator ......... 58
5.4.3. Funciile de distribuie i densitate comune pentru doi vectori aleatori.............. 65
5.4.4. Comparaie ntre variabilele aleatoare discrete i cele continue ......................... 68
5.4.5. Probabilitatea condiionat. Regula produsului, a sumei i teorema lui Bayes... 74
1. Probabilitatea condiionat.............................................................................. 74
2. Regula produsului i regula sumei ................................................................. 78
3. Teorema lui Bayes .......................................................................................... 82
5.4.6. Funciile de distribuie i de densitate condiionat ............................................ 92
1. Distribuia de probabilitate condiionat......................................................... 92
2. Funciile distribuie i densitate condiionate pentru vectori aleatori.............. 97
5.4.7. Independena vectorilor i variabilelor aleatoare .............................................. 103

III

5.5. Estimatori statistici i momente ............................................................................... 109

5.5.1. Procesul estimrii statistice............................................................................... 110
1. Estimarea parametric................................................................................... 111
Estimarea parametric a densitii de probabilitate ................................... 111
Estimarea parametric punctual clasic.............................................. 113
Estimarea parametric punctual Bayes-ian ....................................... 119
Estimarea parametric a funciei de regresie .............................................. 126
Estimarea neliniar n sensul erorii medii ptratice minime ................ 129
Estimarea liniar n sensul erorii medii ptratice minime .................... 130
Estimarea parametric a unui semnal ......................................................... 132
2. Estimarea neparametric i semiparametric ................................................ 133
Modelele neparametrice............................................................................... 134
Modele semiparametrice.............................................................................. 137
Histograma................................................................................................... 138
5.5.2. Momentele unui vector aleator ......................................................................... 141
1. Momentele n analiza statistic. Funcii caracteristice.................................. 142
2. Momentul de ordin nti ............................................................................... 149
3. Momente de ordin doi................................................................................... 151
Matricea de corelaie i de covarian......................................................... 152
Covariana ntre dou variabile aleatoare .................................................. 154
Matricea de cros-corelaie i cros-covarian ............................................. 161
Proprieti ale momentelor statistice de ordin doi....................................... 162
5.5.3. Estimarea parametrilor statistici din setul de date............................................. 164
1. Estimarea momentelor statistice pentru un vector aleator ............................ 165
2. Estimarea momentelor statistice comune pentru doi vectori aleatori............ 166
3. Estimarea momentelor statistice din matricea setului de date....................... 166
5.5.4. Coeficientul de corelaie ................................................................................... 169
5.5.5. Funcia de coeren spectral ............................................................................ 175
5.6. Funcii densitate de probabilitate clasice ................................................................. 178
5.6.1. Introducere........................................................................................................ 178
5.6.2. Funcia densitate de probabilitate gauss-ian ................................................... 178
5.6.3. Funcia densitate de probabilitate uniform...................................................... 183
5.7. Aplicaii ................................................................................................................... 184
5.7.1. Analiza rspunsurilor corticale ......................................................................... 184
1. Activitatea spontan...................................................................................... 184
2. Rspunsurile evocate .................................................................................... 184
3. Rspunsurile induse ...................................................................................... 188
5.7.2. Analiza originii centrale a semnalului de tremur .............................................. 190
1. Introducere.................................................................................................... 190
2. Metodologia achiziiei setului de date .......................................................... 192
3. Analize i rezultate........................................................................................ 194
5.8. Probleme .................................................................................................................. 199

6. Transformri liniare ............................................................................ 203

6.1. Introducere ............................................................................................................... 203
6.2. Transformri liniare aplicate vectorilor aleatori....................................................... 206
6.3. Transformata unitar i aplicaiile ei........................................................................ 208
6.3.1. Definire transformat unitar............................................................................ 208
6.3.2. Diagonalizarea matricei de covarian cu ajutorul transformatei unitare.......... 209

IV

1. Vectori proprii i valori proprii..................................................................... 210

2. Diagonalizarea matricei de covarian.......................................................... 211
3. Proprietile transformatei unitare ................................................................ 213
4. Determinarea valorilor i vectorilor proprii .................................................. 214
6.3.3. Determinarea elipsoizilor de concentrare ......................................................... 217
6.3.4. Diagonalizarea matricii de corelaie ................................................................. 225
6.3.5. Utilizarea descompunerii n valori singulare .................................................... 226
6.3.6. Transformata Karhunen-Leve......................................................................... 231
6.4. Transformata de nlbire .......................................................................................... 236
6.4.1. Introducere........................................................................................................ 236
6.4.2. Transformata de nlbire................................................................................... 237
6.5. Diagonalizri simultane ale matricilor de covarian aferente la
dou clase distincte ................................................................................................. 239
6.6. Transformata inferior-superior triunghiular ........................................................... 243
6.6.1. Descompunerea n matrici inferior-superior triunghiulare................................ 243
6.6.2. Descompunerea Cholesky ................................................................................. 245
6.6.3. Interpretarea descompunerii LU i aplicaii...................................................... 256
1. Calculul determinanilor matricelor de covarian........................................ 258
2. Calculul inversei unei matrici ....................................................................... 258
6.6.4. Utilizarea metodei de factorizare QR................................................................ 259
1. Introducere.................................................................................................... 259
2. Obinerea transformatei QR prin metoda GramSchmidt............................. 260
3. Obinerea descompunerii LU prin factorizarea QR ...................................... 263
6.6.5. Descompunerea superior-inferior triunghiular................................................ 264
6.7. Probleme .................................................................................................................. 265

7. Clasificatori statistici ........................................................................... 269

7.1. Clasificatorul bazat pe metrica Mahalanobis ........................................................... 269
7.1.1. Distana standardizat ....................................................................................... 269
1. Caracterizarea statistic a unei clase............................................................. 269
2. Definiia distanei standardizate.................................................................... 270
7.1.2. Metrica Mahalanobis ........................................................................................ 272
7.1.3. Clasificatorul Mahalanobis ............................................................................... 274
7.1.4. Avantaje i dezavantaje ale clasificatorului Mahalanobis................................. 275
7.2. Clasificatorul Bayes-ian ........................................................................................... 280
7.2.1 Alegerea optim a suprafeei de decizie bazat pe modelul statistic al datelor. 280
7.2.2 Regula de decizie .............................................................................................. 291
7.2.3 Eroarea de clasificare........................................................................................ 292
7.2.4. Un exemplu bidimensional de recunoatere de pattern-uri............................... 295
7.2.5. Sensibilitatea funciilor discriminant funcie de mrimea setului de date......... 302
7.2.6. Selecia trsturilor bazat pe funcia densitate de probabilitate posterioar.... 305
7.3. Probleme .................................................................................................................. 307

8. Metode neparametrice de estimare i clasificare .............................. 311

8.1. Estimarea neparametric a densitii de probabilitate.............................................. 311
8.1.1. Construirea unui estimator punctual ................................................................. 312
8.1.2. Cteva discuii privind alegerea volumului V................................................... 313
8.2. Estimarea cu ferestre Parzen .................................................................................... 315
8.2.1. Metoda de estimare........................................................................................... 315

8.2.2. Nucleul estimatorului, fereastra Parzen ............................................................ 316

8.2.3. Proprieti ale funciei nucleu ........................................................................... 319
8.3. Estimarea densitii pe baza celor mai apropiate k-eantioane ................................ 328
8.4. Regula de clasificare utiliznd metoda k-NN n ipoteza binar (dou clase) ........... 329
8.5. Clasificarea pe baza celui mai apropiat eantion (NN)............................................. 330
8.6. Clasificarea pe baza celor mai apropiate k eantioane n ipoteza multipl (M>2) ... 336
8.7. Evaluarea probabilitii de eroare pentru algoritmul k-NN...................................... 342
8.7.1. Probabilitatea de eroare pentru regula de decizie pe baza celui mai apropiat
eantion (NN) n ipoteza existenei a dou clase. ............................................. 343
8.7.2. Probabilitatea de eroare pentru regula de decizie pe baza celor mai
apropiat eantion (NN) pentru C clase.............................................................. 344
8.8. Probleme .................................................................................................................. 345

9. Modelarea seriilor de timp .................................................................. 349

9.1. Modelarea unei serii de timp prin intermediul coeficienilor de predicie liniar .... 349
9.2. Modelarea autoregresiv Yule-Walker .................................................................... 354
9.3. Determinarea numrului optim de coeficieni ai modelului..................................... 361
9.3.1. Funcia de autocorelaie .................................................................................... 362
9.3.2. Utilizarea erorii de aproximare n determinarea ordinului filtrului................... 367
9.4. Algoritmul Levinson-Durbin ................................................................................... 367

10. Rezolvri probleme ........................................................................... 375

Anexe
Anexa: Axiomele probabilitii....................................................................................... 399
Anexa: Proprietile funciei distribuie de probabilitate ................................................ 299
Anexa: Axiomele probabilitii....................................................................................... 401
Anexa: Regula multiplicrii/factorizrii/lanului ............................................................ 401
Anexa: Dualitatea eveniment-mulime ........................................................................... 402
Anexa: Interpretarea noiunii de probabilitate ................................................................ 403
Anexa: Explicarea probabilitilor din Problema 5.14.................................................... 406
Anexa: Funcia densitate condiionat ............................................................................ 410
Anexa: Bayes pentru vectori aleatorii continui............................................................... 412
Anexa: Evenimente indpendente .................................................................................... 412
Anexa: Relaii matematice fundamentale ....................................................................... 413
Matrici .................................................................................................................... 413
Urma unei matrici................................................................................................... 414
Determinani........................................................................................................... 415
Anexa: Analiza raportul semnal/zgomot pentru un convertor ideal................................ 416
Anexa: Funciile de repartiie i de densitate pentru vectori aleatori compleci ............. 419
Anexa: Funciile de distribuie i densitate comune pentru
doi vectori aleatori compleci ............................................................................ 420
Anexa: Funcii densitate de probabilitate Gauss-iene ..................................................... 422
Anexa: Repartiii remarcabile ......................................................................................... 423
Anexa: Teorema limit central...................................................................................... 424
Anexa: Predicie versus estimare .................................................................................... 427
Anexa: Vectori baz i funcii baz ................................................................................ 428
Anexa: Noiunea de semnal. Semnal staionar................................................................ 430
Anexa: Media aritmetic................................................................................................. 431
Anexa: Distribuii de verosimilitate................................................................................ 431

VI

Anexa: Transformata Fourier.......................................................................................... 432

Anexa: Polii funciei de transfer i valorile proprii......................................................... 433
Anexa: Descompunere matricial sub forma unei combinaii de vectori........................ 435
Anexa: Determinarea funciei de corelaie ntre ieirea i intrarea unui sistem .............. 436

Referine.................................................................................................... 439

VII

Prefa
Proiectarea i implementarea unui sistem complet de clasificare (pornind
de la senzorii utilizai n achiziionarea datelor i terminnd cu dispozitivul
direct comandat) este o provocare din toate punctele de vedere. Cartea de
fa abordeaz tocmai acest domeniu provocator i fascinant al sistemelor de
clasificare.
Aceast carte este, pentru noi autorii, acea carte pe care am fi vrut s o
avem la nceputurile carierelor noastre, atunci cnd fceam primii pai
timizi n dezvoltarea i implementarea acestor sisteme. Cartea de fa se
adreseaz att studenilor ct i cercettorilor dornici de a descoperi att
primele noiuni i concepte fundamentale legate de sistemele de clasificare,
dar i informaii i interpretri mai nuanate i subtile ce in de aceste
sisteme.
Totodat, dorina autorilor este ca aceast carte s fie n primul rnd una
puternic aplicativ, trecerea de la teorie la practic s fie una direct i
uoar. Din acest motiv cartea este nsoit de un CD n care se regsesc
codurile surs ale tuturor programelor prezentate n cadrul diferitelor
capitole i subcapitole. Parte din aceste programe sunt demonstrative,
artnd i evideniind diferite concepte i idei fundamentale. Dar, alte coduri
surs au fost dezvoltate n cadrul diferitelor granturi, analize i proiecte de
cercetare ale autorilor fiind introduse n cadrul crii dup o prealabil
cosmetizare a codurilor surs. Cea mai mare parte din aceste programe au
fost dezvoltate n LabWindows CVI (produs de compania National
Instruments) i doar cteva din ele n mediul Visual C++. Prin prezentarea
acestor coduri surs urmrim ca cititorii s aib la dispoziie toate acele
crmizi fundamentale necesare dezvoltrii propriilor proiecte i
programe si s nu mai piard timp preios n reinventarea roii. Utilizarea
mediului de dezvoltare LabWindows CVI (C for Virtual Instruments) s-a
impus i l recomandm cu cldur tuturor cititorilor n principal datorit
flexibilitii i uurinei de utilizare a acestui mediu de dezvoltare dar i a
existenei unei biblioteci, Advance Analysis, ce pune la dispoziia
doritorilor o gam larg de funcii necesare diferitelor procesri de semnale
(filtrri, diferite transformate fundamentale, interpolri etc.), msurri i
manipulri de vectori i matrici indispensabile i fundamentale acestui
domeniu. Tot pe acest CD se gsesc i seturile de date utilizate n cadrul
crii precum i alte seturi de date ce pot fi utilizate cu programele
prezentate sau cu alte programe dezvoltate de ctre cititor.
Dorina autorilor este ca toate informaiile, algoritmii, proprietile
diferitelor funcii etc. s fie nelese n principal n mod intuitiv i ulterior
VIII

la nivelul relaiilor matematice ce le descriu, nelegerea intuitiv facilitnd

i potennd conceptele fundamentale descrise n relaiile matematice. Din
aceast dorin, de nelegere intuitiv a acestor cunotine, n cadrul crii
au fost inserate un numr foarte mare de figuri, observaii, exerciii,
probleme (parte din ele, cele mai importante i cele fundamentale n
explicarea noiunilor au fost rezolvate chiar n cadrul capitolelor i
subcapitolelor din cadrul crii, iar o alt parte din ele la sfritul crii) i
aplicaii practice.
Pe parcursul ntregii cri am urmrit, de asemenea, o prezentare
matematic riguroas a informaiilor, insistnd cu precdere pe noiunile
fundamentale. nelegerea acestor noiuni fundamentale este necesar pentru
o corect fundamentare ulterioar a ntregii materii i a tuturor noiunilor
ulterioare.
Anexele acestei cri sunt un material suport n care se prezint att
noiuni fundamentale (de exemplu se reamintiesc anumite noiuni, necesare
rezolvrii anumitor probleme din cadrul crii) dar au i un scop de
aprofundare a noiunilor prezentate n cadrul crii, pentru toi acei cititori
interesai n nelegerea i deosebirea diferitelor nuane i posibile
interpretri ale diferitelor aspecte teoretice i practice tratate.

IX

Mulumiri
Dorim s mulumim n primul rnd prinilor notri care ne-au dat via
i ne-au ndrumat paii n aceast lume, nvndu-ne s deosebim adevrul
de minciun i inspirndu-ne: respectul i dragostea fa de munc i fa de
aproapele nostru, cinstea, perseverena, corectitudinea, dorina continu de a
ne autodepi i de a deveni mai buni pe toate planurile.
Dedicm aceast carte prinilor notri Victoria i Ion, tefana i
Tudorache.
Mulumim, de asemenea, i unchiului nostru Statnic Eugen care ne-a
susinut prin faptele, vorbele i gndurile sale i care ne susine i n
continuare. Menionm aici c el a fost primul care i-a ndrumat paii
primului autor al acestei cri nc ncepnd de la vrsta de 6-7 ani spre
domeniul fascinant al electronicii.
Mulumim, de asemeni, i tuturor profesorilor i colegilor notri care neau ndrumat, ajutat, sftuit i susinut, respectiv: domnului profesor M.
Ptreanu (de la fosta Casa Pionierilor din Oneti), domnului profesor H.N.
Teodorescu i domnului profesor D. Alexa (care ne-au ndrumat n perioada
cercetrilor doctorale), colegilor notri profesori I. Cleju, A. Sirbu i I.
Bogdan (pentru susinerea, suportul i tot ajutorul acordat de-a lungul
timpului).
Primul autor ine s i mulumeasc domnului Claudian Dumitriu pentru
tot suportul i ndrumarea acordat n via.
Al doilea autor le mulumete, n mod deosebit, fratelui, Florin erban i
soiei acestuia, Magdalena, pentru suportul moral i dragostea artat mereu
de-a lungul timpului.
Nu n ultimul rnd mulumim copiilor notri, Matei tefan i Mihail, care
fac din fiecare moment al vieii noastre o bucurie.