Neukart PDF

Universitatea Transilvania din Braşov
Şcoala Doctorală Interdisciplinară

Centrul de cercetare: Sisteme pentru controlul proceselor
Dipl. Ing. Florian NEUKART
INTELIGENŢA COMPUTAŢIONALĂ ÎN DATA

MINING ŞI CALCUL CUANTIC, PRECUM ŞI
CONSIDERAŢII PRIVIND VIITORUL
INTELIGENŢEI ARTIFICIALE
SYSTEM APPLYING HIGH ORDER

COMPUTATIONAL INTELLIGENCE IN DATA
MINING AND QUANTUM COMPUTATIONAL
CONSIDERATIONS ON THE FUTURE OF
ARTIFICIAL INTELLIGENCE
Coordonator ştiinţific
Prof. dr. ing. Sorin – Aurel MORARU
BRASOV, 2013
Inteligenţa computaţională în data mining şi calcul cuantic, precum şi consideraţii privind
viitorul inteligenţei artificiale
MINISTERUL EDUCAŢIEI NAŢIONALE

UNIVERSITATEA TRANSILAVIA DIN BRASOV
BRAŞOV, B-DUL EROILOR NR. 29, 500036, TEL. 0040-268-413000, FAX 0040-268-
410525
RECTORAT
D-lui (D-nei) ..............................................................................................................
COMPONENŢA
Comisia de doctorat
Numită de către Rectorul Universităţii “Transilvania” din Braşov
Nr. 5765 din 21.03.2013
Preşedinte: Conf. univ. dr. ing. Carmen GERIGAN

Facultatea de Inginerie Electrica şiŞtiinţa Calculatoarelor
Universitatea “Transilvania” din Braşov
Coordonator ştiinţific: Prof. univ.dr. ing. Sorin-Aurel MORARU
Universitatea “Transilvania“ din Braşov
Referenţi: Prof. univ. dr. ing. Theodor BORANGIU
Universitatea“Politehnica” din Bucureşti
Prof. univ. dr. ing. Nicolae ŢĂPUŞ
Universitatea“Politehnica” din Bucureşti
Conf. univ. dr. ing. Liviu PERNIU
Universitatea“Transilvania” din Braşov
Data, ora şi locul susţinerii publice a tezei de doctorat: 26.04.2013 ora 11, în Corpul
V al Universităţii “Transilvania”din Braşov, str. Mihai Viteazu nr.5, etajul III, sala V
III 9.
Eventualele aprecieri sau observaţii asupra conţinutului lucrării vă rugăm să le

transmiteţi în timp util, pe adresa florian.neukart@edu.campus02.at.
Totodată vă invităm să luaţi parte la şedinţa publică de susţinere a tezei de doctorat.
Vă mulţumim.
2
Inteligenţa computaţională în data mining şi calcul cuantic, precum şi consideraţii privind viitorul inteligenţei
artificiale
CUPRINS
Introducere ............................................................................................................................................. 6
1 Inteligenţă Computaţională : stadiul actual al cercetării.............................................................. 7
1.1 Definiţie ...................................................................................................................................... 7
1.2 Reţele artificiale neuronale ......................................................................................................... 8
1.2.1 Perceptron multistrat ........................................................................................................... 9
1.2.2 O reţea neuronală artificială de bază radială ..................................................................... 10
1.2.3 Reţea neuronală artificială recurentă ................................................................................. 10
1.3 Algoritmi de învăţare ................................................................................................................ 17
1.3.1 Propagarea înapoi .............................................................................................................. 17
1.3.2 Regula de actualizare Manhattan ...................................................................................... 18
1.3.3 Propagare rezistentă .......................................................................................................... 19
1.3.4 Învăţare genetică (neuro-evolutie) .................................................................................... 20
1.3.5 Simularea amorselor hibridizate........................................................................................ 22
2 Data mining: stadiul actual al cercetării ...................................................................................... 23
2.1 Datele procesului ...................................................................................................................... 23
2.2 Înţelegerea Business................................................................................................................. 23
2.3 Înţelegerea datelor..................................................................................................................... 23
2.4 Pregătirea .................................................................................................................................. 23
2.4.1 Definirea problemei .......................................................................................................... 24
2.4.2 Colectarea de date ............................................................................................................. 24
2.4.3 Definiţia caracteristicilor ................................................................................................... 24
2.4.4 Selectarea datelor .............................................................................................................. 24
2.5 Datele de pre-procesare............................................................................................................. 25
2.5.1 Filtrarea ............................................................................................................................. 25
2.5.2 Curăţare şi corectare .......................................................................................................... 26
2.6 Analiza (data mining) ............................................................................................................... 27
2.6.1 Cunoştinţe interesante ....................................................................................................... 28
2.6.2 Cunoaşterea precisă ........................................................................................................... 28
2.6.3 Cunoaşterea interpretabilă ................................................................................................. 28
2.6.4 Prelucrarea inteligentă ....................................................................................................... 28
2.6.5 Procesare eficientă ............................................................................................................ 29
2.6.6 Algoritmii şi funcţiile de căutare ....................................................................................... 29
3 Obiectivele cercetării de doctorat.................................................................................................. 31
4 Conceptul de reţele de structuri neuronale artificiale ................................................................. 34
4.1 Reţeaua neuronală artificială corticală ...................................................................................... 34
4.1.1 Structura ............................................................................................................................ 35
4.1.2 Reţele neuronale artificiale SHOCID corticale ................................................................. 37
4.1.3 Scop ................................................................................................................................... 38
4.1.4 Evoluţia ............................................................................................................................. 39
4.2 Reţeaua neuronală artificială recurentă SHOCID ..................................................................... 40
4.2.1 Structura ............................................................................................................................ 42
4.2.2 Scop ................................................................................................................................... 43
4.2.3 Evoluţia ............................................................................................................................. 46
4.3 Reţeaua neuronală artificială SHOCID „deep belief”.............................................................. 48
4.4 Structura .................................................................................................................................... 48
4.4.1 Procesarea ......................................................................................................................... 49
4.4.2 Scop ................................................................................................................................... 50
4.4.3 Evoluţia ............................................................................................................................. 50
4.5 Rezumat .................................................................................................................................... 52
5 Evoluţia concepută şi strategiile de învăţare ................................................................................ 52
5.1 Evoluţia structurală ................................................................................................................... 52
5.1.1 Fundamentele .................................................................................................................... 52
5.1.2 Algoritm ............................................................................................................................ 52
5.1.3 Determinarea generică a calităţii reţelei artificiale neuronale ........................................... 54
3
artificiale
5.1.4 Parametrizarea ................................................................................................................... 55

5.1.5 Utilizare ............................................................................................................................. 55
5.2 NeuroEvoluţia transgenetică ..................................................................................................... 56
5.2.1 Fundamentele .................................................................................................................... 56
5.2.2 Materialul genetic al gazdei .............................................................................................. 57
5.2.3 Endosimbiont .................................................................................................................... 58
5.2.4 Algoritm ............................................................................................................................ 58
5.2.5 Transfer genetic (secvenţă) orizontal (endosimbiotic) ...................................................... 59
5.2.6 Mutaţie transpozon ............................................................................................................ 59
5.2.7 Utilizare ............................................................................................................................. 59
5.3 Imunitatea artificială a sistemului-inspirat NeuroEvoluţie ....................................................... 61
5.3.1 Fundamentele .................................................................................................................... 61
5.3.2 Selecţia clonală şi hipermutaţiile somatic ......................................................................... 62
5.3.3 Teoria pericolului, atacul virusului şi hiperrecombinaţia .................................................. 62
5.3.4 Selecţia negativă................................................................................................................ 64
5.3.5 Algoritmul general ............................................................................................................ 65
5.3.6 Cauzalitatea ....................................................................................................................... 66
5.3.7 Utilizare ............................................................................................................................. 66
6 O abordare de calcul cuantic ......................................................................................................... 66
6.1.1 Sistemul cuanticelor .......................................................................................................... 66
6.1.2 Teoria cuantică .................................................................................................................. 66
6.1.3 Efecte cuantice .................................................................................................................. 67
6.2 Reţele neuronale artificiale cuantice ........................................................................................ 71
6.2.1 Structura ............................................................................................................................ 71
6.2.2 Biţii cuantici ...................................................................................................................... 72
6.2.3 Suprapunerea ..................................................................................................................... 72
6.2.4 Procesarea ......................................................................................................................... 73
6.2.5 Măsurarea .......................................................................................................................... 82
6.2.6 Implementări de reţele neuronale artificiale cuantice preconizate .................................... 84
7 Inteligenţă computaţională ce aplică ordine înaltă în sistem pentru achiziţii de date ............. 85
7.1 Inovaţii ...................................................................................................................................... 85
7.2 Structuri de reţele artificiale neuronale suportate ..................................................................... 85
7.2.1 Reţele artificiale neuronale feed-forward .......................................................................... 85
7.2.2 Reţele artificiale neuronale recurente feed-forward .......................................................... 86
7.2.3 Reţelele neuronale artificiale „Deep belife” ...................................................................... 86
7.2.4 Hărţi cu opţiune de auto-organizare .................................................................................. 86
7.3 Privire de ansamblu asupra arhitecturii ..................................................................................... 87
7.3.1 Interfaţa grafică pentru utilizatorr ..................................................................................... 87
7.3.2 Prelucrarea intrărilor / pregătirea de procesare backend ................................................... 88
7.3.3 Pre-procesarea ................................................................................................................... 88
7.3.4 Determinarea inteligentă a soluţiei .................................................................................... 88
7.4 Metode de prelucrare SHOCID ................................................................................................ 88
7.4.1 Clasificare ......................................................................................................................... 88
7.4.2 Predicţie prin serii de timp ................................................................................................ 89
7.4.3 Atribuirea Valorii .............................................................................................................. 90
7.4.4 Clustering-ul ...................................................................................................................... 91
7.5 Agenţi si tipuri de soluţii........................................................................................................... 91
7.5.1 Agent unic ......................................................................................................................... 91
7.5.2 Comitet democratic ........................................................................................................... 92
7.5.3 Agent unic de evoluţie....................................................................................................... 94
7.5.4 Comitet de evoluţie hibrid ................................................................................................. 95
7.5.5 Fişierul de informaţie al agentului .................................................................................... 96
8 Rezultate experimentale ................................................................................................................. 96
8.1 Opţiunea de testare Black-Scholes............................................................................................ 96
8.2 Evoluţie mică (tratament simulat de formare) agent unic 1 ...................................................... 96
8.3 Evoluţie mică (tratament simulat de formare) agent unic 2 ...................................................... 96
8.4 Agent unic cu NeuroEvoluţie transgenetică.............................................................................. 98
8.5 Agent unic cu procesare corticală ............................................................................................. 99
4
artificiale
8.6 RNA recurentă SHOCID ........................................................................................................ 100

8.7 Evoluţia (algoritm de formare genetic) ................................................................................... 101
8.8 NeuroEvoluţie inspirată de sistemul imunitar artificial .......................................................... 102
8.9 RNA-uri “Deep belief-like” .................................................................................................... 103
9 Concluzii ........................................................................................................................................ 103
9.1 Contribuţii originale ................................................................................................................ 103
9.1.1 Contribuţii teoretice ........................................................................................................ 103
9.1.2 Contribuţii tehnice ........................................................................................................... 106
9.1.3 Contribuţii practice.......................................................................................................... 106
9.2 Revizuirea ipotezelor .............................................................................................................. 107
9.3 Dezbateri ................................................................................................................................. 108
9.4 Direcţii de cercetare pentru viitor ........................................................................................... 109
Bibliografie ......................................................................................................................................... 110
Rezumat ………………………………………………………………………………………. 110
CURRICULUM VITAE ................................................................................................................... 117
5
artificiale
Introducere
În această lucrare este prezentat un sistem generic de extragere a datelor, menţionat ca şi “Sistem ce aplică
Inteligenţa Computaţională de nivel înalt în extragerea datelor ”( System applying High Order
Computaţional Intelligence in Data Mining‟ = SHOCID ). SHOCID a fost dezvoltat în perioada februarie -
octombrie 2012, pentru a demonstra funcţionalitatea paradigmelor în domeniul inteligenţei computaţionale,
propus de autor, şi folosit pentru rezolvarea problemelor nondeterministice cu timp polinomial.
Aceste propuneri cuprind aplicarea a trei tipuri noi de reţele artificiale neuronale pentru clasificareaşi
predicţia unor serii în funcţie de timp, comportându-se mai bine de cât reţelele neuronale artificiale
uzuale,feed-forward şi recursive, fiind independente de abordarea învăţării folosită în cele mai multe
cazuri. Pe lângă acestea, pentru căutări stocastice sistemul beneficiază de algoritmi inspiraţi din natură,
cum ar fi neuro-evoluţia transgenetică care simulează relaţia dintre un organism gazdăşi un endosimbiot
sau aplicarea operatorilor imunologici.
O altă secţiune importantă a lucrării explicăcum ar putea beneficia reţelele artificiale neuronale, de pe urma
calculatoarelor cuantice. Se propune o paradigmă cuantică de reţele neuronale artificiale în algoritmi
potriviţi pentru computere bazate pe arhitecturi von Neumann care vizează aplicarea pe un computer
cuantic. Mai mult decât atât, se aplică un tip nou de algoritm metaheuristic pentru modificarea nu numai a
ponderilor, dar, şi a arhitecturii feed-forward şi recurenţa feed-forward a reţelelor neuronale artificiale în
timpul fazei de formare. Alte noutăţi în domeniu includ retele neuronale artificiale deep belief-like care
permit formarea eficientă a arhitecturii deep architectures, şi recurenţa sistemului SHOCID pentru predicţia
temporală a seriilor.
Avantajele sistemului sunt punerea în aplicare a noului tip de algoritm pentru determinarea calităţii unei
reţele neuronale artificiale, precum şi determinarea pe partea sistemului de funcţii de activare a neuronilor
utilizaţi în cadrul unei reţele neuronale artificiale. SHOCID nu face doar extragere complexă de date şi
tehnici inteligente de computaţie ci în funcţie de problemă, sistemul este capabil să combine tehnici şi într-
o oarecare măsură, să decidă pe cont propriu, care strategie se potriveşte mai bine .
Inovaţiile menţionate se concentrează pe genericitate şi orientare pe rezultate pentru evidenţierea scopului
proiectului de cercetare: furnizarea tehnicilor avansate de inteligenţă artificială pentru extragerea datelor
din probleme complexe.
Teza de doctorat este compusă din 9 capitole :
Capitolul 1 particularizează conceptele fundamentale şi stadiul actual al cercetărilor în domeniul
inteligenţei computaţionale. Accentul este pus pe paradigme de inteligenţă computaţională pentru
extragerea datelor.
Capitolul 2 particularizează conceptele fundamentale şi stadiul actual al cercetărilordin domeniul
extragerii de date. Este stabilită o legătură între inteligenţă computaţională şi extragerea datelor.
Capitolul 3 oferă o imagine de ansamblu a obiectivelor propuse pentru teza de doctorat.
Capitolul 4 cuprinde elaborarea ştiinţifică a abordărilor şi conceptelor nou create în domeniul reţelelor
neuronale artificiale, urmate de descrierea realizării acestora în prototipul sistemului. Acestea sunt reţelele
neuronale artificiale, SHOCID recurent, cortical şi deep-belief like.
Capitolul 5 conţine elaborarea ştiinţifică a abordărilor nou concepute de învăţare şi de formare pentru
reţele neuronale artificiale, precum şi descrierea de realizare a acestora în prototipul sistemului. În plus,
este explicată în detaliu evoluţia structurală SHOCID ca un mecanism de sprijin în procesul de învăţare.
Este introdusăo abordare generică pentru determinarea calităţii reţelelor neuronale artificiale.
Capitolul 6 descrie atât o posibilă punere în aplicare a unei reţele neuronale artificiale cuantica, teoretic
funcţionând pe un computer cuantic, precum şi abordări pentru măsurarea unui astfel de sistem,
determinând astfel configuraţia dorită, care este complet diferită de abordările de învăţare de pe
calculatoarele von Neumann.
Capitolul 7 descrie şi particularizează sistemul SHOCID punând accent pe contribuţiile la domeniile de
inteligenţă computaţională şi extragerea datelor făcute în timpul fazei de cercetare şi dezvoltare a tezei.
Sunt prezentate în detaliu interfaţa grafică pentru utilizator, interacţiunea utilizatorului cu sistemul,tipurile
soluţiilor sistemului şi abordările de invătare.Capitolul 8 conţine rezultatele experimentale obţinute prin
compararea abordărilor nou dezvoltate, cu cele deja existente, prin SHOCID. Pentru fiecare din rezultatele
6
artificiale
experimentale obtinute sistemului iau fost furnizate date de formare ale structurii, de la simplu la complex.
Obiectivul principal a fost de a demonstra precizia şi performanţa abordărilor şi paradigmelor introduse.
Capitolul 9 cuprinde concluziile, contribuţiile originale (teoretice, tehnice şi practice), activităţile de
diseminare a rezultatelor cercetării şi a direcţiilor viitoare de cercetare.
1 Inteligenţă Computaţională : stadiul actual al cercetării

1.1 Definiţie
Tehnicile de inteligenţă computaţională au cunoscut o dezvoltare în ultimele câteva decade şi de asemenea
a câştigat popularitate în domenii practice cum ar fi: control,căutare şi optimizare, extragerea datelor,
reprezentarea cunoştinţelor, procesarea semnalelor şi robotică.1Cu toate acestea, atunci când vorbim despre
aplicarea paradigmelor-IC, în capitolele ulterioare, trebuie să fie clar definit, ce înseamnă termenul CI în
domeniul DM. Termenul în sine este extrem de controversat în cercetare şi utilizat în maniere diferite. În
general, Fulcher et al. şi Karplus oferă definiţii larg acceptate, care sunt, de asemenea, potrivite în contextul
acestei elaborări:
Metode inspirate de natura + date din lumea reală (invătare) = inteligenţă computaţională.2
CI substituie calculul intensiv , cu o perspectivă asupra modului in care lucrează sistemul.
O altă definiţie a inteligenţei computaţionale subliniază capacitatea de a învăţa, de a face faţă unor
situaţii noi, şi de a avea raţiune.3
Un sistem software de CI nu constă numai din reguli de afaceri statice, cuprinde capacitatea de a se adapta
la o problemă, să înveţe să se comporte. Comportamentul este important în acest context, deoarece un
termen mai potrivit pentru funcţionalitatea unui sistem evolutiv, de exemplu, ANN poate fi într-adevăr,
dezvoltat de o persoană, dar aceeaşi persoană nu ştie ce se întâmplă exact în cadrul unui ANN care învaţă
sau care rezolvă o problemă. Desigur, dezvoltatorul ştie teoretic ce se întâmplă în spatele ANN care învăţă,
dar, ca atare, face uz intensiv de variabile aleatoare,iar repetarea învăţării cu aceleaşi date produce
rezultate uşor diferite, este mai potrivit să vorbim despre comportament în loc de funcţionalitate.
Din informaţiile menţionate mai sus, devine evident faptul că inteligenţa computaţională cuprinde
reţele artificiale neuronale;
logica fuzzy;
calcul evolutiv;
şi de asemenea acoperă
granular computing;4
probabilistic reasoning;
Bayesian (belief) networks;5
fuzzy Petri nets;
constrained reasoning;
case-based reasoning;6
support vector machines;7
rough sets;8
learning/adaptive classifiers;
fractals;9
wavelets;10
1
Liu Dikai, Wang Lingfeng, Tan Kay Chen (2009): Design and Control of Intelligent Robotic Systems; Berlin Heidelberg: Springer-Verlag, p. 2
2
Fulcher John (2008): Computational Intelligence: A Compendium; Berlin Heidelberg: Springer-Verlag, p. 38
3
Eberhart Russel C., Simpson Patrick K., Dobbins Roy (1996): Computational Intelligence PC Tools; Boston MA: Academic Press
4
Lin Y. T. (1999): Granular computing: fuzzy logic and rough sets. In: Zadeh LA, Kacprzyk J. (eds.): Computing with Words in Information/Intelligent
Systems; Springer-Verlag: Berlin
5
Jensen Finn V., Nielsen Thomas Dyhre (2001): Bayesian Networks and Decision Graphs; Berlin: Springer-Verlag
6
Watson Ian (1997): Applying Case-Based Reasoning: Techniques for Enterprise Systems; San Francisco: Morgan Kaufmann
7
Shawe-Taylor Cristianni N. (2000): Support Vector Machines and Other Kernel-based Learning Methods; UK: Cambridge University Press
8
Inuiguchi Masahiro, Hirano Shoji, Tsumoto Shusaku (2003): Rough Set Theory and Granular Computing; Berlin: Springer-Verlag
9
Falconer Kenneth (2003): Fractal Geometry: Mathematical Foundations and Applications; New York: Wiley
7
artificiale
teoria haosului11
agenţi inteligenţi.12
Astfel, cercetătorii inteligenţei computaţionale urmăresc obiectivul de a împuternici o maşină de a învăţa
într-un mod bazat pe date şi nu algoritmic.
Rezumând, inteligenţa computaţională este studiul mecanismelor adaptive, pentru a permite sau pentru a
facilita un comportament inteligent în medii complexe, nesigure şi în schimbare13.
1.2 Reţele artificiale neuronale
După cum s-a arătat mai înainte, reţele neuronale artificiale14,15,16, încearcă să imite funcţionalitatea unui
creier uman. Ca un creier uman, o reţea neuronală artificială este formată din neuroni - cele actuale nu
conţin la fel de mulţi neuroni ca un creier uman , dar abordările viitoare ale computaţiei cuantice ar putea
viza simularea unui creier cu un număr similar de neuroni. Din punctul de vedere al maşinii asupra
învăţatului, ANN-urile sunt capabile de a face o cartografiere neliniară de la un set de intrări la un set de
rezultate şi prin urmare pot fi angajate ca aproximatori universali funcţionali, care pot oferi o apropiere
exactă a unui sistem necunoscut din furnizarea de mostre de date 17. Modelul The McCulloch & Pitts al
neuronului (Figura1 - McCulloch & Pitts neuron model neuronului) arată similarităţile dintre un neuron
uman şi unul artificial.
Figura1 - McCulloch & Pitts neuron model18
Organismul de celule primeşte intrarea sa de la alţi neuroni sau, în cazul în care neuronul se află în stratul
de intrare, direct de la o sursă de date. Intrarea este apoi înmulţită cu ponderea conexiunii la neuronul ţintă,
cu alte cuvinte, a trecut de-a lungul dendritelor, iar apoi rezultatele tuturor neuronilor de intrare sunt
însumate. Această sumă este comparată cu valoarea de prag din nucleu şi, în cazul în care este depăşită,
este trecută în funcţia de activare, care transferă apoi ieşirea redusă (o funcţie de activare reduce ieşirea în
mod corespunzător), a intrărilor la neuronul (i) la care este conectat. Figura 2 - Modelul de procesare
reprezentativ- oferă o descriere matematică a neuronului, ceea ce face mai uşor de a înţelege procesele
matematice de bază din spatele unei reţele neuronale artificiale (Figura 2 - Modelul de procesare
reprezentativ).Imaginea arată, de asemenea, că intrările _n sunt multiplicate cu ponderea lor şi
apoi însumate, comparate cu pragul de valoare tceea ce conduce catre un neuron de ardere, daca valoarea
este depăşită şi o abatere mai mică la un neuron care nu arde.Suma ponderată nu este direct trecută la
neuronul (i) ţintă, ci la funcţia de activare, pentru scalarea în mod corespunzător. În acest din urmă
exemplu, pragul este reprezentat de o linie oblică cu alte cuvinte, o valoare constantă 1. Reţelele neuronale
artificiale, care sunt considerate a fi robuste şi adaptabile, au fost folosite pentru a rezolva problemele,
10
Mallat Stephane (1999): A Wavelet Tour of Signal Processing; Boston MA: Academic Press
11
Ott Edward (2002): Chaos in Dynamical Systems, UK: Cambridge University Press
Padgham Lin, Winikoff Michael (2004): Developing Intelligent Agent Systems: A Practical Guide to Designing, Building, Implementing and Testing Agent
Systems (Wiley Series in Agent Technology); New York: Wiley
13
Onwubolu, Godfrey C. (2009): Hybrid Self-Organizing Modelling Systems Berlin Heidelberg: Springer-Verlag, p. 13
14
Kung Sun.Y. (1993): Digital Neural Networks. Englewood Cliffs: PTR Prentice Hall
15
Lau Clifford (1991): Neural networks, theoretical foundations and analysis; Los Alamitos: IEEE Press
16
Philippides A. et al. (1999): Diffusible neuromodulation in real and artificial neural networks; In: AI Symposium, Second International Conference on
Cybernetics, Applied Mathematics and Physics: CIMAF 1999: Editorial Academia
17
Jain Lakhmi C. (2008): Computational Intelligence Paradigms: Innovative Applications; Berlin Heidelberg: Springer-Verlag, p. 3
18
8
artificiale
inclusiv cele care se încadrează în clasa19 NP-complete.20 În general, două abordări pentru proiectarea unei
ANN sunt posibile, evolutivă şi non-evolutivă. În abordarea evolutivă, o ANN poate fi evoluată printr-o
tehnică evolutivă, de exemplu, cum ar fi un algoritm genetic (1.3.4 învăţare genetică)21,22,23. În abordarea
non-evolutivă, ANN este construită nu ca rezultat al unui proces evolutiv, ci mai degrabă ca rezultatul unui
algoritm specific conceput pentru a construi automat, aşa cum este cazul cu un algoritm constructiv24.
i1
w i1
o1
wi2o1
i2 ∑ o1 t f
1
i3o
w
in
Figura2–Modelul de procesare reprezentativ

1.2.1 Perceptron multistrat
MLPs îşi găsesc aplicarea atunci când este necesară rezolvarea unor situaţii problematice bazate pe date
complexe convexe sau arbitrare. Perceptronii cu două straturi sunt capabili de a separa seturi convexe,
orice strat suplimentar permite MLP-urilor să separe orice seturi. Structura unui MLP diferă de cea a unui
SLP, aşa cum indică şi numele, în numărul de straturi (Figura 3 - Perceptron multistrat). Figura 3 -
Perceptron multistrat - descrie un MLP cu trei straturi, constând din trei neuroni de intrare care sunt
prezentaţi de vectorul v_i, patru neuroni ascunşi şi doi neuroni de ieşire, care produc vectorul de ieşire v_o.
După cum s-a arătat, neuronii ascunşi sunt reprezentarea internă a lumii exterioare, transferată de neuronii
de intrare şi adaptată laponderea corespunzătoare a neuronilor de intrare . Fiecare neuron din MLP face uz
de o funcţie de activare, cum face şi un neuron SLP . Referindu-ne înapoi la ARMA, un MLP cu 3-
straturi,cu un neuron de ieşire se poate descrie prin ecuaţia:
(1-1)
unde stratul de intrare are p intrări x (t-1), ..., x (t-p), stratul ascuns are l noduri ascunse şi ieşirea, şi există o
singură ieşire pentru stratul de ieşire xt. Straturile sunt complet conectate prin greutate , unde wij este a
ithintrare pentru nodul jth, în stratul ascuns, întrucât wj este ponderea atribuită nodului jth în stratul ascuns
pentru ieşire. w0şi w0jsunt deviaţiile, h1şi h2 sunt funcţiile de activare. εt este variabila incertitudinii ANN-
ului, de asemenea, numită zgomot alb.25
19
Andreas Tolk (2009): Complex Systems in Knowledge-based Environments: Theory, Models and Applications; Berlin Heidelberg: Springer-Verlag, p. 115
20
Harel David (2004): Algorithmics: The Spirit of Computing, 3rd ed.; Amsterdam: Addison-Wesley
21
Franco Leonardo, José M. Jerez (2009): Constructive Neural Networks; Berlin Heidelberg: Springer-Verlag, p. 2
22
Schaffer J. D. et al. (1992): Combinations of genetic algorithms and neural networks: a survey of the state of the art. In: Proceedings of the International
Workshop of Genetic Algorithms and Neural Networks, pp. 1–37
23
Yao X. (1999): Evolving neural networks; Proceedings of the IEEE 87(9), 1423–1447
24
Franco Leonardo, José M. Jerez (2009): Constructive Neural Networks; Berlin Heidelberg: Springer-Verlag, p. 2
25
9
artificiale
h1
wh
w i1h1 1o
1
i1 wi1
wh
h 2
1o
w i w i1hn
n
1h
3
wh2o1
h2 o1
wh
h1
i2
2on
w i2h2
w
i2 wi2 h3 1
w h3o
wi
2h
n
wh3on
w inh1
h3 on
h 2
w
in
w inh3
in
1o
wi
h4
on
w
nhn
w h4
hn
Figura3 – Perceptron multistrat
1.2.2 O reţea neuronală artificială de bază radială

O reţea de bază radială este similară cu perceptronul feed-forward multistrat menţionat înainte, cu restricţia
că face uz de un singur strat ascuns, în orice caz. Acest strat ascuns foloseşte funcţiile de bază radiale ca
funcţii de activare, de obicei, cele gaussiene.Ecuaţia
( 1-2 )
descrie o astfel de reţea, unde este o funcţie bază radială, este centrul ith, iar k este numărul centrului.
Ambele , şi k sunt determinate de datele stabilite de x. Alegerile tipice ale funcţiilor de bază radiale sunt
deja cunoscutele funcţii, Gaussiene.
(1-3)
Funcţia thin-plate-spline,
(1-4)
Funcţiamulti-quadratic,
(1-5)
26
Funcţia inverse multi-quadratic,
(1-6)
Funcţia compound Gauss,

(1-7)
Reţelele RBF sunt utile mai ales pentru aproximarea funcţiilor sau pentru ANN-uri predictive.
1.2.3 Reţea neuronală artificială recurentă
Deşi ANN-urile feed-forward sunt capabile de a rezolva diverse probleme, aplicarea de ANN-uri recurente
oferă mai multe avantaje în ceea ce priveşte granularitatea şi abstractizarea. Noţiunile de granularitate şi
abstractizare sunt folosite în mai multe subdomenii ale inteligenţei artificiale. Granularea timpului şi
spaţiului duce în mod natural la granularităţi temporale şi spaţiale.27 Un strat suplimentar recurent poate
influenţa performanţa reţelei şi va permite reţelei să rezolve probleme mai complexe, ca strat, prin influenţa
sa la un alt strat, serveşte ca un fel de memorie de lungă durată a unui ANN. Un ANN implementat în
arhitectura clasică feed-forward, de exemplu, întâmpină probleme atunci când se ocupă cu mişcarea seriilor
medii:
26
27
Abraham Ajith, Hassanien Aboul-Ella, de Leon F. de Carvalho André Ponce, Snáel Vaclav (2009): Foundations of Computational Intelligence Volume 6: Data
Mining; Berlin Heidelberg: Springer-Verlag, p. 68
10
artificiale
În folosirea perceptronului cu mai multe straturi pentru a reprezenta reţele neuronale

(1-8)
sau într-un alt termen
(1-9)
este nevoie să aibă un strat de intrare cu un număr infinit de neuroni (memorie infinită a trecutului), şi
anume, , ceea ce este imposibil în practică.28 Deşi un număr infinit de neuroni teoretic ar
duce la o reprezentare exactă, un număr finit mare ar fi suficient, într-adevăr, dar, de asemenea, creşte
complexitatea reţelei daca avem un număr mare de parametri, ceea ce ar încetini învăţarea şi estimarea.29
Prin urmare, un ANN recurent poate face faţă seriilor ARMA, în timp ce numai MLP-urile pot face faţă
seriilor de timp AR.
Un ANN recurent poate fi reprezentat de către30
(1-10)
unde
(1-11)
Doua tipuri de ANN-uri recurente se merită menţionate în acest caz, şi anume ANN-ul recurent Elman31şi
Jordan32. Reţeaua neuronală Elman procesează ieşirile stratului ascuns către stratul recurent sau de context,
care îşi transmite ieşirile din nou către stratul ascuns în următoarea itinerare. Aceasta influenţeazăintrările,
ieşirile şi adoptarea prin metoda de învăţareîn următoare itineraţie a reţelei. Conexiunile între straturile de
context şi cele ascunse nu sunt cântărite. Prin urmare, învăţarea prin propagare poate fi aplicată reţelei
neuronale artificiale Elman (Figura4–Reţeaua neuronală artificiala Elman Reţeaua neuronală artificială
Elman).
1.2.3.1 Reţeaua neuronală artificială Elman (figura 4)

1.2.3.2 Reţeaua neuronală artificială Jordan
Un alt exemplu de ANN recurent este reţeaua Jordan, aceasta având un strat de stare în care ieşirile reţelei
sunt propagate. Conexiunile dintre stratul de context şi stratul ascuns nu sunt cântărite şi permite din nou
propagarea formării. (Figura5 - Jordan artificial neural network neuronala artificiala Jordan). Diferenţa
majoră faţă de ANN-ul Elman este că fiecare ieşire este propagată în fiecare neuron ascuns şi nu doar într-
unul. Aceasta este necesară deoarece numărul de neuroni de ieşire şi prin urmare numărul de neuroni de
context de foarte multe ori diferă de numărul de neuroni ascunşi.
1.2.3.3 Reţeaua neuronala artificiala complet conectată
După cum s-a indicat deja, fiecare dintre neuronii ANN-ului complet conectat dispune de conexiuni către
toţi ceilalţi neuroni, exceptându-i pe ei însuşi – nu exista auto-conexiuni Astfel, ANN-ul complet conectat
nu are o direcţie de procesare precum ANN-ul cu feed forward. Două ANN-uri complet conectate simple şi
foarte populare sunt:
Reţeaua Hopfield33şi
Maşina Boltzmann34.
28
29
Mandic Danilo P., Chamber Jonathon (2001): Recurrent Neural Networks for Prediction: Learning Algorithms, Architectures, and Stability; New York: Wiley
30
31
Elman J. L. (1990): Finding Structure in Time; Cognitive Science, 14, 179-211
32
Jordan Michael I. (1986): Attractor dynamics and parallelism in a connectionist sequential machine; Proceedings of the Eighth Annual Conference of the
Cognitive Science Society; Englewood Cliffs: Erlbaum, pp. 531-546
33
Hopfield J. Joseph (1982): Neural networks and physical systems with emergent collective computational properties; Proceedings Nat. Acad. Sci. (USA) 79,
2554-2558.
34
Hinton Geoffrey E., Sejnowski Terrence J. (1983): Optimal Perceptual Inference. Proceedings of the IEEE conference on Computer Vision and Pattern
Recognition, Washington DC, pp. 448-453.
11
artificiale
h1
1
w
w i1h h1
o1
i1 wi1
wh
h2
1o
w i w i1hn
n
1h
3
wh2o1
h2 o1
wh
h1
i2
2on
w i2h2
w
i2 wi2
h3
o1
w h3
wi
2h
n
wh3on
w inh1
h3 on
h2
w
in
winh3
in
o1
wi
h4
on
w
nhn
w h4
hn
r1
w h1
r1
r2
w h2
r2
r3
w h3
r3
rn
w hn
rn
Figura4–Reţeaua neuronală artificiala Elman

h1
1
wh
w i1h 1o
1
i1 wi1
wh
h2
1o
w i w i1hn
n
1h
3
wh2o1
h2 o1
wh
h1
i2
2on
w i2h2
w
i2 wi2
h3
o1
w h3
wi
2h
n
wh3on
w inh1
h3 on
h2
w
in
w inh3
in
o1
win
h4
on
w
hn
w h4
hn
r1 w o1r1
r2 w onr2
Figura5 - Jordan artificial neural network
Mai ales tipul al doilea de ANN este extrem de important pentru SHOCID, deoarece este fundaţia
sistemului Deep Belief Networks35 pentru clasificare. Amândouă tipurile de reţea sunt prezentate ca un
model iniţial prin neuronii lor de intrare, aceştia nefiind diferiţi de cei de la MLPs. Totuşi, conform
calculelor pentru determinarea ponderii, un nou model este primit de la neuronii de ieşire. Diferenţa faţă de
alte ANN-uri este acum faptul că acest model este trimisînapoi neuronilor de intrare, ceea ce este posibil
deoarecestraturile de intrare şiieşire sunt aceleaşi. Aceste cicluri continuă cât timp îi ia reţelei să se
stabilizeze. Până se stabilizează, reţeaua este într-o nouă stare după o itineraţie, aceasta fiind folosită pentru
comparaţia modelului actual cuvectorul de intrare.36 Ambele ANN-uri, ANN-ul Hopfield şimaşina
Boltzmann,aparţin clasei de ANN-uri termale, deoarece sunt dotate cu o componenta stocastica, funcţia de
35
Hinton Geoffrey E., Salakhutdinov Ruslan R. (2006): Reducing the dimensionality of data with neural networks, Science, vol. 313, no. 5786, pp. 504–507,
2006.
36
Heaton Jeff (2010): Programming Neural Networks with Encog 2 in Java; Chesterfield: Heaton Research, Inc., p. 339
12
artificiale
energie, care este similar aplicatăsimulăriiannealing-learning.Modelele probabilistice bazate pe energie

definesc o probabilitate de distribuţie printr-o funcţie de energie, după cum urmează:
(1-12)
unde Z este normalizarea factorului şi este numităfuncţiapartiţie:

(1-13)
1.2.3.4 Reţeaua neuronală artificială Hopfield

ANN-ul Hopfield (Figura6 - Hopfield artificial neural network) este un ANN auto-conectat. Conţine un
singur strat de neuroni, care sunt auto-conectaţi. Fiecare neuron aflat pe strat este conectat cu fiecare alt
neuron de pe acelaşi strat, fără a fi auto-conectati. Diferit faţă de majoritatea celorlalte ANN-uri, ANN-ul
Hopfield nu aplica valori de prag. O altă caracteristica a acestui tip special de ANN este căoperează pe
numere bipolare, permiţând numerelor binare să fie reprezentate numeric într-un mod în care adevăratşi
fals sunt opuse. Astfel, funcţia de activare a ANN-ului este de asemenea şi bipolară, dând numai ieşiri de -1
şi 1 pentru fiecare neuron de ieşire.37 Până la stabilizare, stareareţelei Hopfield se va muta către cel mai
apropiat model, astfel „recunoscând‟ acel model. În timp ce reţeaua Hopfield se mutăcătre unul din aceste
modele, energia, aplicată cu funcţia de energie, scade.38
i1
wi1i2
i2 wi1in
wi2in
in
Figura6 - Hopfield artificial neural network

Cum ANN-ul Hopfield nu este de interes in continuarea acestei elaborări, nu o să fie explicat în detaliu.
1.2.3.5 Maşina Boltzmann

La o prima privire, o maşinăBoltzmann pare a fi identica cu un ANN Hopfield. Totuşi, ea conţineşi neuroni
ascunşi. MaşinileBoltzmann sunt o forma particulară a câmpuluialeator Markov, ex., pentru care funcţia de
energie este liniara în parametriisăi liberi. Pentru ai face destul de puternici să reprezinte distribuţii
complicate, se consideră că unele dintre variabile nu sunt niciodată observate, sunt reprezentate de neuronii
ascunşi,menţionaţi mai sus. Prin faptul că are mai multe variabile ascunse, capacitatea de modelare a
maşiniiBoltzmann poate fi mărită.39 Neuronii ascunşi au nevoie de adaptări în ecuaţii, cu referinţăcătre
părţile ascunse şi cele observate:
(1-14)
Pentru a fi posibilă maparea acestei ecuaţii cu una similara cum aratăecuaţia(1-14) se introduce notarea
energiei libere:
(1-15)
conducândcătre
37
Heaton Jeff (2008): Introduction to Neural Networks for Java, 2nd ed.; Chesterfield: Heaton Research, Inc., p. 85
38
Heaton Jeff (2010): Introduction to Encog 2.5 for Java, Rev. 3; Chesterfield: Heaton Research, Inc., p. 44
39
Deeplearning.net (2012): Restricted Boltzmann Machines (RBM) [2012-15-08]; Deeplearning.net; URL: http://deeplearning.net/tutorial/rbm.html
13
artificiale
(1-16)
unde
(1-17)
Formularul de date negative ale gradientului este:

(1-18)
Gradientul conţine doi termeni, referitori la fazele pozitive şi negative. Termenii pozitiv şi negativ nu se
referă la semnul fiecărui termen din ecuaţie, dar mai degrabă reflectă efectul lor asupra probabilităţii
densităţii definită de model. Primul termen măreşte probabilitatea datelor de antrenament (prin reducerea
energiei libere corespunzătoare), cât timp cel de-al doilea termen reduce probabilitatea exemplelor generate
de model.40Grafic, o maşinaBoltzmann poate fi descrisădupă cum urmează (Figura7–Maşina
BoltzmannBoltzmann).
h1
1
w i1h
i1 wi1 wh1h2
h2
w i1w i1hn
wh1h3
h3
wi1i2 h2
h1
i2
w i2h2
w
wi1in wi wh1hn
i2 2h3 wh2h3
w i2
hn
wi2in
w inh1
h3 wh2hn
h2
w
in
winh3
in wi wh3hn
nhn
hn
Figura7–Maşina Boltzmann
Fiecare neuron este conectat cu fiecare alt neuron fără a oferi auto-conexiuni. Neuronii de intrare sunt şi
neuroni de ieşire dintr-o data, astfel consumând vectorul de intrare şiprezentând vectorul de ieşire. O
dezvoltare a maşiniiBoltzmann în continuare este aşa-numitamaşinaBoltzmannrestricţionată (RBM).41O
RBM este constituită dintr-un strat de unităţi vizibile şi un strat de unităţi ascunse fără conexiuni vizibil-
vizibil sau ascuns-ascuns. Cu aceste restricţii, unităţile ascunse sunt condiţional independente dat fiind un
vector vizibil, astfel exemplele de date imparţiale pot fi obţinute într-un pas paralel (Figura8–
Boltzmannrestricţionată).42RBM-ul oferă numai conexiuni între neuronii de ieşire şi intrare. Astfel, funcţia
de energie a unui RBM este definită ca
(1-19)
unde reprezinta ponderile care conecteazăunităţile vizibile şi ascunse şi b, c sunt ofset-urile straturilor
vizibile şi ascunse respectiv, care transpune direct către formula de energie libera următoare:
(1-20)
Datorita structurii speciale a RBM-ului, neuronii vizibili şi ascunşi sunt independenţi unul de celălalt. Prin
urmare43
40
41
Smolensky Pavel (1986): Information processing in dynamical systems: Foundations of harmony theory. In Rumelhart, D. E. and McClelland, J. L.,
editors, Parallel Distributed Processing: Volume 1: Foundations, pages 194-281. MIT Press, Cambridge, MA.
42
Scholarpedia (2011): Boltzmann Machine (2012-15-08); Scholarpedia; URL:
http://www.scholarpedia.org/article/Boltzmann_machine#Restricted_Boltzmann_machines
43
14
artificiale
(1-21)
şi
(1-22)
Cum RBM-ul este în continuare important pentru deep belief-like ANNs, algoritmul său de
învăţare este explicat în detaliu. RBM-ul este un MLP, prin urmare la început activarea neuronală
trebuie sa fie calculată în acordanţă cu:
(1-23)
unde reprezintă neuronii ascunsi de către neuronii de intrare sunt conectaţi.
reprezintăponderea dintre şi , şi este starea unitatii , care este 0 sau 1. estimare
sistematică, şi funcţia aplicată de activare. Ieşirea ecuaţiei de mai sus reprezintă probabilitatea
activarii neuronului şi este aproape de 1 pentru energiile pozitive de activare mari şi aproape de 0
pentru energiile de activare negative. Prin urmare, neuronul prezentat mai sus este pornit cu o
probabilitate de şi oprit cu o probabilitate de .
h1
1
w i1h
i1 wi1
h2
w i1w i1hn
h3
h2
h1
i2
w i2h2
w
i2 wi
2h3
wi
2h
n
w inh1
h3
h2
w
in
winh3
in wi
nhn
hn
Figura8–Maşină Boltzmann Restricţionată

1.2.3.6 Maşini vector de sprijin
Maşinile vector de sprijin44 (SVMs) sunt, ca şi ANN-urile, utilizate pentru clasificare, dar sunt o alternativă
la acestea. O maşină vector de sprijin separă o cantitate de obiecte în clase, lăsând o zonă considerabilă în
jurul claselor fără de obiecte. Clasificatoare care clasifică obiectele în aşa fel sunt numite "clasificatoare cu
marja mare". În ceea ce priveşte învăţarea supervizată în cadrul ANN-urilor, este necesar ca, pentru o
cantitate de date de formare să fie cunoscută clasa de care aparţin. SVM este capabil să separe aceste
obiecte în clase, prin introducerea unui superplan între clase şi după aceea să maximizeze distanţa dintre
vectorii cei mai apropiaţi de superplan. Superplanul este, prin urmare, dependent doar de vectorii apropiaţi
de el. Defapt, un superplan este foarte adesea incapabil să se poată separa liniar de obiecte. Aceasta este
locul unde maşinile vectoriale mapează un spaţiu n-dimensional de intrare neliniar, într-un spaţiu45 cu o
caracteristică dimensională mare, eventual, într-un spaţiu cu dimensiuni infinite:
(1-23)
unde reprezintă spaţiul de intrare de dimensiune mică şi reprezentând spaţiul cu o
caracteristică dimensională mare. Într-un spaţiu cu o caracteristică dimensională mare o cantitate complexă
de vectori devin, de asemenea, separabili liniar. Acest spaţiu este unde super planul este definit. Exemplu
Fulcher arată, cum acest lucru este realizat printr-o serie de observaţii istorice :
44
Vapnik V. (1998): The support vector method of function estimation. In: Suykens J., Vandewalle J. (eds.): Nonlinear Modeling: Advanced Black-Box
Techniques; Boston MA: Kluwer: 55–85
45
15
artificiale
(1-24)
unde şi .
aproximarea şi estimarea relaţiei funcţionale dintre yişi xi se face de către
(1-25)
unde <,..> denotă produs scalar. Vectorul w şi constanta b urmează să fie determinate utilizând principiul
de reducere structurală a riscurilor, cunoscut sub numele de teoria învăţării statistice46. În plus, neuronii din
stratul ascuns în SVM nu vor lua aceleaşi intrări, sau aceeaşi funcţie de transfer, aşa cum este obişnuit la
ANN. Pentru clasificare, Fulcher descrie SVM prin
(1-26)
unde şi reprezintă coeficienţii care îndeplinesc principiul structural de minimizare a riscurilor, iar s un
set cu toti vectorii de sustinere. Dacă sunt categorici, cum ar fi , vectorii de sprijin, un subset
47
al , sunt determinaţi prin procesul de minimizare . Clasificarea se realizează în funcţie de semnul
funcţiei:48
(1-27)
1.2.3.7 Hărţi cu caracteristici de auto organizare

Hărţile cu caracteristici de auto organizare sunt folosite pentru a reprezenta date de dimensiuni mari pe o
hartă de dimensiune mică, încercând să păstreze structura de date învecinata cât mai bine posibil . Acest
lucru însemnând că datele apropiate unele de celelalte, într-un spaţiu n-dimensional este păstrat.
Inventatorul SOM, Teuvo Kohonen, a fost inspirat de părţile senzitive şi locomotoare ale creierului uman
.49
n1 n6 n11 n16 n21 n26

n2 n7 n12 n17 n22 n27
n3 n8 n13 n18 n23 n28
n4 n9 n14 n19 n24 n29
n5 n10 n15 n20 n25 nn
w
wn
wn13x2
w n1
n1
13x
4x
3 x3
4
1
x1 x2 x3 x4
Figure 9 – Hartă cu caracteristici de auto organizare

Figure 9 – – Schema unei SOM - arată că fiecare componentă a vectorului de intrare x este reprezentată de
un neuron de intrare şi este conectată cu stratul de dimensiune mică. În faza de învăţare ponderea vectorilor
din SOM este adaptată într-un mod de auto-organizare.50Ca şi alte ANN-uri,SOM este compus din
, fiecare având un vector de pondere şi o distanţă până la un neuron vecin. Distanţa dintre
neuronii şi este După cum arată figura 9 , fiecare neuron are alocată o poziţie în spaţiu hărţii de
dimensiune mică. Ca şi în toate ANN-urile, iniţial ponderea neuronilor este aleatoare. În timpul învăţării,
similitudinea fiecărui vector de intrare este calculată la ponderile tuturor neuronilor de pe hartă, ceea ce
46
47
48
49
Kohonen Teuvo (1990): The Self-Organizing Map; Proceedings of the IEEE 78, Nr. 9, p. 1464-1480
50
Ritter Helge, Martinez Thomas, Schulten Klaus (1991): Neuronale Netze. Eine Einführung in die Neuroinformatik selbstorganisierender Netzwerke; Addison
Wesley
16
artificiale
înseamnă că toţi vectorii de greutate sunt comparaţi cu vectorul de intrare .Prin urmare, algoritmul de
învăţare al SOM-urilor aparţine grupului de algoritmi de învăţare nesupravegheaţi.Neuronul cu cea mai
mare similitudine, având cea mai mică distanţă de la la , este selectat ca neuronul câştigător
51
(1-28)
Nu doar greutatea neuronilor este adaptată dar şi greutatea neuronilor vecini trebuie luată în consideraţie de
funcţia „vecin” şi de rata de învăţare . Funcţia „vecin” ar trebuii să aibă următoarele caracteristici 52:
îşi are centrul in poziţial lui şi valoarea maxima acolo;
neuronii vecini sunt consideraţi în funcţie de o rază. În cadrul acestei raze, pentru distanţe mai mici
decât R, φ_n determină la rezultate mai mari decât zero, iar pentru distanţe mai mari decât R, ia
valoarea lui zero. Din nou, funcţia lui Gauss îndeplineşte toate cerinţele şi este o alegere
bună.Adaptarea greutăţilor se desfăşoară după cum urmează:
(1-29)
În timpul învăţării, nu doar greutăţile neuronului câştigător ci şi ale neuronilor săi vecini trebuie să fie
adaptate, şi de asemenea, rata de învăţare şi raza de vecinătate trebuie să fie redusă în fiecare iteraţie,
realizat prin :53
(1-30)
unde reprezintă valoarea de pornire şi valoarea de sfârşit, ci de asemenea, fiind valoarea functiei
.
1.3 Algoritmi de învăţare
1.3.1 Propagarea înapoi
Schimbarea de greutate între neuronii i şi j, la momentul în timp t +1 se realizează prin însumarea
produselor
rata de învăţare μ, înmulţită cu eroare (delta) a neuronului şi intrarea x a neuronului şi
impulsul α înmulţit cu schimbarea de greutate a ultimei iteraţii :
(1-31)
După cum toate calculele au fost deduse şi explicate, algoritmul de propagare înapoi este următorul:
Start
1. Selecţia iniţială la întâmplare a ponderilor perceptronilor .
2. Repetă
a) Pentru neuronul de intrare, vectorul de învăţare , cât timp
este prezentat.
b) Valoarea de ieşire Y a perceptronului se calculează, în conformitate cu ecuaţia explicată
inainte
c) Valoarea de ieşire y (t) este apoi comparată cu valoarea de ieşire dorită d = d (x (t)) care
apare în secvenţă de învăţare.
d) Ponderile sunt apoi modificate în funcţie de dependenţe:
i.
ii. e.g. ponderile rămân
neschimbate
3. Până când criteriile sunt atinse
Sfârşit
51
Kramer Oliver (2009): Computational Intelligence: Eine Einführung; Berlin Heidelberg: Springer-Verlag, p. 141
52
Kramer Oliver (2009): Computational Intelligence: Eine Einführung; Berlin Heidelberg: Springer-Verlag, p. 141 ff.
53
Kramer Oliver (2009): Computational Intelligence: Eine Einführung; Berlin Heidelberg: Springer-Verlag, p. 143
17
artificiale
Algoritm1–Algoritm pentru propagarea înapoi

Cu toate acestea, deşi propagarea înapoi s-a dovedit să ajungă la soluţii dorite şi corecte în majoritatea
timpului, uneori, o problemă este faptul că doar gradientul, sau cu alte cuvinte, mediul local, în plan este
cunoscut, ceea ce ar putea duce la următoarele probleme:
Problema minimului local
Cum doar mediul local este cunoscut, nu este destul de sigur dacă algoritmul a găsit minimul global
sau doar unul local. Această problemă apare în special, atunci când superplanul termenului de
eroare este plin cu vârfuri şi coborâşuri. Acesta este cazul în care dimensiunea reţelelor este de
ordin superior, sau cu alte cuvinte, este un numar mare de conexiuni între neuroni.
Problema platoului plat
Atunci când un superplan întreg, sau, cel puţin parţial, nu are aproape deloc vârfuri şi coborâşuri, de
asemenea, numărul de minime locale este scăzut. Cum gradientul coboară la punctul în timp (t +1)
depinde, în funcţie de impulsul α mai mult sau mai puţin de gradientul punctului în timp (t),
gradientul de la (t +1) ar putea deveni foarte mic, atunci când gradientul de la (t) a fost prea mic.
Din aceasta cauza, următoarea minimă ar putea sa nu fie atinsă şi coborârea stagnează.
Părăsirea problemei minimului global
Minimul global poate fi sărit când expansiunea superplanului jos este foarte mică. Acest lucru
conduce la problema minimului local.
Oscilaţia
Oscilaţia poate avea loc direct sau indirect. Oscilaţia directă înseamnă că gradientul nu scade, dar se
îndreaptă de la coborârea curentă la o coborâre vecină a altui vârf. Acest lucru forţează gradientul să
sară înapoi la punctul de origine (la aceeaşi valoare dar cu semn diferit), ceea ce se numeşte
oscilaţie directă. Oscilaţia indirectă urmăreşte acelaşi principiu, cu excepţia că nu doar un pas ci mai
mulţi sunt necesari pentru a se întoarce la punctul de origine .
1.3.2 Regula de actualizare Manhattan
Diferenţa regulii de actualizare Manhattan şi a propagării înapoi este aceea că la punctul în timp
coborârea nu este schimbată în dependenţă cu aceeaşi valoare a gradientului, ci doar după semnul
lui.Este astfel considerat dacă gradientul este pozitiv,este negativ, saueste aproape zero.
Astfel, în regula de actualizare Manhattan, valoarea magnitudinii gradientului este utilizată pentru a
determina cum se actualizează valoarea matricii ponderilor sau a pragului54 :
dacă magnitudinea este aproape de zero, atunci valoarea ponderii sau a pragului rămân
neschimbate;
dacă magnitudinea este pozitivă, atunci valoarea ponderii sau a pragului creşte;
dacă magnitudinea este negativă, atunci valoarea ponderii sau a pragului scade.
Regula de actualizare Manhattan nu are nevoie să treacă peste rata de învăţare sau de impuls, ci îi trebuie
doar constanta pentru a defini creşterea sau scăderea ponderilor, care trebuie să fie furnizate ca parametru
Δ:
(1-32)
Ecuaţia (1-33) arată că schimbarea ponderii la momentul de timp (t+1) se efectuează în dependenţă de
semnul gradientului de la (t +1), precum şi de constantă Δ. Schimbările se propagă înapoi prin reţea, după
cum se arată în Algoritmul 2:
54
18
artificiale
Start
1. Selecţia iniţială la întâmplare a ponderilor perceptronilor .
2. Repetă
a) Calculează ieşirea reţelei pentru valoarea
b) Calculează eroarea pentru fiecare neuron de ieşire
c) Calculează eroarea pentru fiecare neuron ascuns.
d) Adaptează ponderile conform
3. Până când criteriul este îndeplinit

Sfârşit
Algoritm2–Regula de actualizare Manhattan
Prin aplicarea regulii de actualizare Manhattan, ca algoritm de formare în cadrul unei ANN, problema
platoului plat este evitată, deoarece din cauza constanţei sale, schimbarea gradientului sau a ponderii nu
poate deveni atât de mică încât următoarea valoare minimă să nu fie atinsă.
1.3.3 Propagare rezistentă
Diferenţa dintre propagare rezistentăşi propagarea înapoi este faptul căla momentul dat în timp (t +1)
coborârea nu se schimbă în dependenţă cu aceeaşi valoare a gradientului, ci, de asemenea, numai de la
semnul său, aşa cum se întâmplă atunci când se aplică regula de actualizare Manhattan . Prin urmare, se
consideră, de asemenea, în cazul în care gradientuleste pozitiv,este negativsaueste aproape zero.
Astfel, în propagarea rezistentă, valoarea magnitudini gradientului este utilizată pentru a determina cum să
actualizează matricea ponderilor sau valoarea de prag, asemănător cu regula de actualizare Manhattan55:
Dacă magnitudinea este aproape de zero, atunci valoarea ponderii sau a pragului rămân
neschimbate.
Dacă magnitudinea este pozitivă, atunci valoarea ponderii sau a pragului creşte.
Dacă magnitudinea este negativă, atunci valoarea ponderii sau a pragului scade.
Cu toate acestea, diferenţa faţă de regula de actualizare Manhattan, este că propagarea rezistentănu necesită
stabilirea unor constante Δ utilizate pentru adaptarea ponderilor. Decât să folosim o constantă fixă pentru a
actualiza ponderile şi valorile de prag, delta nu rămâne fixă, cum se întâmpla la regula de actualizare
Manhattan sau la algoritmul de propagare înapoi, ci se schimba pe măsură ce formarea progresează 56.
Calculul de adaptare a ponderilor se calculează în mod similar cu regula de actualizare Manhattan, cu
excepţia că Δ nu are o valoare statică ci este calculată:57
(1-33)
Determinarea valorilor de actualizare noi depinde de semn:
55
56
57
Mache Niels: RPROP [2011-31-08]; Hong Kong Polytechnic University; URL:
http://www.eie.polyu.edu.hk/~enzheru/snns/SNNSinfo/UserManual/node152.html#man
19
artificiale
(1-34)
unde .
Când derivata parţială a ponderii corespunzătoare efectuează o schimbare de semn, valoarea
de actualizare este este scăzută, în cazul unei creşteri cu factorul şi, în caz de o scădere cu
. O schimbare de semn indică faptul că valoarea ultimei actualizări a fost prea mare şi a fost sărit
peste un minim local. Cu toate acestea, atunci când ponderea nu se modifică, valoarea de actualizare este
crescută pentru a permite o convergenţă accelerată în regiunile de mică adâncime58. Atunci când se
schimbă semnul, ponderea nu va fi schimbată, ceea ce se face de obicei de către .
Schimbarea de pondere se propagă înapoi în reţea, după cum este arătat în Algoritmul 3:
Start
1. Selecţia iniţială la întâmplare a ponderilor ale reţelei.
2. Repetă
a) Calcularea ieşirii reţelei pentru valoarea
b) Calcularea erorii pentru fiecare neuron de iesire
c) Calcularea erorii pentru fiecare neuron ascuns hid
d) Adaptarea ponderilor în funcţie de
cu

Sfârşit
Algoritm3–Propagare rezistentă
Prin aplicarea propagării rezistente, ca algoritm de formare în cadrul unui ANN
problema platoului plat este evitată, deoarece, din cauza constanţei sale, gradientul sau ponderea nu
pot deveni atât de mici încât următorul minim sa nu fie atins şi
oscilaţia este evitată deoarece valoarea de actualizare este scăzută atunci când se schimbă semnul.
1.3.4 Învăţare genetică (neuro-evolutie)
58
Riedmiller Martin et al. (1993): A direct adaptive method for faster back-propagation learning: The Rprop algorithm; Proceedings of the IEEE International
Conference on Neural Networks, IEEE Press: 586-591
20
artificiale
Algoritmii genetici (GA) aparţin clasei de algoritmi metaheuristicişi se utilizează pentru rezolvarea
problemelor de optimizare sau pentru formarea unei reţele neuronale artificiale (care, de fapt, este o
problemă de optimizare, de asemenea). Datorită caracteristicii lor de a efectua căutarea cu o populaţie de
soluţii, aceşti algoritmi au un paralelism intrinsec unde mai multe posibilităţi diferite sunt explorate
simultan59. Algoritmi genetici (GA) sunt adaptivi, robuşti şi utili mai ales pentru aplicaţii care necesită
căutare şi optimizare. Ei sunt algoritmi bazaţi pe populaţie pentru care orice comunicare şi interacţiune sunt
efectuate în cadrul populaţiei şi, prin urmare, posedă un grad ridicat de paralelism implicit. 60 Atunci când
vorbim despre probleme de optimizare, în special problemele NP-hard, cu alte cuvinte, probleme care nu
pot fi rezolvate în timp polinomial chiar şi de cele mai rapide supercalculatoare, pot fi rezolvate relativ
rapid cu GA. Mai presus de toate, nu există nici o explicaţie unitară a ceea ce sunt defapt algoritmii
genetici. Cu toate acestea, există , în domeniu elemente general acceptate şi toate descriu algoritmi
generici(GA)61:
o populaţie de cromozomi care codifică (în formă string) soluţiile candidate la problema de
rezolvat,
un mecanism de reproducere,
selecţie în funcţie de potrivire şi
operatori genetici.
În reţelele neuronale artificiale care fac uz de algoritmi genetici (= reţele neuronale artificiale evolutive -
EANN), evoluţia poate fi introdusă la diferite niveluri, pornind de la evoluţia greutăţii, mergând la
adaptarea arhitecturii şi în cele din urmă conducând la evoluţia mecanismului de învăţare.62,63Ca şi în
natură, algoritmii genetici utilizează selecţia naturală, care este importantă atunci când se încearcă
rezolvarea problemelor de optimizare cât şi în formarea ANN-urilor. Într-un fel, formarea unui ANN, cu un
GA este o problemă de optimizare a căutării, aşa cum cea mai bună soluţie dintr-un bazin de soluţii se
încearcă să fie găsită. Algoritmii genetici reprezintă o posibilă soluţie la o problemă cum o reprezintă
cromozomii, şi suma de cromozomi ca populaţie. Unii cromozomi ar putea reprezenta soluţii destul de
bune, însă unii nu. Dacă o soluţie este bună sau rea o să fie determinat de o aşa-numită funcţie de potrivire.
Funcţia de potrivire constituie măsura de aptitudini (adaptare) a unui individ din populaţie, care permite să
evalueze gradul de potrivite a anumitor indivizi într-o populaţie, şi bazându-se pe acest grad selectează
indivizi care sunt cei mai potriviţi (care sunt, cu grad mai mare de potrivire), în conformitate cu principiul
evolutiv al supravieţuirii celor "mai puternici" (cel mai potrivit).64 Aceşti cromozomi primesc apoi
"privilegiul" de recombinare. În contextul unui ANN, funcţia de potrivire este funcţia de eroare, în teoria
jocului poate fi funcţia de cost şi în probleme de optimizare este funcţia obiectiv, încercând să determine un
minim sau un maxim. Un cromozom este format din gene, care sunt părţi ale soluţiei de ansamblu. În cazul
unei formării ANN, genele sunt ponderile reţelei, un cromozom este un sistem ANN complet şi populaţia
este valoarea totală a tuturor ANN-urilor reprezentând o posibilă soluţie la o problemă. O iteraţie, sau
generaţie, pentru a găsi un sistem ANN feed-forward corespunzător pentru rezolvarea unei probleme este
descris în algoritmul 4:
Start
1. Creearea populaţiei inţiale.
2. Randomizarea ponderilor şi valorilor limită ale fiecărui cromozom.
3. Repetă
a) Calcularea ieşirii reţelei pentru valoarea
b) Evaluate the fitness of each chromosome:
i. Calcularea erorii pentru fiecare neuron de iesire
59
Abraham Ajith, Hassanien Aboul-Ella, Siarry Patrick, Engelbrecht Andries (2009): Foundations of Computational Intelligence Volume 3 Global Optimization;
Berlin Heidelberg: Springer-Verlag, p. 426
60
Jain Lakhmi C. (2008): Computational Intelligence Paradigms: Innovative Applications; Berlin Heidelberg: Springer-Verlag, p. 4
61
62
Abraham Ajith, Crina Grosan, Pedrycz Witold (2008): Engineering Evolutionary Intelligent Systems; Berlin Heidelberg: Springer-Verlag, p. 5
63
Yao X. (1999): Evolving neural networks; Proceedings of the IEEE 87(9), 1423–1447
64
Rutkowski Leszek (2008): Computational Intelligence Methods and Techniques; Berlin Heidelberg: Springer-Verlag, p. 268
21
artificiale
ii. Calcularea erorii pentru fiecare neuron ascuns hid
c) Selecţia cromozomilor pentru recombinare

d) Repetă
i. Încrucişarea cromozomilor
ii. Mutaţia descendenţilor
e) Pâna când toţi cromozonii selectaţi sunt recombinaţi
5. Creeare unei populaţii noi
Sfârşit
Algoritm4 - Algoritm genetic
1.3.5 Simularea amorselor hibridizate
Acest algoritm funcţionează cu doua soluţii, prima fiind cea mai bună până la punctul în timp ,
reprezentată de C (S '), şi a doua fiind cea curent creată şi comparată cu prima reprezentată de C(S):
(1-35)
Dacă cea de a doua funcţionează mai bine decât prima, astfel încât rezultatul ecuaţiei de mai sus este
pozitiv, este folosit pentru înlocuirea acestuia din urmă ca şi cel mai bun. În unele cazuri hibridarea
amorselor simulate se foloseşte de asemenea de o probabilitate pentru a determina când să înlocuiască o
soluţie cu una mai bună. Prin urmare, în unele implementări o soluţie nouă mai bună nu întotdeauna va
înlocui pe cea actuală.
(1-36)
unde T reprezintă temperatura curentă însemnând valoarea care influenţează schimbarea de greutăţi în
matricea de greutate al unui ANN:
(1-37)
Raportul pentru scimbarea de greutăţi în cadrul unui ANN este calculat prin înmulţirea
temperaturii T cu un număr aleator r. Cu cât este mai mare temperatura, cu atât este mai mare
probabilitatea de o mai mare schimbare de greutate. Modificările cu o anumită temperatură sunt efectuate
atâta timp cât un număr predefinit de iteraţii (cicluri) nu a fost atins. După ce a îndeplinit ultima iteraţie de
temperatură, algoritmul verifică dacă cea mai mică temperatură predefinită a fost atinsă. Dacă nu,
temperatura va fi coborâtă fie printr-o constantă sau prin decrementare logaritmică cu un raport între
începutul şi sfârşitul temperaturii, cum se observă în ecuaţia următoare: 65
(1-38)
Variabila s reprezintă temperatura de pornire, în acest caz este temperatura finală,c reprezintă numărul de
cicluri. Ecuaţia de mai sus calculează un raport care trebuie înmulţit cu temperatura curentă T, care produce
o schimbare, care va cauza temperatura să ajungă la temperatura finală în numărul specificat de cicluri. O
iteraţie, sau generaţie, de găsire a greutăţilor adecvate pentru un feed-forward ANN arată aşa cum este
descrisă în Algoritmul 5:
Început
1. Ponderi aleatoare.
2. Repetare
a) Calculează ieşirea pentru reţea pentru valoarea
b) Evaluează cât de în formă e fiecare neuron:
i. Calculează eroarea pentru fiecare neuron de ieşire
ii. Calculează eroarea pentru fiecare neuron ascuns
65
22
artificiale
c) Repetă
i. Creează un nou ANN şi o nouă greutate aleatoare în concordanţă cu T
ii. Calculează eroarea pentru fiecare neuron de ieşire
iii. Calculează eroarea pentru fiecare neuron ascuns
iv. Campară soluţiile în concordanţă cu
v. Dacă C(S‟) este mai bun decât C(S), este înlocuit cu C(S)
d) Până când numărul de încercări maxim pentru temperatura curentă este atins
e) Temperatura redusă de
3. Până când limita minimă este atinsă

Sfârşit
Algoritmul 5 - Hibridarea amorselor simulate
2 Data mining: starea actuală de cercetare

2.1 Datele procesului
Procesul (Figura 10 - Datele procesului) din datele brute de cunoaştere constă din patru faze majore, cu trei
până la şapte subarii fiecare. Datele trebuie să fie pregătite, pre-procesate, analizate şi întărite, prilejuite de
analiza de dată pre-procesată - data reală de explorare. Axarea sistemelor DM este în principal analiza, dar
şi pre-prepararea, care de obicei este combinată cu un dispozitiv extrage-transformă-încarcă (ETL), şi o
prezentare ce poate fi citită de om cu rezultatele de interpretare a calităţii procesului. Întăritura specială este
importantă mai ales atunci când lucrezi cu sisteme computaţionale inteligente, acestea de obicei au
capacitatea de a învăţa. Atunci când unui sistem îi este permis să înveţe (numită de asemenea antrenarea
computaţională în neuroştiinţă) fără supraveghere, în sensul că îi este permis să găsească soluţii pe cont
propriu fără a fi restricţionat de către utilizator, rezultatele s-ar putea să nu fie cum este de aşteptat şi
învăţarea trebuie să fie continuată sau chiar să fie pornită din nou.
2.2 Înţelegerea Business
Înţelegerea de bussines a unei probleme este începutul unei date a procesului. În această fază, problema
este definită conform considerărilor obiectivelor de afaceri. Obiectivele afacerii nu sunt formulate din
punct de vedere tehnic, astfel încât traducerea DM-ului din punct de vedere tehnic a obiectivelor trebuie să
fie efectuată în etapa următoare. În această fază, tehnicienii şi oamenii de afaceri trebuie să lucreze
împreună pentru a determina exact obiectivele. Acest pas este unul dintre cele mai cele esenţiale în
procesul DM, ca toţi paşii următori care depind de înţelegerea problemei.
2.3 Înţelegerea datelor
După faza de înţelegere a afacerilor, datele înţelese devin esenţiale pentru îndeplinirea cu succes a datelor
de sarcină. Datele disponibile trebuie analizate în funcţie de corectitudinea lor, caracterul complet şi
importanţa pentru problemă. Numai atunci când datele prezentate la un sistem DM sunt înţelese complet,
pregătirea datelor poate fi pornită fără riscul de falsificare a datelor şi în consecinţă a rezultatului DM.
2.4 Pregătirea
23
artificiale
Pregătirea de date include toate etapele necesare pentru a putea oferi un sistem de date referitoare la o
problemă cu rezultate incerte.
Business Data Preparation Pre-processing Analysis Reinforcement

understanding understanding • Problem definition • Filtering • Classification • Interpretation
• Problem • Data quality • Data collection • Cleansing & • Clustering • Documentation
understanding • Appropriateness • Definition of Correction • Prediction • Evaluation
• Result usage • Data distribution charactaristics • Transformation • Correlation
• Data selection • Normalization • Regression
• Imputation • Visualization
Figura 10-Datele procesului66
2.4.1 Definirea problemei

Înainte de pornirea exploatării datelor unui proces, (afacerea) problema trebuie să fi fost înţeleasă pentru
ca, ceea ce trebuie realizat să fie clar, la fel dacă lucrăm cu un soft ce are un sistem de foarte mare susţinere
sau împreună cu datele experţilor. Pentru înţelegerea problemei, de obicei experţii de exploatare, experţii în
afaceri, şi experţii în domeniu cooperează pentru a defini obiectivele proiectului şi cerinţele din perspectiva
unei afaceri. 67
2.4.2 Colectarea de date
Experţii în domeniu înţeleg sensul metadatelor.68 Este importantă cunoaşterea datelor de căutare, că doar
aceasta este esenţa pentru a fi în măsură să definească rezultatele dorite de proces. Informaţiile sau datele
redundante poate nu se află în contextul declaraţiei problemei, depinzând de cantitatea de astfel de
informaţii, şi să conducă fie la un rezultat fals sau complet diferit de cel dorit. Un astfel de rezultat poate
provoca decizii greşite cu un impact în afaceri.
2.4.3 Definiţia caracteristicilor
Caracteristicile datelor ce trebuiesc procesate trebuie să fie definite la începutul procesului DM. Cu cât este
mai compactă sumarizarea caracteristicilor, cu atât mai eficienteşi precise vor fi rezultatele. Definirea
caracteristicilor este prin urmare inevitabil legată de colectarea de date.
2.4.4 Selectarea datelor
Acest pas implică colectarea la valoarea globală a datelor care trebuie să fie prelucrate cu ajutorul unui
sistem software. În special când se lucrează cu sisteme supravegheate aplicate, abordările care evoluează ca
şi reţelele neurale, este necesar să se facă diferenţa între seturile de date de formare şi seturile de date de
căutare. Seturile de date de formare profesională sunt seturi de date complete, cu alte cuvinte, date
complete şi corecte de ieşire şi intrare, prezentate întrun sistem de calcul inteligent în scopuri educaţionale.
În funcţie de ieşirea cunoscută la o intrare în sistem, acesta este capabil să înveţe cum să prelucreze datele
cu ieşire nesigură.
66
Runkler Thomas A. (2010): Data Mining - Methoden und Algorithmen intelligenter Datenanalyse; Wiesbaden: Vieweg+Teubner | GWV Fachverlage GmbH,
p. 2
67
IBM: The data mining process [2011-10-08]; IBM; URL:
http://publib.boulder.ibm.com/infocenter/db2luw/v9/index.jsp?topic=/com.ibm.im.easy.doc/c_dm_process.html
68
IBM: The data mining process [2011-10-08]; IBM; URL:
http://publib.boulder.ibm.com/infocenter/db2luw/v9/index.jsp?topic=/com.ibm.im.easy.doc/c_dm_process.html
24
artificiale
2.5 Datele de pre-procesare

Rezultatele unui proces de date de căutare trebuie să fie uşor de citit de către om şi interpretabile. La fel
datele trebuie să fie pregătite în aşa fel încât să permită ca un sistem de căutare de date să interpreteze şi să
proceseze pentru a obţine un rezultat semnificativ. Astfel, datele de pre-procesare sunt toţi paşii necesari
pentru a transforma, a completa,a corecta sau a filtra valoarea totală a datelor, astfel încât sistemul DM să
fie capabil să-l proceseze. Primele patru operaţiuni, şi anume curăţarea, corectarea, transformarea şi
filtrarea sunt de obicei sarcinile ETL, după care normalizarea şi introducerea de valori se află în sfera de
aplicare a sistemului de căutare a funcţiilor de date. Ca date de pre-procesare nu este numai temeiul pentru
abordări de date comune, dar de asemenea pentru aplicarea pe date a sistemelor inteligente, conţinând cele
mai importante activităţi spre însuşi DM-ul. Pre-procesarea cuprinde nu numai eroarea de verificare a
limitelor, filtrarea zgomotului, tratarea cu datele lipsă, normalizarea, re-formatarea, transformarea şi aşa
mai departe, dar şi de reducerea datelor disponibile la un număr "minim însă suficient" 69. Deci curăţarea
datelor este esenţială înaintea celor de formare (evoluţia).
Datele pot fi
incomplete: când lipsesc valorile atributului, lipsesc anumite atribute de interes, sau care conţin
doar date agregate, de exemplu profesia=" "
zgomotoase: conţinând erori sau valori aberante, de exemplu salariu= " -10"
inconsistenţă: care conţin discrepanţe în coduri sau nume, de exemplu era cotat "1,2,3", acum este
cotat "A, B,C"70
Conform acestor exemple se concluzionează că activităţiile de corecţie şi de transformare sunt mai mult
decât recomandabile pentru a obţine informaţii relevante din starea brută a datelor (operaţionale). 71Ca pre-
procesare în datele procesului de căutare variază de la definire manuală a regulilor afacerii prin intermediul
unui sistem de ETL până la statistici şi operaţii matematice, precum şi la sistemul de abordare de învăţare
evolutiv, acestuia nu i se poate atribui clar să ia date de la domeniul DM, dar este nesigur să fi fost declarat
predecesorului inevitabil.
2.5.1 Filtrarea
Filtrarea, împreună cu curăţarea datelor şi corectarea, aparţine de asemenea procesului ETL. Pentru a fi
capabil să furnizeze seturile de date fără erori, în filtrare trebuie să se decidă care seturi de date sunt de
relevanţă pentru problema declarată în căutare - calitatea datelor trebuie să fie estimată şi data însăşi se
reduce cât mai mult posibil. Aceasta este în special relevată cu reţeaua neurală artificială pentru
formare(sau Algoritmul Genetic de evoluţie [Eroare! Fără sursă de referință. Învăţarea genetică]), în
timpuri computaţionale de obicei creşte ca o funcţie a setului de date de dimensiunea n. 72O primă abordare
de filtrare este de a încerca să se măsoare în avans câmpurile de date operative. Înainte de curăţare şi
corecţie este prin urmare necesar să se verifice, dacă
câmpul de date este obligatoriu.
Dacă un câmp este obligatoriu, este foarte probabil ca acesta să plin sau nu a fost umplut în mod
neintenţionat. Sistemele Software care înregistrează date pot ajuta prin validări la evitarea erorilor
în baza de date.
controale ale plauzibilităţii au fost implementate ca înregistrarea datelor să se facă în mod manual
sau automat. Dacă aceasta a fost pusă în aplicare, sintaxa seturilor de date corectă poate fi asigurată
şi procesul ETL poate fi simplificat.
câmpul de date a fost utilizat în concordanţă cu scopul său iniţial.
Nu este neobişnuit ca domeniile operative în bazele de date să fie modificate şi pentru ca scopul lor
iniţial să fie schimbat, ele conţin, în funcţie de scopul anterior, valori incorecte. În astfel de cazuri
numai rutinele de schimbare, direcţionate de marcajul temporal de modificare, oferă o coerenţă
semantică peste axa timpului.
există planuri pentru a modifica valorile în mediul ţintă înainte de datele de căutare ale procesului.
69
70
Han Jiawei et. al. (2006): Data Preprocessing [2011-11-08]; University of Illinois; URL: http://www.cs.uiuc.edu/homes/hanj/bk2/02.ppt
71
Chamoni Peter, Gluchowski Peter (2006): Analytische Informationssysteme: Business Intelligence- Technologien und –Anwendungen, 3rd. ed.; Berlin:
Springer Berlin Heidelberg New York, p. 115
72
25
artificiale
Dacă acesta este un caz, ar trebui să fie considerat cât mai curând posibil, în timpul procesului ETL.
Instrumente ETL furnizează funcţii simple pentru substituirea de valori sau manipularea tipului de
date. 73
2.5.2 Curăţare şi corectare
Când se consideră că un sistem trebuie să înveţe de la seturile de date oferite care conţin mai multe atribute
şi îi sunt oferite valorile de ieşire şi cum să proceseze aceste date, reiese că ambele nu trebuie să fie
accidentale, că în cele mai bune cazuri sistemul de învăţare este abandonat cu o eroare sau mesaj de
avertizare dar în cel mai rău caz învaţă oarecum complet greşit. Ce este eratic trebuie definit în cadrul
procesului de ETL. Nu este vorba de relevanţă, dacă seturile corecte de date pot fi izolate de cele incorecte
variind cu una sau mai multe din atributele lor sau prin corelaţii ale atributului complex, un sistem de
calculator să fie ghidat de regulile de afaceri sau să fie învăţat cum să distingă. Procesul de curăţare a
datelor de proces constă din următoarele etape: 74
2.5.2.1 Analiza datelor
Datele trebuie să fie analizate pentru detectarea erorilor şi a neconcordanţelor, care apoi trebuie să fie
eliminate. În mod curent, acest lucru este un proces manual, acceptat de software pentru a analiza ce
câştigă metadatele (proprietăţi) pentru a putea fi capabil de a detecta anomalii.
2.5.2.2 Fluxul conform specificaţiei
În funcţie de multiplicitatea de anomalii în datele sursă, un număr de transformări a datelor şi un număr de
etape de curăţare trebuie să fie executat. În domeniul depozitarii de date, fluxul pentru realizarea acestui
lucru este descris asemeni ETL-ului. După ascultarea datelor, în cadrul procesului de ETL trebuie efectuaţi
toţi paşii pentru realizarea unor date de calitate ridicată. Cel mai important lucru într-un proces ETL este de
a considera modul în care erorile şi anomaliile au fost cauzate.
2.5.2.3 Verificare
Rezultatele procesului de transformare trebuie să fie verificate împotriva corectitudinii şi a eficienţii. Sunt
necesare mai multe verificări pentru că unele erori ar putea deveni aparente după aplicarea unor
transformări.
2.5.2.4 Executare flux de lucru
Fluxul de lucru ETL este executat după verificarea corectitudinii datelor şi a eficienţei. Instrumentele ETL
oferă posibilitatea pentru crearea de joburi ETL, care pot fi programate în intervale.
2.5.2.5 Post-procesare şi control
După executarea fluxului de curăţare, rezultatele trebuie să fie inspectate pentru verificarea corectitudinii.
Date care nu pot fi corectate în timpul executării fluxului de lucru manual sunt corectate dacă este posibil.
Rezultatul este un ciclu nou în datele procesului de curăţare în care datele sunt audiate din nou pentru a
permite specificarea unui flux de lucru suplimentar pentru a curăţa mai departe datele prin prelucrare
automată
Datele de curăţare şi de corecţie includ toate acţiunile pentru a urmări următoarele obiective: 75
Precizie:
O valoare cumulată pe criterii de integritate, coerenţă şi densitate.
Integritate:
Valoarea cumulată pe criteriile de completitudine şi valabilitate.
Completitudine:
Realizată prin corectarea datelor care conţin anomalii
Valabilitate:
Aproximată prin cantitatea de date care satisfac constrângerile de integritate.
Consistenţa:
Se referă la contradicţii şi anomalii de sintaxă
Uniformitate:
Direct legate de nereguli şi de respectarea setului "Unitate de măsură".
73
74
Rahm Erhard, Hai Do Hong (2009): Data Cleansing: Problems and Current Approaches, Leipzig: University of Leipzig, p. 5
75
Onboard CRM: Data Cleansing [2011-24-09]; OnboardCRM; URL: http://www.onboardcrm.com/services/data-cleansing.html
26
artificiale
Densitate:
Câtul dintre valorile lipsă din date şi numărul total de valori ce ar trebui să fie cunoscute.
Unicitate:
Fac referire la numărul de duplicate din date.
Pentru curăţare şi corectare se pot defini trei clase de nereguli constatate (Figura 11 - clasele de
deficienţă): 76
Deficienţa de clasă 1:
Automată, şi este parte de sistem de detectare a deficienţelor urmată, de partea automată de sistem
în timpul extragerii.
Automată, şi este parte de sistem de detectare a deficienţelor urmată de corecţia manuală după
extragere.
Manuală, şi este parte de sistem de detectare a deficientelor urmată de corecţia manuală după
extragere.
O metodă foarte precisă pentru detectarea valorilor lipsă este formarea de reţele neuronale artificiale cu
seturi de date complete astfel încât se pot introduce valorile lipsă în cele incomplete.
2.6 Analiza (data mining)
Cum s-a amintit mai înainte, căutarea de date are ca scop extragerea de cunoştinţe din date.77 În contextul
DM, cunoştinţele sunt modele interesante şi printre acestea, modele care sunt în general acceptate, nu
banale, noi, utile şi interpretabile. 78
După introducerea datelor de căutare, numeroase definiţii au apărut. Cele mai precise şi în câmpul celor
acceptate sunt:
Cleansing /
Class 1 Class 2 Class 3
corrections
Recognizable
Known format
Syntactic errors format -
adaptions
incompatibilities
Outliners / Undetected
Semantic errors Missing values dissonant value errors in data
constellations sources
Figura 11- Deficitul de clase79
DM este analiza observaţiei de seturi de date pentru a găsi relaţii nebănuite între acestea şi să se
prezinte rezumativ modul în care ambele sunt inteligibile şi utile pentru proprietarul de date, 80 dar
şi
76
77
Berthold Ed (1999): Intelligent Data Analysis: An Introduction; New York: Springer-Verlag, cited from: Runkler Thomas A. (2010): Data Mining - Methoden
und Algorithmen intelligenter Datenanalyse; Wiesbaden: Vieweg+Teubner | GWV Fachverlage GmbH, p. 2
78
Fayyad et al. (1996) Advances in Knowledge Discovery and Data Mining, cited from: R Runkler Thomas A. (2010): Data Mining - Methoden und
Algorithmen intelligenter Datenanalyse; Wiesbaden: Vieweg+Teubner | GWV Fachverlage GmbH, p. 2
79
Kemper Hans-Georg (1999): Architektur und Gestaltung von Management-Unterstützungs-Systemen, cited from: Chamoni Peter, Gluchowski Peter (2006):
Analytische Informationssysteme: Business Intelligence- Technologien und –Anwendungen, 3rd. ed.; Berlin: Springer-Verlag, p. 120
80
Hand David J., Mannila Heikki, Smyth Padhraic (2001): Principles of Data Mining; Cambridge: MIT Press
27
artificiale
procesul de descoperire a cunoştinţelor din cantităţi mari de date nestructurate stocate în baze de
date, date de depozitare (un DWH formează baza faptelor pe care deciziile de situaţii sunt
prezentate şi evaluate81 ), sau alte informaţii din arhive, 82 şi
extragerea netrivialului implicit, necunoscut anterior, interesant şi cu un potenţial util din informaţii
şi din date. 83
În funcţie de aceste definiţii, DM este de obicei aplicat pe cantităţi uriaşe de date care conţin cunoştinţe ce
nu au fost încă descoperite. În cazul unei companii de asigurare, având salvate o mulţime de date personale
despre clienţii lor, variind de la venituri şi starea civilă, se încearcă să se afle care dintre atributele salvate
ar putea influenţa un client pentru a se comuta la o altă societate de asigurări acesta fiind un exemplu
ilustrativ din latura afacerilor. O instituţie meteorologică încearcă să prezică vremea pe date, stocate pe o
perioadă de mai mulţi ani, este un exemplu din lumea ştiinţei. Există numeroase cazuri în care DM găseşte
aplicaţia, dar obiectivul este întotdeauna acelaşi: să câştige interesul, să fie cât mai precis, cunoştinţele sa
fie interpretabile într-un mod inteligent şi eficient. Aceste cuvinte încheie perfect noţiunea unui sistem
DM, de ceea ce este capabil şi ce abilităţi trebuie să aibă.
2.6.1 Cunoştinţe interesante
Cunoaşterea, rezultată în urma unui proces DM, efectuată de interacţiunea dintre om şi un sistem DM,
trebuie să fie interesantă. Interesant în acest context, înseamnă că sisteme software speciale ce aplică
paradigma inteligenţei computaţionale foarte des sunt capabile să detecteze modele în datele nestructurate,
dar nu totul ar putea fi de interes. Un sistem DM bazându-se pe CI, prin urmare, trebuie să fie capabil să
interpreteze corect (să invite) şi să proceseze ceea ce utilizatorul vrea să ştie, exact cum un copil trebuie să
înveţe ce anume să facă în situaţii speciale pentru a fi capabil să aplice un comportament identic sau similar
în situaţiile viitoare similare.
2.6.2 Cunoaşterea precisă
Rezultatele unui sistem de date de căutare trebuie să fie precise. Nu este în interesul celor ce primesc
cunoştinţele că informaţia este interesantă, dar greşită. Pentru o companie ar fi interesant ca sistemul să
anticipeze cu o probabilitate de 98% pentru o pierdere de 5.000.000 € în următoarele şase luni deoarece
clienţii nu vor continua să cumpere produsele x si y. Dacă, în funcţie de această cunoştinţă nou dobândită,
producţia acestor produse ar fi oprită deşi clienţii încă le solicită, în consecinţă ar cumpăra produse de la
concurenţi, deci o predicţie greşită ar duce la un dezastru financiar.
2.6.3 Cunoaşterea interpretabilă
Cunoştinţele trebuie să fie interpretabile pentru oameni. Nu numai abordările evolutive în căutările de date
necesită ca sistemul sau utilizatorul să transforme informaţiile textuale în informaţii ce pot fi citite de
maşină, adică în cifre. În plus, de multe ori se cere normalizarea datelor ceea ce face ca informaţiile să fie
inutile pentru un om. De aceea, nu numai intrarea trebuie să fie transformată, dar de asemenea şi ieşirea
trebuie transformată înapoi într-un format ce poate fi interpretat de oameni. Interfeţele grafice ale
utilizatorului care furnizează diagrame şi grafice de foarte multe ori ajută la interpretarea informaţiilor
rezultate.
2.6.4 Prelucrarea inteligentă
Datele de căutare devin rapid foarte complexe, ele pot de asemenea să devină realitate atunci când se aplică
simple paradigme. Un exemplu este clasificarea datelor cu reţele neuronale artificiale, care nu este foarte
complex într-o situaţie când sunt 100 seturi de date, fiecare dintre ele conţinând numai trei atribute, şi
clasificarea întâmplându-se din cauza unui ANN care anticipează apartenenţa la clasificarea a sau b.
Clasificarea devine din ce în ce mai complexă atunci când un set de date conţine 1.000 atribute, şi
rezultatele trebuie să fie anticipate nu numai de una, ci de un comitet de numeroase ANN-uri de diferite
tipuri şi dimensiuni, care se folosesc de diferite funcţii de activare, în 100 de clasificatori. Dintr-o
asemenea situaţie poate deriva că procesarea inteligentă este probabilă, combinaţia corectă de tehnici
diferite, precum şi aplicarea eficientă, duc la o procesare eficientă.
81
Ruan Da, Hardeman Frank, van der Meer Klaas (2008): Intelligent Decision and Policy Making Support Systems (Studies in Computational Intelligence);
82
Han Jiawei, Kamber Micheline, Pei Jian (2000): Data Mining: Concepts and Techniques; Morgan Kaufmann Publishers
83
Frawlwy William J. et al. (1992): Knowledge Discovery in Databases - An Overview; AI Magazine: 213-228
28
artificiale
2.6.5 Procesare eficientă

Mai ales paradigmele CI în DM sunt consumatoare de timp şi necesită o mulţime de putere de procesare.
Prin urmare este o necesitate, de a dezvolta astfel de sisteme într-un mod care nu numai că le face capabile
de mai multe operaţii deodată, dar permite de asemenea să aplice un set adecvat de tehnici pentru o
problemă specifică. Rezultatul, sau reprezentarea cunoştinţelor acumulate rezultate dintr-un proces de
căutare de date, este de obicei descrisă prin modele. Un model este un rezumat global format dintr-un set
de date şi poate fi, de exemplu exprimat ca o ecuaţie care descrie un proces. 84 Un exemplu ar fi
reprezentarea unei matrice într-un spaţiu-p tri-dimensional, astfel încât ecuaţia
(2-1)
85
unde a şi b reprezintă parametri, ce pot fi declaraţi ca un model. Dimpotrivă, un model descrie o structură
referitoare la o mică parte din datele generale, exemplificat de notaţia:
(2-2)
86
Unde şi desemnează o valoare şi un set de valori. Faza de modelare este adesea considerată ca cea
mai interesantă fază cu date de căutare, ca un model rezultat sau model ce descrie soluţia pentru problema
declaraţiei. Cât de multe tehnici posibile sau algoritmi pentru o problemă există, DM necesită adesea
informaţii de la utilizator ca să înţeleagă şi să ştie ce să facă în continuare. Dificultatea creşte, atunci când
nu se găseşte nicio soluţie algoritmică pentru o problemă. Foarte adesea, utilizatorul unui sistem DM s-ar
putea să nu fie interesat de soluţia algoritmică pentru o problemă, doar de rezultatul care poate fi atins prin
aplicarea acestei soluţii. Din nou aceasta, este o situaţie unde paradigmele CI în DM se aplică, este un
sistem software capabil să găsească cea mai bună soluţie pe cont propriu şi să furnizeze rezultatele dorite
prin aplicarea acestei soluţii pe problema prezentată.
2.6.6 Algoritmii şi funcţiile de căutare

Referitor la cunoştinţele interesante care ar trebui să fie câştigate, există mai multe funcţii şi algoritmi în
care un sistem DM poate aplica pentru a extrage cunoştinţe interesante de date nestructurate brute. Acest
capitol se suprapune puternic cu capitolul 1, pentru că focusul în această elaborare se află pe capacităţile
DM a paradigmelor CI. Prin urmare, datele căutare sunt clasificate în trei dimensiuni şi în omologii lor,
care sunt
supravegheate şi nesupravegheate
descriptive şi predictive
transparente şi mate87
2.6.6.1 Funcţiile supravegheate şi nesupravegheate
Funcţiile supravegheate sunt toate funcţiile de căutare care necesită date de formare înainte de a fi capabile
de a performa pe date noi. Prin urmare, supravegheate, înseamnă că unei reţele neuronale artificiale din
acea categorie nu poate fi aplicată pe date noi înainte de a fi formate cu datele existente. Următoarele
funcţii de formare şi algoritmi sunt supravegheaţi.
2.6.6.2 Clasificarea
Clasificarea descrie o formă de predicţie, în care una sau mai multe valori de intrare sunt procesate de
funcţia sau algoritmul de căutare pentru a primi una sau multe valori de ieşire. Cu alte cuvinte, clasificarea
este proiecţia unei asocieri de elemente în clase predefinite, 88 sau clasificarea viitorilor vectori într-un
număr finit de clase.89 Clasificarea (şi gruparea) sarcinilor sunt foarte frecvente în domeniul biologiei,
pentru determinarea grupurilor de date care arată un comportament similar şi pentru clasificarea unor noi
84
Sasu Lucian Mircea (2006): Computational Intelligence Techniques in Data Mining; PhD Thesis; Brasov: Transylvania University of Brasov, p. 9
85
Sasu Lucian Mircea (2006): Computational Intelligence Techniques in Data Mining; PhD Thesis; Brasov: Transylvania University of Brasov, p.10
86
Sasu Lucian Mircea (2006): Computational Intelligence Techniques in Data Mining; PhD Thesis; Brasov: Transylvania University of Brasov, p.10
87
Hornik Mark F., Marcade Erik, Venkayala Sunil (2007): Java Data Mining: Strategy, Standard, and Practice. A Practical Guide for Architecture, Design, and
Implementation (Morgan Kaufmann Series in Data Management Systems); San Francisco: Elsevier, Inc., p. 86
88
Springer-Verlag, p. 265
89
Ertel Wolfgang (2008): Grundkurs Künstliche Intelligenz: Eine praxisorientierte Einführung; Wiesbaden: Friedr. Vieweg & Sohn Verlag | GWV Fachverlage
GmbH, p. 181
29
artificiale
probe. Clasificarea este mai des folosită ca o a doua etapă după descoperirea cluster-ului. 90 Foarte des,
clasificarea non-specifică a unui algoritm poate fi derivată cu uşurinţă, astfel încât sistemele software
capabile de procesarea unor numeroase intrări pentru care derivă soluţia dorită scad timpul şi complexitatea
necesară pentru a ajunge la o soluţie. Noţiunea de clasificare este de a clasifica pur şi simplu cazuri în
conformitate cu un set fix de categorii, care în sine este o valoare discretă cu sensuri bine definite. 91 Un
ANN utilizat pentru clasificare, ca un perceptor, derivă o relaţie funcţională între datele de intrare şi datele
de ieşire dorite. Astfel datele de instruire trebuie să conţină seturi de date, precum şi ieşirile dorite pentru
fiecare set de date, astfel încât ANN să poată învăţa cum să deriveze valorile ţintă din viitoarele seturi de
date. Rezultatele clasificării pe partea software sunt de o calitate specifică, determinată de comparaţia reală
dintre valorile de ieşire actuale şi valorile de ieşire dorite de unele date de formare. Prin urmare, este
comun să nu se instruiască un ANN cu toate datele de formare disponibile, dar cu o anumită cantitate
pentru că ANN-ul instruit poate fi evaluat prin culegerea de date cunoscute şi de următoarea comparare a
valorilor sale de ieşire actuale cu valorile date. Clasificarea nu este acceptată doar defeed-forward ANN,
dar şi dearbori de decizie şisprijinul maşinilor vector (1.2.3.6 Suport maşini vector).
2.6.6.3 Regresie
Regresia este folosită pentru a face preziceri pe ţinte numerice continue şi, ca şi o clasificare, o
supraveghere a funcţiei de căutare. 92Regresia deci încearcă să explice o variabilă dependentă, continuă de
mai multe variabile independente. 93 Dacă este supervizată, se aplică aceleaşi condiţii prealabile la regresie
ca şi la clasificare. Formarea de date este necesară pentru algoritmul sau funcţia pentru a putea deriva o
relaţie funcţională între valorile de intrare şi ieşire. Cu toate acestea, în diferenţa clasificării, o anumită
formă specifică de ANN a reieşit ca este de valoare, şi anume ANN-urile recurente. Acest tip de ANN are
memorie pe termen scurt şi este foarte util atunci când va trebui să se prezică valorile numerice continue.
Rezultatele de regresie din partea software sunt de o calitate specifică şi sunt determinate de compararea
valorilor de ieşire actuale şi valorile de ieşire dorite de unele date de formare, cum se face în clasificare.
Regresia este sprijinită derecurenţa feed-forward a ANN-urilor,arbori de decizie şi de maşinile vector.
2.6.6.4 Gruparea
Algoritmii şi funcţiile capabile de grupare fac parte din forma de date de căutare nesupravegheate.
Gruparea este folosită, atunci când este nevoie de a identifica grupările naturale, pentru a găsi cazuri
reprezentative într-o cantitate mare de date pentru susţinerea datelor reduse, sau atunci când este nevoie să
se identifice datele care nu aparţin nici uneia dintre grupările găsite. 94În cantităţi uriaşe de date, gruparea,
prin urmare, încearcă să identifice seturi de date similar de la una la cealaltă şi să fie atribuite unei grupări.
Diferite seturi de date fac parte din grupuri diferite, şi un set de grupuri este considerat a fi de o calitate
înaltă, dacă similitudinea între grupări este scăzută, dar şi similitudinea de cazuri în cadrul unei grupări este
mare.95 Grupurile sunt, în mod contrar clasificarea, ce nu cunoaşte o prioritate, dar e rezultatul procedurii
de grupare. 96 Din domeniul reţelelor neuronale artificiale, organizarea de sine cuprinde harta lui Teuvo
Kohonen (1.2.3.7 Organizarea unei harţi specifice de către sine) ce este aplicată pentru grupare. Gruparea
nu este acceptată doar de
organizarea unei harţi specifice de către sine, dar de asemenea şi de
algoritmul k-mijloace, 97 sau
gruparea de partiţionare ortogonală. 98
90
Nedjah Nadia et al. (2009): Intelligent Text Categorization and Clustering; Berlin Heidelberg: Springer-Verlag, p. 2
91
92
93
Fahrmeir L. et al. (1996): Regressionsanalyse; In: Fahrmeir, L. et al. (Hrsg.): Multivariate statistiche Verfahren. 2nd ed.; Berlin, New York, S. 93 - 168
94
Dipartimento di Elettronica e Informazione, Politecnico Di Milano: Clustering [2011-18-09]; Dipartimento di Elettronica e Informazione; URL:
http://www.elet.polimi.it/upload/matteucc/Clustering/tutorial_html
95
Anderberg Michael R. (1973): Cluster Analysis for Applications, New York: Academic Press Inc.
96
Springer-Verlag, p. 265
97
MacQueen J. B. (1967): Some Methods for Classification and Analysis of Multivariate Observations; Proceedings of 5th Berkeley Symposium on
Mathematical Statistics and Probability; Berkeley: University of California Press, 1:281-297
30
artificiale
2.6.6.5 Importanţa atributului

Foarte des, este necesar să se determine ce atribute influenţează apariţia unui proces de date de căutare,
contează foarte mult, face posibil să se concentreze pe aceste atribute. Prin atributul importanţă, atributele
nu contribuie la rezultatul unui proces de exploatare într-o masă mare, de asemenea, pot fi identificate şi,
dacă se doreşte, se pot reduce. Mai ales atunci când se lucrează cu seturi de date care conţin numeroase
atribute, identificarea de atribute care contribuie la un rezultat devine necesară cunoaşterii, procesul de
exploatare a datelor poate fi îmbunătăţit în termeni de timp şi complexitate prin reducerea atributelor. De
asemenea, atributele care nu sunt relevante pentru găsirea unei soluţii pot produce zgomot, care poate
falsifica rezultatul DM. Atunci când se lucrează cu ANN-uri, atributele cu un număr mai mare de valori
numerice influenţează o soluţie mai mult decât atributele cu valori numerice mai mici. Prin urmare, nici
oricărui alt algoritm faţă de cel de sortare, nu îi sunt necesare atributele în funcţie de valoarea lor.
Atributele în seturi diferite de date pot avea valori mari sau mici, este util să se determine probabilitatea
unui atribut fiind de asemenea ridicat.
2.6.6.6 Asocierea
Prin asociere este determinată o legătură specială între atribute, şi anume sprijin şi încredere. Suportul de
regulă indică cât de frecvent elementele asociate în regulă apar împreună, întrucât încrederea unei reguli
indică probabilitatea de diagnosticare atât a setului elementului antecedent cât şi a setului elementului
consecinţă în aceeaşi tranzacţie, dat fiind faptul că antecedentul este singur găsit. 99 Cea mai simplă
aplicare a unei reguli de asociere, deci este A implică B, determinată prin numărul de ocurenţă a lui A,
urmat de B. Reguli de asociere sunt utilizate pentru determinarea relaţiei dintre atributele, ele de asemenea
pot fi folosite pentru determinarea relaţiilor între categorii.
3 Obiectivele cercetării de doctorat

Proiectul de studiu de cercetare şi dezvoltare SHOCID caută să identifice noi abordări în domeniul de
calcul a neuroştiinţei, a inteligenţei şi a datelor de exploatare. Scopul general al proiectului de studiu,
cercetare şi dezvoltare SHOCID este specificarea şi furnizarea de tehnici complexe inteligentă
computaţională pentru datele de exploatare, mai precis şi mai ales prin aplicarea de mai multe inovaţii în
domeniu, printre altele folosite pentru rezolvarea problemelor grele non-deterministice de tip polinom-
timp. Cu siguranţă cum a fost şi indicat, acestea trebuie să fie introduse şi dovedite şi care constituie o parte
considerabilă a acestei elaborări. Un sub-obiectiv al proiectului de cercetare şi dezvoltare, este dezvoltarea
unui sistem ce furnizează o interfaţă foarte intuitivă şi optimizată pentru utilizator, astfel încât un potenţial
utilizator trebuie doar să conecteze sursa de date, urmată de posibilitatea de a alege ce tip de ieşire
prelucrată (ex. un x din numărul de grupări) ar trebui să fie. Pentru operator, nu există nici necesitatea de a
şti că ex. o NeuroEvoluţie transgentică a dus la rezultatele dorite, nici cum funcţionează o astfel de
abordare. În plus, SHOCID este un sistem generic, deci ca să zicem, el nu este numai capabil de rezolvarea
problemelor de DM (în mod clar specificat), dar de asemenea, poate procesa cele mai multe dintre datele de
intrare numerică.
Capitolul 1 - Munca de cercetare în domeniul inteligentei computaţionale
o Cercetarea pe reţelele neuronale artificiale
 Structură
 Învăţarea de paradigme şi algoritmi
 Evoluţia
o Cercetarea sistemelor biologice în evoluţie
 Supravieţuirea bacteriilor în medii periculoase
 Conştiinţa umană
 Sistemul imunitar
 Evoluţia neurologică
98
Milenova Briana et. al. (2002): O-Cluster: Scalable Clustering of Large High Dimensional Datasets [2011-18-09]; Oracle Corporation; URL:
http://www.oracle.com/technology/products/bi/odm/pdf/o_cluster_algorithm.pdf
99
31
artificiale
o Învăţarea
 Cercetarea pe scopuri din matematică potrivite pentru reprezentarea de cercetare
 Statistici
 Matematica reţelelor neuronale
o Cercetare pe mecanica cuantică
 Ştiinţa cuantică a calculatorului
 Fizica particulelor
Capitolul 2 - Cercetarea de lucru în domeniul datelor de exploatare
o Cercetare asupra procesului de exploatare de date
 Înţelegerea afacerilor
 Înţelegerea datelor
 Pregătirea
 Definirea problemei
 Colectarea datelor
 Definirea caracteristicilor
 Selecţia de date
o Cercetare pe modele de exploatare de date
 Modelul de dezvoltare
 Modelul de implementare
o Cercetare pe date de pre-procesare
 Metodele curăţare şi corectare
 Metode de transformare
 Metodele de imputare
- Imputare de regresie cu reţelele neuronale artificiale
- Metodele de imputare statistice şi derivate
o Cercetare pe analiza datelor
 Date de exploatare a funcţiilor şi a algoritmilor
- Supraveghere şi nesupraveghere
- Clasificarea
- Regresie
- Gruparea
- Importanţa atributului
- Asociaţia
Capitolul 4 - Cercetări asupra propunerii de noi structuri de reţele neuronale artificiale
o Analiza şi cercetarea reţelelor neuronale structuri/arhitecturi deja existente
o Conceptele teoretice şi specificarea de noi structuri/arhitecturi de reţele neuronale artificiale
o Conceptele teoretice şi specificarea de noi paradigme în domeniul inteligenţei
computaţionale
o O cercetare şi asigurarea stabilităţii de soluţii
 Comitetul de maşini
 Structuri redundante
o Cercetare si specificarea de structuri adaptive
o Cercetare pe arhitecturi profunde de învăţare
Capitolul 5 - Cercetare şi propunerea de noi metode de instruire pentru reţelele neuronale artificiale
o O analiză şi cercetarea privind metodele de învăţare/formare existente
o O identificare a punctelor slabe în metodele de învăţare/formare existente şi algoritmi
o Conceptele teoretice şi specificarea de noi abordări de învăţare şi formare
o O cercetare şi dezvoltare pe determinarea calităţii generice pentru reţelele neuronale
artificiale
o O cercetare şi dezvoltare de strategii de învăţare profundă
Capitolul 6 - Cercetarea pe baza fizicii cuantice şi reţelelor cuantice neuronale artificiale
o O cercetare pe fizica cuantică
 Efectele şi fenomenele cuantice
32
artificiale
 Ştiinţa calculatorului de cuantum

 Fizica particulelor şi cuantica
o O aplicaţie a efectelor cuantice în cadrul reţelelor neuronale artificiale
o O cercetare la propunerea reţelelor cuantice neuronale artificiale
o O cercetare pe algoritmii de căutare a bazelor de date cuantice
o O cercetare pe problemele fizicii cuantice de utilizare a reţelelor neuronale artificiale de
învăţare
o Concepte teoretice şi specificarea unei reţele cuantice neuronale artificiale
o O specificaţia de mediu potrivit pentru reţele cuantice neuronale artificiale
Capitolul 7 – Dezvoltarea
o O programare a sistemului SHOCID
o O realizare de structuri de reţele neuronale artificiale clasice
 Feed forward
 Recurenţe
 Complet conectat
 Organizarea hărţii caracteristice
o O implementare a unei învăţări clasice abordează pentru feed (recurente) transmisia ANN în
cadrul SHOCID
 Propagarea din spate
 Actualizarea regulii Manhattan
 Propagarea Rezistenţei
 Algoritmi genetici
 Simularea recoacerii
 Algoritmul Levenberg Marquardt
 Cel mai augmentată evoluţie a topologiei
o O implementare a structurilor introduse de reţele neuronale artificiale
 SHOCID recurent de reţea neuronală artificială
 Reţea corticală neuronală artificială
 Credinţă profundă cum ar fi reţeaua neuronală artificială
o O punere în aplicarea metodelor introduse de învăţare şi algoritmi
 SHOCID evoluţia structurală
 NeuroEvoluţia transgentică
 Sistemul NeuroEvoluţie artificial imun inspirat
 Credinţă profundă ca învăţarea
o O simulare a reţelei de cuantum neurale artificiale
 Învăţarea de cuantum prin suprapunere
 Măsurarea
 Căutarea de tip cuantum pentru o configurare optimă
o Introducerea grupării printr-o hartă caracteristică ce se auto organizează
o Implementarea tipurilor de soluţie pentru fiecare abordare de învăţare
 Agent pentru o singură reţea neurală artificială
 Reţeaua artificială a comitetului de maşini
 Agentul de reţele singure adaptive neuronale artificiale
 Abordarea hibridului
o O interfaţă grafică
Capitolul 8 - Rezultate experimentale
o O verificare a soluţiilor recent dezvoltate
o O comparaţie cu soluţiile existente
33
artificiale
4 Conceptul de reţele de structuri neuronale artificiale

Pentru următoarele structuri de reţele neuronale artificiale au fost propuse şi specificate în faza de cercetare
a proiectului SHOCID. În faza de dezvoltare, acestea au fost printre abordările deja cunoscute,
implementate în cadrul sistemului pentru scopuri de verificare şi de comparare. Structurile propuse în
lucrare cuprind:
Reţeaua corticală artificiala neuronală (feed-forward cu utilizarea moderată a conexiunilor
recurente)
Reţeaua neuronala artificială recurenta SHOCID (feed-forward cu utilizarea intensă a legături
recurente)
Reţeaua neuronala artificială Deep belief-like (combinaţia neuronală artificială de reţele de
alimentare şi complet conectate)
4.1 Reţeaua neuronală artificială corticală
Reţeaua corticală neuronală artificială100 este una dintre structurile care au fost concepute si specificate în
faza de cercetare a proiectului SHOCID şi a a avut ca inspiratie aspectele teoretice ale semnalului de
prelucrare în conştiinţa umană. Edelman a spus că, conştiinţa umană nu intervine prin prelucrarea
senzorială originală, dar prin interactivitatea care apare în termen de 500 ms între aceste module de nivel
scăzut şi nivel înalt. 101 În plus, o teorie a conştiinţei numită funcţionalism redus, a cărei premiză cheie este
că doar curenţii cauzali contează în determinarea conţinutului de conştiinţă, merge de-a lungul unui corolar
reciproc, care pe partea lui dictează că numai curenţii reciproci contează. Deşi aceste două declaraţii
furnizează baza funcţională a corticalului ANN (recurent):
datele de exploatare implementează software-ul - acestea sunt capabile de rezolvarea clasificării
complexe;
problemele de predicţie timp-serie, acest lucru nu va fi discutat aici în detaliu, deoarece teoriile de
conştiinţă merg dincolo de sfera de aplicare a tezei.
Oricum, Katz a propus, prin urmare, în cadrul descris în Figura 12, tipuri de influenţă cauzale ale
creierului. Însumarea, de tip influenţe cauzale sunt feed-forward-uri, şi operează la pre-orizont ceea ce
poate fi numit kernel (nucleu) conştient, ceea ce înseamnă că acestea pot influenţa conţinutul de
conştiinţă afectând tragerea de neuroni din acest nucleu, dar nu sunt ele generatoare de conţinut de
conştiinţă. Unităţile neuronale de tipul II nu au această proprietate, şi prin urmare sunt potenţiale în
nucleul conştiinţă care le dă proprietăţi de re-intrare, sincronizare şi accesibilitate. Tipul III de neuroni
în post-orizontul de conştiinţă este influenţat de tipul II, şi ca cele de tip I nu au re-intrarea în nucleul
conştiinţă, şi prin urmare nu pot fi o parte din conştiinţă.102 Mai ales atunci când încearcă să se rezolve
clasificarea sau problema declaraţiei predicţiei timp-serie, frecvent aplicate în structurile ANN, ca feed-
forward sau ca MLP-urile recurente tind să arate o performanţă şi o acurateţe redusă atunci când se
lucrează cu seturile de date care conţin numeroase intrări (prognozare) şi/sau cu atribute ţintă. Aceasta
este independenţa faţă de metodele aplicate de învăţare, activarea funcţiilor, distorsiunilor, etc.. Crearea
de cortexuri în combinaţie cu o intensă creştere a numărului de greutăţi în cadrul unui ANN permite
pendularea acestuia, cum este explicat în figura 12.
100
Neukart Florian, Moraru Sorin-Aurel, Grigorescu Costin-Marius, Szakazs-Simon Peter (2012): Cortical Artificial Neural Networks and their Evolution -
Consciousness-inspired Data Mining. Proceedings of OPTIM 2012
101
Edelman G. (2001): Naturalizing consciousness: A theoretical framework; Proceedings of the National Academy of Sciences USA, 100, 5520 - 5524
102
Katz Bruce F. (2011): Neuroengineering the future - Virtual minds and the creation of immortality; Massachusetts: Infinity Science Press LLC, p. 136
34
artificiale
Outputs from the

brain
Brain/world
Post-horizon
(effectors)
TYPE III
Conscious kernel TYPE II
TYPE I
Pre-horizon World/brain
(transducers)
Inputs to the brain
Figura 12 - Tipurile cauzale de influenţă al creierului103

4.1.1 Structura
Aceasta duce la corticalul ANN-urilor, în cazul în care prelucrarea nu este efectuată numai de un singur
strat ascuns orizontal (sau cortex), dar de mai multe straturi paralele ascunse. Intrarea este prelucrată pentru
un singur cortex al fiecărui strat. Intrarea este prelucrată de la fiecare cortex al Ann-ului. Schema ANN pre-
cortical (Figura 13 - Structura reţelei neuronale artificiale pre-corticale) ne ajută să înţelegem acest tip de
ANN special.
Conscious
kernel
Cortex 1
h1c11
h1c12
h2c11
i1 h1c1n cc1
h2c1n
o1
i2 cc2
h2c21 on
in h1cn1 ccn
h2c2n
h1cn2
h1cnn
Cortex n
Figura 13 – Structura reţelei neuronală artificială pre-corticală
103
Katz Bruce F. (2011): Neuroengineering the future - Virtual minds and the creation of immortality; Massachusetts: Infinity Science Press LLC, p. 136
35
artificiale
Primul pas, care trebuie să fie considerat în cadrul unei implementări software, pentru realizare, este
definirea cortexurilor. Schema prezentată în figura 13 descrie segregarea ambelor cortexuri 1 şi n,
comandând peste două straturi ascunse. Intrarea este prelucrată de neuronii de la intrare, la fiecare neuron
singur din fiecare cortex. Prin comparaţie cu figura 12 - Tipurile cauzale de influenţă a creierului - neuronii
de intrare se comportă ca un câmp de intrare senzorial, sau intrarea în creier, care sunt neuronii de tipul I.
Prelucrarea în nucleul conştient al Ann-ului se întâmplă în cortexuri independente, care se află în structura
ANN pre-corticală doar în feed-forward. În imaginea lui Katz, acestea sunt neuroni de tip II. După ce a fost
prelucrat de fiecare cortex, cortexul ieşirilor este procesat într-un strat comun de cortex, care este ultima
etapă de procesare înainte de a fi trecut peste stratul de ieşire, sau în funcţionalism redus, neuronii de tip
III. Cu toate acestea, în introducere a fost menţionată reintroducerea, care funcţionează împreună cu
funcţionalismul redus, teorie care a fost inspirată de dezvoltarea Ann-ului cortical. Reintroducerea afirmă
că informaţia este procesată în termen de nucleu conştiinţă şi nu doar trecut prin acesta. În termeni de
dezvoltare a ANN-ului înseamnă că există straturi recurente necesare pentru procesare, ceea ce duce la
schema puţin mai complexă de ANN-uri corticale(Figura 14- Structura reţelei neuronale artificiale
corticale).
Schema arată că, în comparaţie cu structura ANN-ului pre-cortical, caracteristicile corticale ale straturilor
de sine stătătoare conectate din al doilea strat cortical ascuns până la primul strat cortical ascuns de fiecare
cortex, permite ca cortexul de procesare să posede un fel de memorie. În nucleul conştient, prin urmare, nu
numai informaţiile cauzale prelucrarea, este efectuată, dar de asemenea, procesarea recurentă a
informaţiilor. Matematic, procesarea de le intrare printr-un ANN cortical constă dintr-un singur cortex, care
de fapt nu are sens, dar cea mai de bază reprezentare a unui astfel de ANN, este:
(4-1)
unde
(4-2)
36
artificiale
Conscious
kernel
Cortex 1
c1c1
c1cn
h1c11
h1c12
h2c11
i1 h1c1n cc1
h2c1n
o1
i2 cc2
h2c21 on
in h1cn1 ccn
h2c2n
h1cn2
h1cnn
c2c1
c2cn Cortex n
Figura 14 - Structura reţelei neuronale artificiale corticale
unde subsistemul de intrare are intrări p stratul ascuns l are noduri ascunse, stratul ascuns 2
are m noduri ascunse, stratul ascuns 3 are n noduri ascunse şi ieşirea cu y ieşiri , pentru stratul
de ieşire . Straturile sunt conectate pe deplin de greutăţi, unde este de intrare pentru nodul în
straturile ascunse, întrucât greutate atribuită nodului în stratul ascuns pentru ieşire. , şi
sunt deviaţiile, ... sunt funcţiile de activare. Conexiunile de la stratul recurent doi la stratul
ascuns, sunt de asemenea ponderate în ANN-ul cortical, prin urmare, . Pentru fiecare cortex
singur, ecuaţia de mai sus este calculează prin primirea corectă, în cazul în care stratul al patrulea e ascuns
şi joacă un rol special că numărul neuronului său ce depinde direct de numărul de cortexuri, numărul de
neuroni în ultimul strat ascuns înainte de stratul de cortex comun (sau cel de-al patrulea ascuns în
reprezentarea de mai sus) fiecare cortex comandă şi numărul neuronilor de ieşire. Deci, dacă numărul de
cortexuri , iar fiecare ultim strat ascuns înainte de stratul comun de cortex al fiecarui cortex este
format din 3 neuroni şi numărul neuronilor de ieşire este 2, numărul de neuroni în stratul comun de
cortexul este 6, în funcţie de ultima formulă (Eroare! Fără sursă de referință. Numărul de neuroni). Ca
majoritatea ANN-urilor în cadrul SHOCID, ANN-ul cortical se foloseşte de amândouă, atât funcţia de
activare sigmoid numai pentru scalarea pozitivă a valorilor de intrare şi de activarea tangentei hiperbolice,
când ieşirea trebuie să fie scalată între valori pozitive şi negative.
4.1.1.1 Cortexuri
Fiecare cortex a ANN-ului cortical în schemă constă din două straturi ascunse şi un strat de sine stătător.
Cortexurile primesc intrarea lor de la intrarea stratului şi procesului dublu de informaţii, aşa cum este după
care au trecut de al doilea strat ascuns de cortex, procesat până la stratul cortical comun, care serveşte ca un
fel de unitate de primire pentru ieşirile fiecărui cortex. Un singur strat de ieşire, mai ales atunci când constă
dintr-un număr mic de neuroni, nu ar fi capabil să ducă cu succes procesul de ieşire de două sau mai multe
cortexuri.
4.1.1.2 Numărul de neuroni
Numărul de neuroni al fiecărui strat într-un ANN cortical poate fi determinat de calcule bazate pe intrarea
şi ieşirea neuronilor. Numărul primului strat de cortex ascuns este determinat de:
37
artificiale
(4-3)
unde reprezintă numărul de neuroni de intrare şi numărul de neuroni de ieşire. Cu toate

acestea, cercetarea empirică a arătat că pentru unele probleme ar putea fi necesar să se crească numărul de
neuroni ascunşi şi că - 20 de neuroni pentru primul strat ascuns marchează un început bun.
Într-un mod similar, se determină numărul celui de-al doilea strat ascuns de cortex:
(4-4)
unde reprezintă numărul de neuroni din primul strat cortical ascuns şi din nou numărul de
ieşire al neuronilor.
Numărul de neuroni în straturile de sine stătoare în ANN-urile corticale întotdeauna este egal cu , deşi
transformarea nu se întâmplă unu la unu (fiecare neuron din sursă are un neuron în stratul ţintă), dar
însumate de la fiecare neuron sursă până la fiecare neuron ţintă, care are de demonstrat că este cea mai
bună soluţie în timpul verificării.
Numărul de neuroni în stratul comun de cortex depinde puternic de numărul de cortexuri şi de numărul
neuronilor al fiecărui strat de cortex secund ascuns:
(4-5)
unde reprezintă numărul celui de al doilea strat ascuns cortical, numărul de cortexuri din cadrul
ANN-ului şi numărul neuronilor de ieşire.
4.1.1.3 Sinapsele
Parţial, ANN-urile corticale sunt recurente (în cortexurile lor), dar ceea ce le face diferite faţă de cele
aplicate este că sunt mai practice şi că nu numai fiecare conexiune feed-forward în ANN este ponderată,
dar de asemenea, ci şi cele recurente. Numărul mare de conexiuni ponderate şi straturi ascunse într-un
ANN cortical duce la un timp crescut de procesare, dar şi la posibilitatea înţelegerii şi prelucrarea
problemei declaraţiei a exploatării datelor de mare complexitate, care conţine numeroşi predictori diferiţi şi
atribute ţintă.
4.1.2 SHOCID reţele corticale neuronale artificiale
Cum SHOCID este un sistem de exploatare de date generice, structura de ANN corticală a fost uşor de
adaptat pentru a permite acest lucru: structura ANN corticală capabilă de rezolvarea celor mai multe din
declaraţiile problemă prezentate fără nevoie absolută pentru a schimba structura sau codul sursă, a fost
aleasă în funcţie de rezultatele cercetării empirice (Figura 15 - Structura corticală a reţelelor neuronale
artificiale). Independent faţă de ANN-urile corticale generale, SHOCID ANN comandă numai peste un
strat ascuns pe fiecare cortex. O altă diferenţă este că într-adevăr toate conexiunile sunt ponderate, dar
conexiunile din straturile de cortex la straturile de sine stătătoare sunt una la una, nu una la toate. Aceasta
dictează că straturile stătătoare trebuie să aibă acelaşi număr de neuroni ca straturile cortexului. În plus,
această structură cere determinarea numărului de neuroni uşor diferit faţă de reţele neuronale artificiale
comune corticale. Numărul de neuroni de cortex pentru fiecare cortex este determinat în acelaşi mod ca şi
primul strat ascuns al neuronului iar determinarea se face în cortexul comun ANN:
(4-6)
Cu toate acestea, cortexurile comune ale stratului de neuroni sunt calculate cu ajutorul ecuaţiei:
(4-7)
Mai mult decât atât, stratul de cortex comun şi stratul de ieşire al neuronilor aplică funcţia de activare a
tangentei hiperbolice, indiferent de semnul de intrare. Alte straturi ale neuronilor fac uz de funcţia activare
sigmoid dacă semnul de intrare este pozitiv; altfel ei folosesc, de asemenea, funcţia de tangentă hiperbolică.
38
artificiale
Conscious
kernel
Cortex 1
c1c1
c1cn
h2c11
cc1
h2c1n
cc2
i1
o1
cc3
i2
on
h2c21 cc4
in
ccn
h2c2n
c2c1
c2cn Cortex n
Figura 15 - Structura corticală a reţelelor neuronale artificiale

4.1.3 Scop
După cum deja a fost menţionat în introducere, ANN-urile cu doar două straturi ascunse sunt capabile să
reprezinte o decizie arbitrară, o limită de precizie arbitrară cu funcţii de activare raţionale şi poate aproxima
orice cartografiere netedă cu orice precizie.104 Acest lucru conduce la întrebarea scopului unui astfel de
ANN de structură complexă, comandând cel puţin peste trei straturi ascunse şi în plus, peste cel puţin două
cortexuri care conţin acele straturi ascunse. Atunci când se pune în aplicare un ANN cortical sau o
populaţie iniţială de astfel de ANN-uri (cum evoluţia genetică este din nou o modalitate eficientă de a găsi
cea mai bună soluţie pentru o problemă declarată atunci când se ocupă cu aceste structuri de ANN-uri
complexe), şi învăţându-le cum să rezolve problema XOR, învăţarea de succes nu va fi comparabilă cu un
ANN ce are un singur strat ascuns, învăţarea de ex. cu propagarea rezistentei, va fi mult mai rea.
Presupunând că funcţia de fitness al ANN-ului este rădăcina, înseamnă o eroare pătrată:
(4-8)
ANN-ul fie nu va fi capabil să ajungă la eroarea permisă în numărul permis de iteraţii sau cel puţin va dura
mult mai mult să facă acest lucru. În plus, performanţa va fi mult mai rea în comparaţie cu cele menţionate
cu un singur strat ascuns de ANN. Cu toate acestea, puterea corticală de ANN avansează atunci când datele
sursă conţin predictori multipli şi să fie clasificate sau prezise în diverse obiective. Ca număr de greutăţi în
cadrul numeroaselor ANN-uri corticale, înţelegerea de date sursă foarte complexe şi posibilitatea de a
învăţa să clasifice este, conform structurii matricei de greutate complexă, posibilă. Cercetarea curentă de
ANN nu se concentrează asupra structurilor complexe de ANN, cum sumele imense de date sursă nu pot fi
104
Heaton Research (2005 - 2011): The number of Hidden Layers [2011-28-09]; URL: http://www.heatonresearch.com/node/707
39
artificiale
prelucrate de către un singur ANN, sunt grupate şi procesate cu mai multe ANN-uri. Aceasta nu ia mult
până când necesitatea de a aplica mai multe ANN-uri corticale de a înţelege o problemă de date declaraţiei
de exploatare ce apare, indiferent de complexitatea problemei. În special în cadrul sistemelor de date de
exploatare, complexitatea de ansamblu unei soluţii este scăzută, deşi soluţia generală constând dintr-un
cortical ANN este mult mai complexă decât părţile singure ale primului. La o primă vedere, nu ar mai fi
nevoie de crearea corticalelor în cadrul unui ANN, dar aplicarea practică a arătat că prelucrarea datelor din
neuronii de intrare în două sau mai multe cortexuri independente conduce la rezultate mai precise. Acest
lucru se datorează faptului că cele două cortexuri sunt independente unul faţă de altul şi producţia rezultată
din ambele este fuzionată. Când calculele într-un cortex nu sunt la fel de precise cum acestea ar trebui să
fie, acest lucru poate fi compensat de către celelalte cortexuri. Efectul de compensare prezintă avantajul de
a măsura complet atunci când cortexul ANN include cel puţin 3 cortexuri. În plus, simularea rudimentară
de prelucrare a conştienţei umane deschide noi posibilităţi în cercetarea ANN.
4.1.4 Evoluţia
Cum ANN-urile corticale sunt structuri complexe, formulele de mai sus descriu determinarea numărului
optim de neuroni pentru fiecare strat,acest lucru este o sugestie bună, dar nu întotdeauna se comportă cel
mai bine. În cazul în care evoluţia structurală a SHOCID poate fi din nou aplicată pentru determinarea
soluţiei optime pentru o declaraţie problemă, care este puţin mai complexă în cortexul ANN-urilor decât în
cele de tip feed-forward. Evoluţia structurii unui cortex ANN este chiar mult mai complexă decât evoluţia
unui recurent SHOCID ANN, care conţine, de asemenea, straturi ascunse pentru a fi adaptate şi adăugate
sau eliminate. Evoluţia structurală a unui cortex ANN poate conţine:
Adăugarea sau eliminarea de straturi corticale
Adăugarea sau eliminarea de straturi corticale de neuroni, primul şi al doilea, ceea ce duce la
adaptarea numărului de neuroni în stratul comun de cortex
Adăugarea sau eliminarea de cortexuri, ceea ce duce la adaptarea numărului de neuroni în stratul
comun de cortex
Atunci când evoluează un cortex ANN SHOCID transportă doar adăugarea sau eliminarea cortexului de
neuroni şi adăugarea sau eliminarea de cortexuri (numărul maxim de cortexuri este limitat la 4). În plus,
numărul de straturi ascunse într-un cortex rămâne 2 şi nu este scăzut. Prin urmare, evoluţia influenţează
întreaga structură a ANN-ului, doar structura cortexului este adaptată. Structura în cadrul procesului
evolutiv SHOCID pe corticale a Ann-ului afectează numai straturile şi numărul de neuroni ascunşi. Cu
toate acestea, în teorie în continuare există posibilităţi de evoluţie însă în prezent nu au fost testate într-un
mod în aşa fel să se poată face o declaraţie. Eventualele modificări structurale / mutaţii pot conţine
Adaptarea asincronă a cortexurilor
o În asincron sau o scădere de straturi
o În asincron sau o scădere a neuronilor de cortex
Activarea funcţiilor hibrid pe cortex
În plus, cum a dovedit simularea hibridizării amorselor care a ajuns la cele mai exacte soluţii în scurt timp
în cortexurile ANN-ului, algoritmul SHOCID pentru evoluţia cortexurilor ANN-urilor este după cum
urmează:
Început
1. Crearea ANN-ului iniţial cu corticale , care conţin de straturi ascunse
de cortex şi neuroni ascunşi în primul strat cortical şi neuroni
ascunşi în cel de al doilea strat cortical. În plus, stratul iniţial comun de cortex este
creat cu neuroni.
2. Repetă
a) Se calculează ieşirea de reţea pentru valoarea
b) Evaluează fitness-ul pentru fiecare neuron:
c) Calculează eroarea pentru fiecare neuron de ieşire
d) Calculează eroarea pentru fiecare neuron ascuns
40
artificiale
e) Repetă
i. Creează un nou ANN şi alege greutăţi în funcţie de T
iv. Compară soluţiile în funcţie de
v. Dacă este mai bun decât , inlocuim

f) Până la maximul de încercări la care ajuns temperatura curentă
g) Scade temperatura
3. Până temperatura ataşată e atinsă

4. Determină calitatea valorii iniţiale a arhitecturii de reţea
5. Stochează calitatea valorii a arhitecturii iniţiale de reţea în matricea de calitate.
6. Repetă
a) dacă nh1 < nh1max:
i. Creşte cu
b) Calculează
c) Crearea de populaţii de de ANN-uri cu cortexuri , care conţin
straturi ascunse de cortex şi neuroni ascunşi în primul strat cortical
şi neuroni ascunşi în al doilea strat cortical. În plus, stratul iniţial
comun de cortex este creat cu neuroni.
d) Randomizarea de greutăţi şi valorile prag.
e) Repetă
i. Repetă
1. Se calculează ieşirea de reţea pentru valoarea
2. Evaluează fitness-ul pentru fiecare neuron:
3. Calculează eroarea pentru fiecare neuron de
ieşire
4. Calculează eroarea pentru fiecare neuron ascuns
5. Repetă
a. Creează un nou ANN şi alege greutăţi în funcţie
de T
b. Calculează eroarea pentru fiecare neuron de
ieşire
c. Calculează eroarea pentru fiecare neuron

ascuns
d. Compară soluţiile în funcţie de
e. Dacă este mai bun decât , inlocuim

6. Până la maximul de încercări la care ajuns
41
artificiale
temperatura curentă
7. Scade temperatura
ii. Până temperatura ataşată e atinsă

f) Până e atinsă
g) Determină calitatea valorii iniţiale a arhitecturii de reţea
h) Stochează calitatea valorii a arhitecturii iniţiale de reţea în matricea de
calitate.
i) Verificarea
i. Prezintă fiecare set de date de verificare
ii. Creşte matricea de eroare pentru RMSE > pentru fiecare
set de date de verificare cu 1
j) dacă == :
Creşte cu
7. Până când nh2max e atinsă
8. Compararea soluţiilor stocate de ANN prin calitate
9. Prezintă cele mai bune soluţii
Sfârşit
Algoritmul 6 - evoluţia ANN-urilor corticale
Detaliere:
: numărul minim/maxim de straturi ascunse corticale (în cadrul SHOCID întotdeauna 2)
: numărul minim/maxim de neuroni din nhc1
: numărul minim/maxim de neuroni din nhc2
: numărul de cortexuri (în cadrul SHOCID întotdeauna între 2 şi 4, în funcţie de starea actuală de
evoluţie)
: numărul minim de neuroni comuni ai cortexului
: Contoare de neuron ascuns sau strat
: intrarea actuală
: eroare de intrare la ieşirea neuronului on în generaţia actuală
: eroarea pentru neuronul ascuns
: RMSE permis
Numerele neuronului , , şi sunt determinate conform ecuaţiilor explicate
în 5.1 Evoluţia structurală. Ar trebui să se considere că stratul direct în amonte până la stratul în care
neuronii trebuie să fie calculaţi, serveşte ca subsistem de intrare, în cazul în care stratul de ieşire este
întotdeauna ultimul strat în ANN. Altfel, toate straturile ascunse ar primi acelaşi număr de neuroni.
4.2 Reţeaua neuronală artificială recurentă SHOCID
Reţeaua neuronală artificială recurentă SHOCID105 (SRANN) a fost concepută recent şi specificată pentru
efectuarea în special a clasificării şi predicţiei seriilor de timp privind valorile de intrare generice. SRANN
este la fel ca ANN-urile Elman şi Jordan, un ANN recurent, procesând valorile sale înainte de intrare şi
capabile de a face uz de mai multe metode de învăţare. Cu toate acestea, în calcule în cadrul SRANN sunt
mai intense pentru computere decât în alte ANN-uri, metoda preferată de învăţare se bazează pe o adaptare
genetică de greutăţi(Eroare! Fără sursă de referință. Învăţarea genetică). Faţă de ANN-urile Elman şi
Jordan, SRANN, de asemenea, este capabil să aplice evoluţia structurală a SHOCID 106 (Eroare! Fără
sursă de referință. Evoluţia structurală), o metodă similară cu NEAT ce are grijă nu numai o adaptare de
greutăţi, dar, de asemenea, un in şi o scădere de neuroni şi straturi într-un ANN pentru determinarea
soluţiei optime pentru o declaraţie problemă a datelor de exploatare.
105
Neukart Florian (2012): Accuracy through Complexity - One Step further in Time-Series Prediction and Classification, Knowledge Discovery in Databases
106
Neukart Florian. et al. (2011): Problem-dependent, genetically evolving Data Mining solutions; Proceedings of DAAAM 2011, 2011 22nd World Symposium
42
artificiale
4.2.1 Structura
Schematic, SHOCID RANN este următoarea structură cum este descris în Figura 16-SHOCID reţea
recurentă neuronală artificială cu un singur strat ascuns.
ANN-ul este oarecum similar cu ANN-urile recurente Elman şi Jordan, cu diferenţa că uneşte concepte
arhitecturale din ambele. Figura de mai sus arată că reţeaua, în cazul în care acesta conţine un singur strat
ascuns, are două straturi recurente.
ro1hx
1
h1
ro1
12
w
n
3
h1
h1
wro1h
ro 1
ro 1
w
w
ronhx
1
h1
r on
w
2
h1
3
h1
1n
r on
nh
r on
w
ro
w
w
h1
wh1o1
w i1h1
i1 wi1
wi1 h2 wh
h3 1on
wi
1h
wh2o1
n
h2 o1
1 wh2on
w i2h w i2h2
i2 wi2h3
wi2
hn o1
w h3 wh3on
h3 on
1h
in
2
w inh
w
winh3
in
winhn
on
h4
w
o1
hn w h4
rh1h1
rh2h2
rh3h3
rhnhn
Figura 16-SHOCID Reţea recurentă neuronală artificială cu un singur strat ascuns

4.2.1.1 Stratul recurent unu
Stratul recurent unu, reprezentat de neuronii şi ,, procesează valorile neuronilor de ieşire înapoi
la stratul ascuns. Fiecare neuron ascuns din stratul ascuns primeşte date de la fiecare neuron din
stratul recurent unul. Conexiunile de la straturile recurente la stratul ascuns conţin greutăţi, care sunt
adaptate după o iteraţie de învăţare. Stratul recurent unu, prin urmare, trebuie să aibă exact acelaşi număr
de neuroni ca stratul de ieşire. Adaptarea de greutate este necesară pentru că valorile de ieşire din stratul de
ieşire nu trebuie să cauzeze ca neuronii ascunşi sa tragă în masa stratului ascuns doi.
4.2.1.2 Stratul recurent doi
Stratul recurent doi, reprezentat de neuronii , procesează valorile de ieşire a stratului ascuns
înapoi la sine şi le oferă ca date de intrare, dar fără a face uz de greutăţi. Acest lucru creşte rata de ardere a
neuronilor ascunşi şi creşte probabilitatea de o adaptare intensă de greutăţi între stratul ascuns şi stratul de
ieşire. Diferenţa la stratul ascuns recurent doi, numărul de neuroni în stratul recurent este la fel ca numărul
de neuroni din stratul ascuns. În plus, prelucrarea valorilor de ieşire din acest strat este aproape la fel ca şi
într-un ANN Elman, ceea ce înseamnă că neuronul propagă numai valoarea sa de ieşire înapoi la
neuronul , dar fără greutăţi fiind adaptat sau luat în considerare în interiorul unei repetări. Stratul ascuns,
prin urmare, primeşte date de la ambele straturi recurente, care, în comparaţie cu clasicele ANN-uri Jordan
şi Elman, creşte memoria reţelei, care este importantă pentru predicţia seriilor de timp, dar, de asemenea,
duce la rezultate mai bune de clasificare de adaptare a greutăţilor în cadrul ANN. Matematic, SHOCID
RANN poate fi reprezentat de
43
artificiale
(4-9)
unde
(4-10)
şi
(4-11)
unde stratul de intrare are p intrări , stratul ascuns are l noduri ascunse şi ieşirea cu y ieşiri
, pentru stratul de ieşire . Straturile sunt conectate prin greutăţi, unde este -ul de intrare
pentru al -lea semn în stratul ascuns, întrucât greutatea atribuită al -lea semn în stratul ascuns pentru
ieşire. şi sunt deviaţiile, şi sunt funcţiile de activare. Conexiunile din stratul recurent doi la
stratul ascuns sunt ponderate în SRANN, prin urmare, , dar rămâne în formulă cum ponderea
poate deveni utilă în cazuri de utilizare ce nu a fost încă descoperite . Conexiuni la stratul recurent unu
până la stratul ascuns sunt aşa cum este descris în prealabil, ponderate. SRANN nu este limitat în
termeni de neuroni sau straturi, ceea ce înseamnă că aceasta, poate deveni ANN mulţi strat ascuns, care
este, de asemenea, motivul de ce poate fi aplicată evoluţia structurală SHOCID (figura 17 - SHOCID reţea
recurentă neuronală artificială cu mai multe straturi ascunse). Diferenţa pentru stratul singur ascuns
SRANN (SL-SRANN) este că pe fiecare strat suplimentar ascuns apar două straturi suplimentare recurente.
Prelucrarea de la stratul de ieşire o, la al doilea strat ascuns prin stratul recurent şi de la al doilea
strat ascunse prin stratul recurent la sine este exact acelaşi ca cel descris la SL-SRANN. Stratul
recurent cu toate acestea, utilizează ieşirea din stratul ascuns doi ca date de intrare şi le procesează,
după ponderarea valorilor, înapoi la stratul ascuns. Prin urmare, are acelaşi număr de neuroni ca şi stratul
ascuns doi . Stratul recurent aplică acelaşi proces de ne-ponderare ca şi stratul pentru a
propaga valorile de ieşire înapoi la sine.
4.2.1.1 Numărul de neuroni
Numărul de neuroni din fiecare strat în cadrul SHOCID RANN este determinat de calcule pe baza
neuronilor de intrare şi de ieşire. În cazul în care un singur strat ascuns SRANN, numărul stratului ascuns
este determinat de:
(4-12)
unde reprezintă numărul de intrare a neuronilor şi numărul de ieşire a neuronilor. În mod

similar, al doilea strat ascuns a numărului de neuroni, în cazul în care două-straturi-ascunse SRANN, este
determinat:
(4-13)
unde reprezintă numărul de neuroni din primul strat ascuns şi din nou numărul de ieşire al
neuronilor. Cum este indicat în prealabil, numărul de neuroni în straturile de sine stătătoare în SHOCID
RANN depind de stratul de trimitere. Stratul recurent unu comandă peste acelaşi număr de neuroni ca
stratul de ieşire, cum şi datele de intrare sunt procesate unu-la-unu şi, prin urmare, nicio altă soluţie nu este
posibilă. Acelaşi lucru este valabil pentru al doilea strat recurent, care primeşte intrarea unu-doi-unu din
stratul ascuns şi, prin urmare, comandă peste acelaşi număr de neuroni cu cel din urmă. Prin urmare,
(4-14)
şi
(4-15)
44
artificiale
wrh21h11
wrh21h12
wrh21h13 rh21h1x
wrh21h1n
wrh22h11
wrh22h12
wrh22h13 rh22h1x wRo1h21
wrh22h1n wro1h22 ro1h2x
wro1h2n
wrh2nh11
wrh2nh12
wrh2nh13 rh2nh1x wronh21
wrh2nh1n wronh22
wronh2n ronh2x
h11 wh11h
21
w i1h11 wh
i1 wi1h 11
h22
wi1 12 h21
wh
h1 wh21o1
11
3
h2
wi
wh
n
w h12h21
1h
21
1n
on
h12 wh12h o1
11 wh 22
w i2h w i2h12 12
wi2h1
h2
n w h22o1
i2 wh22o
wi2 3
3h
21 h22
h1
n
w h1 n
w h13h22
wh13h on
1
h13
h1
12 1
in
2n no
w inh
w
w h2 w h2non
winh13
in
winh1 h2n
21
nh
n 22
nh
h1
w h1
w
w h1nh2n
h1n
rh11h11 rh22h21
rh12h12 rh22h22
rh13h13 rh2nh2n
rh1nh1n
Figura 17 - SHOCID reţea recurentă neuronală artificială cu mai multe straturi ascunse
4.2.1.2 Sinapse
SRANN este un ANN recurent, dar ceea ce îl face diferit faţă de cele practice aplicate este aceea că ambele
comenzi sunt peste pondere, legăturile recurente şi conexiuni ne-ponderate, conexiuni recurente. Aşa cum
arată schema, conexiunile la ieşirea stratului recurent nu sunt ponderate, spre deosebire de conexiunile din
stratul recurent la stratul ascuns. La prima vedere, acest lucru poate arăta la fel ca şi un ANN Jordan
recurent. Cu toate acestea ANN-urile recurente Jordan fac uz de conexiuni ponderate de la stratul de ieşire
la stratul ascuns. Acelaşi deţine pentru stratul recurent doi şi o comparaţie a ANN-ului recurent Elman dar
examinat în detaliu procesele SRANN de intrare direct din stratul ascuns strat, în cazul fostului, care
comandă peste conexiuni ponderate la stratul ascuns la unul recurent. Numărul mare de conexiuni
ponderate şi straturile ascunse în cadrul SRANN pot duce la un timp crescut de procesare, dar, de
asemenea, ca şi ANN-urile corticale, posibilitatea de a înţelege şi a procesa problema declaraţiei a datelor
de exploatare de mare complexitate, conţinând numeroşi predictori diferite şi atributele ţintă.
4.2.2 Scop
Cum este indicat în mod repetat, ANN-urile cu doar două straturi ascunse sunt capabile de a reprezenta o
limită de decizie arbitrară de precizie arbitrară cu funcţii de activare raţionale şi poate aproxima orice
cartografiere netedă cu orice precizie. 107Cu toate acestea, în funcţie de declaraţia problemei prezentată în
predicţia seriilor de timp, una trebuie să derive din testare adică dacă ANN-urile recurente Jordan sau
Elman pot să funcţioneze mai bine. Nu există nici un mod evident de cum se poate afla structura care va
efectua mai bine, cu excepţia testării şi experienţei considerabile. SRANN evită acest lucru, cu privire la
structura sa, care este o combinaţie de RANN-uri Jordan şi Elman modificate, iar determinarea devine
inutilă. În mai multe teste s-ar putea verifica dacă prin aplicarea SRANN, problemele predicţiilor seriilor de
timp pot fi rezolvate mai precis decât prin RANN-urile Jordan şi Elman. În plus, SRANN a arătat o
performanţă considerabilă şi precizie in rezolvarea clasificării problemelor declaraţie, comparabile cu
acelea din structura ANN-urilor corticale. Atunci când se pune în aplicare un SRANN, sau o populaţie
iniţială de astfel de ANN-uri (cum evoluţia genetică este din nou o modalitate eficientă de a găsi cea mai
107
45
artificiale
bună soluţie pentru o declaraţie problemă atunci când se lucrează cu aceste structuri complexe ANN), şi
învăţându-le cum să rezolve problema XOR, învăţarea de succes este într-adevăr comparabilă cu un ANN
cu un singur strat ascuns, ex. de învăţare cu propagarea rezistentă, cu toate că este complexă. Prin urmare,
puterea SRANN avansează nu numai când datele sursă conţin predictori multiplii şi să fie clasificate sau să
fie prezise în diverse obiective, dar, de asemenea, în simplele declaraţii problemă, de obicei rezolvate, cu
propagarea înapoi a ANN-urilor. Dacă numărul de greutăţi în cadrul SRANN-urilor este numeros,
înţelegerea complexă a datelor sursă şi posibilitatea de a învăţa să clasifice este posibilă în funcţie de
structura greutăţii complexe a matricei.
4.2.3 Evoluţia
SRANN sunt structuri complexe, precum şi formulele descrise anterior pentru determinarea numărului
optim de neuroni pentru fiecare strat ceea ce este o sugestie bună, dar nu întotdeauna este cea mai bună.
Acest lucru este, în cazul în care evoluţia structurală SHOCID, poate fi aplicată pentru a determina soluţia
optimă pentru o problemă, care este ceva mai complexă în RANN SHOCID decât este în cele de tip feed-
forward. În plus, evoluţia structurii unui cortical ANN este complexă, deoarece evoluţia structurală conţine:
Adăugarea sau îndepărtarea straturilor ascunse şi a corespunzătoarelor.
Adăugarea sau eliminarea straturilor recurente.
Adăugarea sau eliminarea de neuroni din stratul ascuns, la primul şi al doilea, şi corespunzătoarelor.
Adăugarea sau eliminarea stratului recurent de neuroni, la primul şi al doilea pentru fiecare strat
ascuns.
Atunci când o evoluţie SRANN, SHOCID efectuează numai adăugarea sau eliminarea straturilor ascunse,
straturile recurente şi adăugarea sau eliminarea neuronilor corespunzători, numărul maxim de straturi
ascunse în SRANN este limitat la 2. În consecinţă, numărul maxim de straturi recurente este de patru. De
aceea, evoluţia are o influenţă asupra întregii structuri a ANN. În plus, aşa cum evoluţia genetică a dovedit
s-a ajuns la soluţiile cele mai precise in scurt timp, în cadrul RANN SHOCID, algoritmii SHOCID pentru
care evoluează aceste ANN-uri este după cum urmează:
Început
1. Crearea de populaţii de de ANN-uri cu mmin straturi ascunse, nmin neuroni
ascunşi pentru fiecare strat ascuns, şi straturile recurente unu şi doi cu un număr
corespunzător de neuroni.
2. Repetă
b) Evaluează fitness-ul pentru fiecare cromozom:
i. Calculează eroarea pentru fiecare neuron on
ii. Calculează eroarea pentru fiecare neuron ascuns
c) Selecţia de cromozomi pentru a se recombina

d) Repetă
i. Trecerea de cromozomi
ii. Mutarea urmaşilor
e) Până când toţi cromozomii selectaţi au fost recombinaţi
3. Până criteriile sunt atinse
6. Repetă
a) dacă n < nmax:
Creşte n cu cn
b) Crearea de populaţii de x de ANN-uri cu mcm straturi ascunse, ncn neuroni
ascunşi pentru fiecare strat ascuns, şi straturile recurente unu şi doi cu un
număr corespunzător de neuroni.
c) Randomizarea de greutăţi şi valori de prag pentru fiecare cromozom.
46
artificiale
d) Repetă
i. Se calculează ieşirea de reţea pentru valoarea
ii. Evaluează fitness-ul pentru fiecare cromozom:
8. Calculează eroarea pentru fiecare neuron on
iii. Selecţia de cromozomi pentru a se recombina

iv. Repetă
10. Trecerea de cromozomi
11. Mutarea urmaşilor
v. Până când toţi cromozomii selectaţi au fost recombinaţi
e) Până criteriile sunt atinse
f) Determină calitatea valorii iniţiale a arhitecturii de reţea
g) Stochează calitatea valorii a arhitecturii iniţiale de reţea în matricea de
calitate.
h) Verificarea
ii. Creşte matricea de eroare pentru RMSE > pentru fiecare
set de date de verificare cu 1
i) dacă n == nmax:
Creşte m cu cm
7. Până când mmax e atins
Sfârşit
Algoritmul 7 - evoluţia SRANN

Detaliere:
: numărul de cromozomi
: numărul minim/maxim de straturi ascunse
: numărul minim/maxim de neuroni de
: Contoare de neuroni sau straturi ascunse
: intrarea actuală
: RMSE permis
şi sunt determinate pe baza numărului de intrari de neuroni. Ecuaţia
(4-16)
oferă numărul de neuroni ascunşi, care stau la baza determinării numărului minim şi maxim la care va veni
evoluţia:
(4-17)
şi
(4-18)
Acelaşi lucru este valabil pentru cel de-al doilea strat ascuns, dacă evoluţia este aplicată atât de departe, cu
diferenţa că toate numerele de neuron al evoluţiei primului strat sunt stocate într-o matrice, care servesc ca
bază de calcul pentru şi . Dacă, de exemplu, o soluţie a procesului evolutiv al primului strat
ascuns are trei neuroni ascunşi, evoluţia stratului 2 ascuns ia acest lucru ca şi calculează şi din
47
artificiale
nou. Algoritmul de asemenea, arată că prima tură pentru a determina calitatea iniţială a ANN-ului trebuie
să fie efectuată la început, pentru ca evoluţia începe imediat după aceea.
4.3 Reţeaua neuronală artificială SHOCID „deep belief”

SHOCID face uz de maşinile restrânse Boltzmann108 pentru pregătirea structurilor ANN pentru sarcinile de
clasificare în domeniul mineritului de date. Maşinile restricţionate Boltzmann (RBM) sunt numite reţele de
convingeri profunde,109 care învaţă să extragă o reprezentare profundă ierarhică a datelor de formare. Cu
toate acestea, maşinile Boltzmann utilizate pentru SHOCID sunt cele standard şi urmăresc acelaşi scop a
RBM ca si DBN-ul. Cele introduse asemanătoare-DB-ului nu fac direct stivă împreună cu maşinile
Boltzmann, dar extrag ponderile ce s-au adunat la formarea acestora pentru inducerea acestora într-un feed-
forward ANN. Rezumând, aceasta funcţionează prin normalizarea datelor prezentate atât bipolare cât şi
multiplicative, ieşirile pe care le formează sunt folosite pentru pregătirea maşinilor Boltzman, iar acesta
din urmă pentru formarea feed-forward al unui ANN.
4.4 Structura
Structura DB-urilor ca ANN-uri nu diferă de la un feed-forward comun ANN, singura diferenţă este că
iniţializarea greutăţii nu se întâmplă aleator, ci prin extragerea ponderilor maşinilor Boltzmann pre-
instruite. Figura de mai jos ne ajută să înţelegem procedura (Figura 18 –deep belief -reţelele neuronale
artificiale). Iniţializarea greutăţii pentru perceptron cu multi-strat nu se întâmplă aleatoriu sau prin orice
alte tehnici cunoscute de iniţializare ca de exemplu randomizarea Nguyen-Widrow. Un DBN cu straturi
modelează distribuţia de legătură între un vector observat şi în straturile sale ascunse , după cum
urmează:
( 4-19
)
unde este o distribuţie vizibilă dată şi ascunsă condiţionată într-un RBM asociat cu un
nivel al DBN, şi este distribuţia de legătură de nivel superior în RBM. Distribuţiile
condiţionate şi legăturile de nivel superior (un RBM) definesc modelul generativ.
110
Aceasta nu diferă de abordarea introdusă, diferenţa este de găsit în prelucrare, şi anume funcţia de
cartografiere şi schimbarea de greutăţi.
4.4.1 Procesarea
De obicei, atunci când se lucrează cu reţelele deep belife-like, mai multe straturi ascunse pot fi învăţate
eficient prin compunerea maşinilor restrânse Boltzmann, folosind activările de caracteristici ale unuia ca
date de formare pentru viitor. 111Cele DB- cum ar fi ANN-urile diferită de cea în care se copiază greutăţile
în maşina pre-instruită Boltzmann la un MLP. Mai mult decât atât, DB-cum ar fi ANN-urile (= un MLP cu
greutăţile maşinii Boltzmann) aplică în termen de hibridizare simulată în SHOCID, cum maşina Boltzmann
în sine este o reţea termică. Astfel, SA este prima alegere ca o strategie de învăţare şi a dovedit de
asemenea, că funcţionează bine. Prelucrarea, în SHOCID a DB cum ar fi ANN-urile pot fi împărţite în
patru etape majore:
Date de normalizare pentru maşina Boltzmann
Prelucrarea Boltzmann
Normalizare de date pentru MLP
Prelucrarea MLP
108
109
2006.
110
Bengio Yoshua (2009): Learning Deep Architectures for AI; Foundations and Trends in Machine Learning, vol. 2, Yoshua Bengio
111
Scholarpedia (2011): Boltzmann Machine (2012-15-08); Scholarpedia; URL:
http://www.scholarpedia.org/article/Boltzmann_machine#Restricted_Boltzmann_machines
48
artificiale
h1
1
w i1h
i1 wi1
h2
w i1w i1hn
h3
h2
h1
i2
w i2h2
w
i2 wi
2h3
wi
2h
n
w inh1
h3
h2
w
in
winh3
in wi
nhn
hn
h1
1
w
w i1h h1
o1
i1 wi1
wh
h2
1o
w i1w i1hn
n
h3
wh2o1
h2 o1
wh
h1
i2
2o
w i2h2
w
n
i2 wi
2h3
o1
w h3
wi
2h
n
wh3on
w inh1
h3 on
h2
w
in
winh3
in
o1
wi
h4
on
w
nhn
w h4
hn
Figura 18 - Reţelele neuronale artificiale „deep belife-like”
4.4.1.1 Date de normalizare pentru maşina Boltzmann

Pentru maşina Boltzmann normalizarea trebuie să aibă la ieşire valori bipolare. Astfel, ca un prim pas,
vectorul de intrare este normalizat în gama-asociată, între -1 şi 1, care produce o virgulă mobilă de valoare
pentru fiecare valoare de intrare nu mai mare decât 1 şi nu mai mică decât -1:
(4-20)
= valoarea de normalizat
min = valoarea minimă x la care va ajunge vreodată
max = valoarea maximă la care x va ajunge vreodată
scăzut = valoare scăzută a gamei de normalizare (de obicei -1 sau 0)
ridicat = valoarea mare a gamei de normalizare (de obicei, 0 sau 1)
După cum arată ecuaţia, cartografierea permite să se mapeze o variaţie numerică la alta. Pentru aceasta, un
sistem de extragere de date trebuie sa efectueze nu doar pasul de normalizare, dar, de asemenea,de a
analiza prin date pentru a colecta valorile maxime şi minime x (valoarea de normalizare) la care va ajunge
vreodată. Cu toate acestea, nu valorile în virgulă mobilă alimentează maşina Boltzmann, ci următoarele
ieşiri:
(4-21)
4.4.1.2 Prelucrarea Boltzmann

În prima iteraţie, SHOCID creează o maşină Boltzmann cu dimensiunea stratului de intrare egală cu
mărimea numărului vectorului de intrare. Vectorul de intrare poate sau nu poate fi o matrice
49
artificiale
multidimensională. Independent, din datele de formare, care pot conţine, de asemenea, valorile de ieşire a
neuron(ului), SHOCID este capabil să determine diferenţa pe care o impune utilizatorul şi să introducă
numărul de neuroni de intrare. Numărul neuronilor ascunşi reprezintă numărul de funcţii din cadrul
aparatului Boltzmann. Astfel, în cadrul primei maşini Boltzmann numărul de caracteristici este egal cu
dimensiunea vectorului de intrare. Prima maşina Boltzmann este apoi antrenată cu fiecare vector de intrare
a datelor de formare cu obiectivul de a asocia automat stările vectorului de intrare. Cu cât este mai mare
numărul de vectori de intrare, cu atât este mai puţin probabil ca, unul dintre vectorii de intrare să poată fi
asociat în mod corect. Cu toate acestea, după ce a terminat formarea, ponderile maşinii curente Boltzmann
sunt copiate într-o matrice multidimensional la poziţia 0 - ceea ce înseamnă că acestea vor fi ponderile din
stratul de intrare la primul strat ascuns în MLP. În plus, toţi vectorii de ieşire asociaţi, au fost depozitaţi în
acest moment într-o matrice, deoarece acestea vor servi ca bază pentru următoarea maşină Boltzmann.
Acest proces se repetă ori de câte ori numărul de straturi ascunse al reţelei a fost atins. Prin urmare, în cazul
în care un MLP necesită 3 straturi ascunse, SHOCID creează 3 maşini Boltzmann şi salvează
greutăţile(ponderile) de 3 ori. Frecvent, de la intrarea unui RBM la următorul nivel, s-ar putea să fie
activările medii sau probe de ,, unde este intrarea vizibilă RBM şi
este RBM-ul de mai sus.112 SHOCID aplică acesteia din urmă, ca intrare pentru un RBM o ascociere cu
ieşirea RBM-ului de mai jos. Primul RBM înaintează ieşirea asociată pe care o generează la vectorul de
intrare iniţial. Cu toate acestea, ultima maşină Boltzmann, care este folosită pentru a determina ponderile
din ultimul strat ascuns la stratul de ieşire al MLP, foloseşte pentru a detecta numărul de neuroni de ieşire
un număr de caracteristici. Vectorul de ieşire poate fi sau nu poate fi o matrice multidimensională, şi de
altfel este lipsit de importanţă până când ultima maşină Boltzmann nu a fost creată.
4.4.1.3 Normalizarea datelor pentru MLP
Normalizarea în cadrul MLP se întâmplă multiplicativ, conform implicitului în toate MLP-urile a
SHOCID:
( 4-22 )
unde x este valoarea de normalizat.

4.4.1.4 Prelucrarea MLP
Ca un ultim pas MLP-ul este creat în funcţie de numărul necesar de straturi şi neuroni. Fiecare strat ascuns
are acelaşi număr de neuroni ca stratul de intrare, ca în cadrul Boltzmann pre-antrenarea fiecărei valori a
unui vector de intrare este folosită pentru a crea o caracteristică.
4.4.2 Scop
Cercetarea empirică a arătat că deşi auto-asociaţia maşinilor Boltzmann nu reproduce exact valorile
prezentate de intrare, copierea de greutăţi a acestor reţele pre-formare care la finalul MLP-ului micşorează
intens numărul de iteraţii de formare necesare. În plus, aceste reţele nu necesită un număr mare de neuroni
pe strat ascuns pentru a fi capabile de a termina cu succes, formarea, deşi arhitectura reţelei poate fi de o
adâncime considerabilă. Mai mult, cercetările au arătat că astfel de reţele sunt foarte de succes în
prelucrarea datelor pentru care nu au fost antrenate.
4.4.3 Evoluţia
Mai mult, ca şi simularea hibridizării amorselor s-a dovedit că se ajunge la cele mai exacte soluţii în scurt
timp în corticalul ANN-ului, iar algoritmul SHOCID pentru evoluţia corticalului ANN-urilor este după
cum urmează:
Început
1. Repetă
a) Crearea unei maşini Boltzmann oferind neuroni în stratul de intrare şi
neuroni in stratul ascuns.
i. Selecţia iniţială de greutăţi RBM la întâmplare.
112
50
artificiale
ii. Repetă
1. Setarea stărilor neuronilor de intrare la vectorul de învăţare , în timp ce
2. Pentru fiecare
neuron ascuns conectat la neuronul de intrare
stabileşte stările in funcţie de
3. Pentru fiecare
margine calculează
4. Pentru fiecare
neuron de intrare i conectat la neuronul ascuns stabileşte stările in funcţie de
5. Pentru fiecare
neuron ascuns conectat la neuronul de intrare i stabileşte stările in funcţie de
6. Pentru fiecare
marginea
a) Calculează
b) Actualizează greutatea lui funcţie de
iii. Până când criteriile sunt atinse

b) Copiază greutăţile din în matricea de greutăţi.
2. Până când numărul de straturi ascunse nh au fost atinse.
3. Crearea maşinii finale Boltzmann oferind neuroni în stratul de intrare şi noutput neuroni
in stratul ascuns.
2. Auto asocierea fiecărui vector de intrare al datelor de formare.
3. Copiază greutăţile din în matricea de greutăţi.
4. Crearea de MLP M cu neuroni ca neuroni de intrare, straturi ascunse fiecare oferind
neuroni şi neuroni în stratul de ieşire.
5. Repetă
a) Calculează ieşirea lui pentru valoarea
c) Calculează eroarea pentru fiecare neuron de iesire
d) Calculează eroarea pentru fiecare neuron ascuns
e) Repetă
i. Creează un nou ANN şi alege aleator greutăţile în funcţie de T
ii. Calculează eroarea pentru fiecare neuron de iesire
51
artificiale

f) Până la maximul de încercări la care ajuns temperatura curentă
g) Scade temperatura
6. Până când temperatura inferioară este atinsă

Sfârşit
Algoritmul 8 – DB ca ANN
Detaliere:
: numărul neuronilor de intrare
: numărul neuronilor de ieşire
: numărul de straturi ascunse
: maşina curentăBoltzmann
: MPL-ul ce trebuie să fie antrenat
: intrarea actuală
: eroarea de intrare la ieşirea neuronului on în generaţia actuală
: RMSE permis
4.5 Rezumat
În capitolul patrus-au prezentat structurile recent dezvoltate de reţele neuronale artificiale, precum şi
algoritmi de învăţare şi paradigme în funcţie de stadiul actual al cercetării în domeniu. Verificarea de noi
paradigme demonstrează că o combinaţieîntre inteligenţa computaţională şi datele tipice de exploatare
dispune de un potenţial enorm. Foarte des, un inginer de software implicat în dezvoltarea unei soluţii de
exploatare de date nu poate fi sigur în cererea soluţiei finale. CI oferă mai multe abordări generice şi
abordări extrem de recomandabile pentru aplicarea în domeniul DM. Cum datele întotdeauna vor creşte şi
timpul disponibil va scădea, vor veni în prim-plan sisteme software capabile de a învăţa şi înţelege o
problemă declarată.
Sistemul SHOCID, aplică ordine înalte în inteligenţa computaţională şi în exploatarea de date.
5 Evoluţia concepută şi strategiile de învăţare

Sistemul SHOCID este capabil de diferite abordări de învăţare, precum şi pentru a evolua soluţiile în
timpul procesului de învăţare. Cu toate acestea, deşi învăţarea şi evoluţia merg împreună, evoluţia poate fio
abordare de învăţare, sauun proces de susţinere pentru învăţare, atunci când arhitectura este în evoluţie.
Cum poate fi asta? Aceasta este, deoarece algoritmii genetici pot fi utilizaţi pentru învăţare, ei clasifică o
reţea de evoluţie neuronală artificială în învăţare. Cu toate acestea dacă un ANN, este capabil de adaptarea
arhitecturii sale printr-un proces de evoluţie arhitecturală cum este SHOCID evoluţia structurală sau
NEAT, nu înseamnă neapărat că trebuie să înveţe prin aplicarea algoritmilor genetici.
5.1 Evoluţia structurală
SHOCID este capabil de combinarea reţelelor neuronale artificiale la committee machine. Cu toate acestea,
prin aplicarea unei committee machine detectarea soluţiei dorite este foarte probabilă, dar din păcate nu şi
detectarea celei optime. La suma totală de date de formare, doar un procent este folosit pentru formare iar
seturile de date rămase sunt utilizate pentru verificarea soluţiei. Datorită verificării, aceasta poate, prin
urmare, determina cât de precis rezolvă o problemă prezentatămodelul creat DM. În cadrul SHOCID, acest
lucru se întâmplă prin aplicarea foarte des a RMSE. 113Cele două abordări în cadrul SHOCID care aplică
113
Neukart Florian et al. (2011): Problem-dependent, genetically evolving Data Mining solutions; Proceedings of DAAAM 2011, 2011 22nd World Symposium,
p. 1 ff.
52
artificiale
adaptarea arhitecturii unui ANN în cadrul procesului de evoluţie, sunt evoluţia structurală SHOCID şi
NeuroEvoluţia de sporire a tipologiilor. NEAT este limitat la a învaţa prin algoritmi genetici, întrucât
evoluţia structurală SHOCID poate fi şi este aplicată pentru orice abordare de pregătire dată pentru reţelele
neuronale artificiale feed-forward şi reţele recurente neuronalele artificiale. Cum evoluţia structurală
SHOCID este o nouă abordare de evoluţie, aceasta este explicată în detaliu în secţiunea următoare.
5.1.1 Fundamentele
Cu toţi algoritmii de învăţare, SHOCID determină numărul neuronilor de intrare în funcţie de numărul de
seturi de date de intrare şi se aplică formula descrisă în 4.1.1.2 - Numărul de neuroni - pentru a determina
numărul de neuroni ascunşi. Această primă reţea neuronală artificială serveşte pentru crearea unei populaţii
iniţiale. Pentru algoritmul de mai jos, aceasta înseamnă că SHOCID determină numărul neuronilor de
intrare şi ieşire conform datelor prezentate de formare. poate fi determinat automat, pe baza
numărului neuronilor de intrare . nu va depăşi 2, cum cu 2 straturi ascunse ANN-uri sunt capabile de
a reprezenta o limită de decizie şi precizie arbitrară cu funcţii de activare raţională şi poate aproxima orice
cartografiere netedă cu orice precizie. 114 Algoritmul arată că sistemul creează un număr de comitete ,
fiecare dintre acestea având n + 1 neuroni din stratul actual ascuns, comparativ cu ultimul comitet. Când
algoritmul a atins pentru stratul curent ascuns , al doilea strat ascuns, este creat, care reprezintă
simultan . Pentru , aceeaşi procedură constructivă pentru crearea de neuroni este abordată, cu
excepţia faptului că, pentru calcularea stratul ascuns este desenat. În faza de verificare, o
matrice este creată pentru fiecare comitet, care a crescut cu 1 atunci când a fost depăşit pentru setul de
date real. Cea mai bună soluţie este aceea cu cea mai scăzută valoare de matrice. Indivizii din această
populaţie iniţială sunt apoirecombinati şi mutaţi si se vor comporta ca un întreg în evoluţia unei singure
generaţii de indivizi. Ex. aplicarea unui algoritm genetic, selectat în funcţie de capacitatea lor, Funcţia de
fitness serveşte RMSE şi selecţia în funcţie de fitness în evoluţia structurală SHOCID înseamnă că 25% al
celui mai adaptat individ dintr-o generaţie care primeşte privilegiul de a se recombina. Mutaţia este
efectuată pe 10% din descendenţi. Cu toate acestea, s-a dovedit că în combinaţie cu SRANN-urile că
selecţia a 50% a celor mai adaptate persoane, combinate cu mutaţia urmaşilor intr-o proporţie de 25%
realizează cele mai bune convergeri a ANN pentru clasificarea şi predicţia de timp a seriilor de care este
capabil sistemul. Toata evoluţia procesului parţial prin urmare poate fi considerata ca o combinaţie de
incrementări si tăieturi selective si nu numai pe stratul de neuroni, dar si pe stratul ascuns. Ambele metode
de tăiere sunt abordări de încercare şi eroare pentru diagnosticarea numărului apropiat de neuroni ascunşi
pentru stratul ascuns al unui Ann-ului. 115 Algoritmul de tăieri incrementate de obicei creşte numărul de
neuroni de la un ANN cu un singur neuron ascuns până când au fost atinşi un număr specificat de neuroni
ascunşi. Tăierea selectivă elimină neuronii de la un ANN până când niciun neuron nu mai poate fi eliminat
sau creşte rata de eroare. Spre deosebire de cele menţionate, evoluţia structurală a SHOCID începe cu o
soluţie asumată optimă şi amândouă cresc şi scad neuronii ANN-urilor dar şi straturile până când au fost
atinse sau şi . În cazul aplicării evolutiei structurale a SHOCID cu NeuroEvoluţia,
recombinarea şi mutaţia se întâmplă în detaliu aşa cum se explică în 1.3.4 - Învăţarea genetică - prin
crearea de puncte de tăiere între cele create de matrici duble constă în greutăţile unei reţele. Evoluţia
structurală a SHOCID face uz de două puncte de tăiere, în timp ce primul este ales aleator, dar luând în
considerare faptul că primul punct de tăiere nu poate fi ales atât de departe pentru ca în matrice nu există
o secţiune suficient de lungă rămasă pentru a permite lungimii de tăiere să fie luată pe deplin, aşa cum a
propus cercetarea Heaton. 116 Al doilea punct de tăiere este situat la poziţia .
5.1.2 Algoritm
Atunci când se aplică evoluţia structurală SHOCID pentru un comitet de FFANN-uri, învăţarea de către un
algoritm genetic, sistemul necesită o problemă prezentată pentru a rula prin următorul algoritm:
Început
1. Crearea de populaţii de de ANN-uri cu mmin straturi ascunse, nmin neuroni ascunşi pentru fiecare
strat ascuns.
114
Heaton Research (2005 - 2011) The number of Hidden Layers [2011-28-09]; URL: http://www.heatonresearch.com/node/707
115
Heaton Jeff (2008): Introduction to Neural Networks for Java, 2nd ed.; Chesterfield: Heaton Research, Inc., p. 213 ff.
116
53
artificiale
2. Repetă
f) Se calculează ieşirea de reţea pentru valoarea
g) Evaluează fitness-ul pentru fiecare cromozom:
iii. Calculează eroarea pentru fiecare neuron on
iv. Calculează eroarea pentru fiecare neuron ascuns
h) Selecţia de cromozomi pentru a se recombina

i) Repetă
j) Până când toţi cromozomii selectaţi au fost recombinaţi
13. Repetă
j) dacă n < nmax:
Creşte n cu cn
k) Crearea de populaţii de x ANN-uri cu mcm straturi ascunse, ncn neuroni ascunşi pentru
fiecare strat ascuns.
l) Randomizare de greutăţi şi valorile prag.
m) Repetă
j. Se calculează ieşirea de reţea pentru valoarea

iv. Repetă
n) Până criteriile sunt atinse
o) Determină calitatea valorii iniţiale a arhitecturii de reţea
p) Stochează calitatea valorii a arhitecturii iniţiale de reţea în matricea de calitate.
q) Verificarea
ii. Creşte matricea de eroare pentru RMSE > pentru fiecare set de date de verificare cu
1
r) dacă n == nmax:
s) Creşte m cu cm
14. Până când mmax e atins
Sfârşit
Algoritmul 9 - evoluţia structurală SHOCID
Detaliere:
: numărul de cromozomi
: numărul minim/maxim de straturi ascunse
54
artificiale
: numărul minim/maxim de neuroni de

: Contoare de neuroni ascunşi sau straturi
: intrarea actuală
: RMSE permis
şi sunt determinate pe baza numărului de intrari de neuroni. Ecuaţia
(5-1)
oferă numărul de neuroni ascunşi, care stau la baza determinării numărului minim şi maxim la care va veni
la evoluţie:
(5-2)
şi
(5-3)
Acelaşi lucru este valabil şi pentru stratul ascuns al doilea, dacă evoluţia este aplicată atât de departe, cu
diferenţa că toate numerele de neuroni al evoluţiei primului strat sunt stocate într-o matrice, care servesc ca
bază de calcul pentru nminşi nmax. Dacă, de exemplu, o soluţie din procesul de strat ascuns evolutiv prim are
trei neuroni ascunşi, evoluţia stratulului al doilea ascuns ia acest lucru ca nhşi calculează nminşi nmax din nou.
Algoritmul de asemenea, arată că prima rulare pentru a determina ANN-ul iniţial de calitate trebuie să fie
efectuat la început, imediat cum evoluţia începe.
5.1.3 Determinarea generică a calităţii reţelei artificiale neuronale
Calitatea unui ANN în algoritmii aplicaţi este, pe de o parte determinată de RMSE. Problema este că prin
acumularea de RMSE toţi neuronii de ieşire "nu sunt suficienţi pentru a fi capabili de a determina cea mai
bună reţea a unui proces evolutiv. Acest lucru poate fi explicat prin următorul algoritm:
Început
1. Iniţializează/ resetează calitatea valorilor globale q1,...,q10 şi q1,...,q10 cu 0
2. Repetă
a) Repetă
i. Determinarea calităţii soluţiei curente (RMSE) şi stocarea valorii calităţii (eroarea
fiecărui neuron pentru fiecare set de date) în calitatea valorii totale pentru fiecare set
de date de intrare la:
b) Până când toate seturile de date au fost prezentate

i. Se calculează calitatea generală a arhitecturii curente luând în calcul RMSE
ii. Stocarea qoverall în matricea generală de calitate cu valoarea arhitecturii curente.

3. Până când evoluţia s-a terminat
4. Prezintă cea mai bună soluţie
Sfârşit
Algoritmul 10 - Determinarea calităţii

Detaliere:
q1,...,q10: valorile de calitate situate pe rezultate de calitate ale arhitecturii actuale de la 0.1 la 0.000000001
in: datele de intrare prezentate în seturile de date
55
artificiale
qcur: calitatea arhitecturii curente

qcom: calcul numitorului comun
qoverall: valoarea totală a calităţii arhitecturii actuale
m: multiplicatori predefiniţi, aplicaţi pe o eroare a fiecărui singur neuron in funcţie de locul zecimal
k: parametru de frecvenţă
Acest lucru poate fi explicat mai bine prin compararea a două reţele de A şi B, ambele având un neuron de
ieşire şi au fost prezentate patru seturi de date de intrare (Tabelul 1 - Determinarea calităţii).
Tabelul 1 - Determinarea calităţii

Input Dataset / Output Neuron RMSE ANN A RMSE ANN B
1 0.01 0.1
2 0.01 0.1
3 0.01 0.1
4 0.3 0.05
Acesta este în mod clar că A vine la rezultate mai bune pentru seturile de date de intrare 1, 2 şi 3. Cu toate
acestea, producţia a patra la ieşire prezintă o eroare de 30%, ceea ce este destul de mare. Când se încearcă
să se rezume sau când se calculează o valoare medie a tuturor RMSE-urilor a ambelor reţele, A va avea
rezultate mai bune decât B, deşi B ca un întreg se comportă mai bine decât A. Prin urmare, soluţia este de a
aplica algoritmul introdus. Pentru un ANN A, calitatea generală este
(5-4)
Pentru ANN B, calitatea generală este

(5-5)
unde r este sumarea RMSE-urilor pentru toţi neuronii de ieşire. Ecuaţiile de mai sus, conţin atât
multiplicatorii 10 şi 9, care sunt selectaţi considerând locul zecimal pentru fiecare eroare a neuronului.
Erori mai mari de 0,1 sunt multiplicate cu 10, erorile între 0,01 şi 0,1 cu 9, ..., erori între 1E-9 şi 1E-10 cu
1, ceea ce conduce la o cerere de determinare a calităţii cu erori de 0.000000001 sau 0.0000001%. Mai
departe o multiplicare se efectuează de către parametrul de frecvenţă, care simplifică şi este o diviziune
a numărului de zecimale, cu o zecimală specifică de multiplicare aferentă.
5.1.4 Parametrizarea
Cum evoluţia structurală SHOCID poate fi aplicată nu doar cu o singura metodă de învăţare,
parametrizarea depinde de abordarea aleasă, de exemplu, un algoritm genetic necesită, printre altele, o
dimensiune iniţială a populaţiei, şi propagarea înapoi printre altele adică un impuls.
5.1.5 Utilizare
Evoluţia structurală SHOCID poate fi aplicată cu fiecare feed-forward sau cu ANN recurente, deşi pentru
aplicaţia cu ANN recurente, cum ar fi SRANN, trebuie să fie luate în considerare straturile de context. În
plus, atunci când se aplică evoluţia structurală SHOCID trebuie să se considere că criteriul de oprire pentru
o evoluţie ANN nu trebuie să fie aceeaşi eroare pentru un număr de generaţii . Mai ales atunci când este
utilizat împreună cu SRANN, criteriul de oprire trebuie să fie un număr fix de generaţii până la un maxim
de 10.000 sau o eroare minimă permisă. Acest lucru se datorează faptului că SRANN (şi, uneori, alte
soluţii genetice) au tendinţa de a funcţiona extraordinar de bine (în special pe baza declaraţiilor problemă
de complexitate mai mică), ceea ce face o determinare calităţii reţelei (5.1.3 Determinarea generică de
calitate a unei reţele neuronale artificiale) imposibilă, precum şi calitatea tuturor arhitecturilor în întreaga
evoluţie tinde să devină zero.
5.2 NeuroEvoluţia transgenetică
NeuroEvoluţia transgenetică prin intermediul includerii ambilor simbionţi şi gena de transfer orizontală
este o abordare nouă în procesul de învăţare a reţelelor neuronale artificiale este nevoie de o explicaţie în
detaliu. Algoritmii transgenetici sunt folosiţi pentru efectuarea unei căutări stocastice prin simularea
interacţiunilor endosimbiotice între o gazdă şi o populaţie de endosimbionţi, precum şi schimbul de
56
artificiale
informaţii între gazdă şi endosimbionţi de către agenţi.117Prin combinarea unei abordări de învăţare a
SHOCID cu un organism gazdă, servind ca piscină genetică şi vectorii transgenetici amândouă
performanţele de învăţare şi precizie pot fi crescute într-o măsură considerabilă. Un avantaj este că punerea
în aplicare a vectorilor transgenetici creşte masiv şansa de a duce la îndeplinirea criteriul de oprire, chiar şi
algoritmii de învăţare precum propagarea înapoi nu poate oscila sau se blocheze în minima locală ca
urmare a transferului inevitabil a materialului genetic al gazdei.
5.2.1 Fundamentele
Fundamentele biologice ale algoritmilor transgenetici pentru rezolvarea unor probleme combinatorice NP-
tare deja au fost elucidate în detaliu de Goldbarg & Goldbarg118, dar trebuie adaptată pentru o evoluţie a
ANN. Ca şi în natură, relaţia dintre un organism gazdă şi un simbiont poate fi un avantaj pentru ambele
organisme, şi descendenţii împărtăşesc material genetic atât de la gazdă cât şi de la simbiont. Organismul
gazdă în SHOCID în cea mai mare parte serveşte ca bază de date genetice şi contribuie la soluţia finală cu
gena secvenţială. Endosimbiontul este soluţia reală, care este evoluată până când au fost îndeplinite
criteriile de oprire predefinite. Cu toate acestea, manipularea de material genetic endosimbiont nu se
întâmplă doar prin transfer genic orizontal (succesiune) de materialul genetic ci şi prin unele tipuri speciale
de mutaţie în cromozomii săi, sau în caz de populaţie pe bază de învăţare, genomurile. Ambele schimbări
în ADN-ul endosimbiotic sunt efectuate de agenţi, numiţi vectori transgenetici. SHOCID transgenetic al
NeuroEvoluţiei face uz de următoarele tipuri de vectori:
Plasmidele
o plasmidă de greutate
o plasmidă de structură
Transpozoni
o Transpozoni de salt si schimbare
o Transpozoni de salt si ştergere
Plasmidele sunt utilizate pentru transportul de informaţii genetice de la gazdă la endosimbiont, şi
transpozonii mutează materialul genetic al endosimbiontului. Figura 19 - NeuroEvoluţia transgenetică -
oferă o scurtă prezentare a modului în care funcţionează NeuroEvoluţia transgenetică.
117
118
Berlin Heidelberg: Springer-Verlag, p. 425 ff.
57
artificiale
h1
Host genetic material w i1h
1
wi1
h2
w i1w i1hn
Ge
mid
h3
plas
ne
ctur
e Endosymbiont
se
Stru h2
qu
en
h1
i2
ce
w i2h2
tra
ns
fe
h1
r
1
w
w i1h h1
o1
i1 wi1
wh
h2
h1
1o
w i1w i1hn
n
w
h3 wh2o1 w i1h
1 h1
o1
h2 o1
wh i1 wi1
h1
wh
h2
i2
2o
i2h2
w
w n
1o
w i1w i1hn
wi
n
i2
h3
2h3
o1
w h3 wh2o1
w i2
h2 o1
hn
wh
h1
wh3on
i2
w inh1
2o
h3 on w i2h2
w
n
h 2
wi
w
in
i2 2h3
winh3 o1
w h3
w i2
in
o1
wi
hn
h4 on wh3on
w
nh h4
w inh1
n w h3 on
h2
w
in
winh3
hn in
o1
wi
h4
on
w
nh
n w h4
Weight pla
hn
smid
J&
ST
s fer on
tran ati
rans
ce r
q uen teg
e se -in
pos o
w i2h2
wi Gen Re
n
2h3
w i2
hn
w inh1
o1
h2
w h3
w
in
o1
h4
winh3 w wh3on
wh3on
wi Jump & Swap
nh
n
o1
h4
on
3o1
w
on w h4
wh
w h4
Figura 19 - NeuroEvoluţia transgenetică

Schema arată că partea stângă a gazdei, serveşte ca bază de date genetice pentru gena de transfer orizontal,
efectuată de agenţii vectorului plasmidă. O plasmidă de greutate pe partea stângă jos transportă o secvenţă
de greutăţi la endosimbiont, precum şi o plasmidă structurală la o gazdă mai sus,transferă greutăţile,
deviaţiile şi funcţiile de activare. Pe partea dreaptă un salt şi o schimbare a vectorului transpozon suferă
mutaţii cromozomiale de endosimbiont.
5.2.2 Materialul genetic al gazdei
Gazda în cadrul SHOCID constă în soluţii 'dure' la problema declaraţie, ceea ce înseamnă mai multe
populaţii fiecare constând în mii persoane, fiecare dintre ele fiind obiectul de continuă evoluţie. Prin
urmare, gazda nu este doar un organism, ci mii de organisme în populaţii diferite.
5.2.3 Endosimbiont
În termen de endosimbiont SHOCID este o soluţie simulată a hibridizării ANN, care simulează răcirea
metalului. Vectorii transgenetici sunt aplicaţi în timpul procesului de răcire simulat. Fiecare iteraţie creează
o nouă soluţie posibilă, şi fiecare soluţie nouă trebuie să suporte atacurile amândurora agenţilor vectoriali
atât a plasmidei cât şi a transpozonului pentru a vedea dacă poate fi găsită o soluţie mai bună.
5.2.4 Algoritm
Algoritmul de aplicare a NeuroEvoluţiei transgenetice este după cum urmează:
Început
1. Crearea de populaţii gazdă iniţiale cu indivizi.
2. Pentru fiecare repetă
a) Randomizarea de greutăţi şi valori de prag pentru fiecare cromozom.
b) Repetă
i. Se calculează ieşirea de reţea pentru valoarea
58
artificiale

iv. Repetă
c) Până criteriile sunt atinse
3. Până când evoluţia instabilă ( ) pentru fiecare a fost terminată.
4. Creează soluţia iniţială de ANN şi randomizarea greutăţilor.
5. Repetă
1. Calculează eroarea pentru fiecare neuron de ieşire
3. Setează
b. Repetă
i. Creează un nou ANN şi alege greutăţi în funcţie de T

vi. Se aplică vectorul plasmidă
vii. Dacă este mai bun decât , înlocuim =
viii. Aplicăm vectorul transponzon
ix. Dacă este mai bun decât , inlocuim =
c. Până la maximul de încercări la care ajuns temperatura curentă
d. Scade temperatura
6. Până când temperatura ataşată e atinsă

Sfârşit
Algoritmul 11 - NeuroEvoluţia transgenetică
Detaliere:
nhp: numărul populaţiilor gazdă ce trebuie create
rrmse: rădăcina dură înseamnă eroarea pătrată
C(C): calculul soluţiei curente
C (S): calculul soluţiei iniţiale
C(P): calcul soluţiei plasmidei
C(T): calculul soluţiei tronspozonului
59
artificiale
Algoritmul arată că evoluţia materialului genetic al gazdei se efectuează numai aproximativ, până când
rădăcina dură adică eroarea pătrată a fost atinsă de evoluţia a populaţiei. În cadrul sistemului introdus acest
lucru este permis, RMSE-ul ce a trecut este înmulţit cu 10. Dacă RMSE permis este de 1%, duritatea
RMSE este de 10%.
5.2.5 Transfer genetic (secvenţă) orizontal (endosimbiotic)
Transferul orizontal de material genetic este transferul de material genetic de la gazdă la endosimbiont. De
fiecare dată când vectorul plasmidă este aplicat pe evoluţia endosimbiontului prezent, cea mai bună soluţie
actuală a populaţiei gazdă curente selectate este determinată şi serveşte ca gazda curentă. Vectorul
plasmidă selectează o secvenţă de gene de cromozomi gazdă, o copiază şi o transferă la endosimbiont.
Aplicarea vectorului plasmidă se întâmplă o singură dată în evoluţia iteraţiei ale endosimbiontului. După
cum s-a menţionat mai sus, cea mai bună soluţie actuală (= gazdă) este aleasă de la unul dintre populaţiile
gazdă, unde selecţia celui din urmă se întâmplă aleator, în funcţie de numărul de populaţii gazdă create.
Dacă iniţial au fost create trei populaţii gazdă, probabilitatea pentru fiecare din ele să fie selectate este de
1/3. După selectarea cromozomului gazdă, trebuie să fie determinată secvenţa de gene relevante, care, de
asemenea, se întâmplă aleator. Pentru algoritmii transgenetici a SHOCID este important ca gazda şi
endosimbiontul constau din acelaşi număr de gene, cum pentru secvenţa transferului orizontal de gene
determină lungimea cromozomilor care este luată în considerare. După ce a fost stabilită lungimea
cromozomilor selectaţi, un început aleator şi punctul final este creat, care include secvenţa transferului
genei. Acelaşi punct de început şi sfârşit este folosit pentru a şterge secvenţa de gene în endosimbiont.
Golul este apoi umplut cu secvenţa transferului genetic ai gazdei. Cu toate acestea, atât vechea şi noua
soluţie este apoi comparată în funcţie de calitatea lor şi dacă transferul s-a dovedit a fi evolutiv rezonabil,
noua soluţie va forma baza pentru evoluţia ulterioară, dar dacă nu, transferul genic este reîntors. Aşa cum s-
a menţionat în fundamente, există două tipuri de plasmide. Aplicarea uneia sau a celelalte se întâmplă în
mod aleatoriu cu o probabilitate de 1/2 pentru fiecare.
5.2.5.1 Plasmida de greutate
Greutatea plasmidei ia doar greutăţi între neuronii din considerare. Aceasta înseamnă că o secvenţă de
transfer constă doar în greutăţi, dar nu conţine funcţii de activare sau distorsiuni. Următorul exemplu arată
aplicarea unei plasmide de greutate.
Lungimea cromozomului gazdă este determinată şi o secvenţă aleatoare este selectată:
(5-6)
Cromozomul gazdă are lungime 15, şi secvenţa transferului genei începe cu gena 6 şi se termină cu gena
12. Aceeaşi secvenţă este apoi selectată în endosimbiont:
(5-7)
După aceea, secvenţa de genă endosimbiotică este ştearsă şi înlocuită cu secvenţa de gene gazdă, care
formează un cromozom descendent:
(5-8)
5.2.5.2 Structura plasmidei
Structura plasmidei, în contrar cu plasmida de greutate, conţine toate funcţiile de activare şi acoperă
deviaţiile valorilor secvenţiale de transfer. Acest lucru necesită populaţiilor gazdă diferite sa folosească
funcţii diferite de activare ca un transfer al acestora dacă nu ar fi inutil. Valorile deviaţilor în cadrul
SHOCID evoluează independent în fiecare cromozom din fiecare populaţie gazdă, precum şi în
endosimbiont. SHOCID are grijă atât de funcţiile de activare cât şi de valorile deviaţiilor - nu este nevoie
să interfereze cu sistemul. Exemplul pentru plasmida structurală este acelaşi, cu excepţia faptului că
secvenţa genei conţine, de asemenea, valorile deviaţiilor şi funcţiile de activare. Lungimea cromozomului
gazdă este determinată şi este selectată o secvenţă aleatorie:
(5-9)
Cromozomul gazdă are lungimea de 15, iar secvenţa transferului de gene începe cu gena 6 si se termină cu
gena 12. Diferenţa este aceea că cromozomul de mai sus conţine, de asemenea, informaţiile neuronului, şi
anume funcţiile menţionate de activare şi valorile de deviaţie ale gazdei.
Aceeaşi secvenţă este apoi selectată în endosimbiont:
60
artificiale
(5-10)
Ulterior, secvenţa genei endosimbiontului se şterge şi se înlocuieşte cu secvenţa genei gazdă, care formează
cromozomul descendent:
(5-11)
5.2.6 Mutaţie transpozon
Aşa cum s-a menţionat în fundamente, mutaţia transpozonului nu transferă secvenţele genetice de la gazdă,
dar modifică informaţia genetică în endosimbiont. Ca şi vectorii plasmidei aplicarea vectorilor
transpozonici se întâmplă o singură dată într-o iteraţie evolutivă a endosimbiontului. Un vector transposon
selectează o secvenţă a genei din endosimbiont şi face o mutaţie în funcţie de tipul de transpozon. Din nou,
atât soluţiile vechi cât şi cele noi sunt apoi comparate în funcţie de calitatea lor iar dacă mutaţia
demonstrează ca este evolutiv rezonabilă, noua soluţie va forma baza pentru evoluţia ulterioară, însă dacă
nu, secvenţa mutaţiei de genă este dată înapoi. Aşa cum s-a menţionat în fundamente, există două tipuri de
transpozoni. Aplicarea fiecărui tip de vectori transpozoni depinde de secvenţa genelor selectate aleatoriu în
cromozomul endosimbiotic.
5.2.6.1 Transpozonii de salt si schimbare
După ce lungimea cromozomilor endosimbiotici a fost determinată, un punct de start aleator şi un punct
final sunt create, care includ o secvenţă de genă. Dacă secvenţa de gene constă în două gene, vectorul
transpozonilor de salt şi schimbare este aplicat şi două gene selectate sunt schimbate. Lungimea
cromozomilor ai simbiontului este determinată şi o secvenţă aleatoare este selectată:
(5-12)
Cromozomul gazdă are lungime 15, şi secvenţa de transfer a genei începe cu gena 6 şi se termină cu gena
8. Transpozonul poate fi doar un vector de salt şi schimbare, atunci când lungimea de secvenţa a genei
selectate nu depăşeşte 2. Aceste două gene sunt apoi schimbate, şi formează un cromozom descendent:
(5-13)
5.2.6.2 Transpozon de salt şi de ştergere
În cazul în care lungimea secvenţei genei aleatoare depăşeşte doi, se aplică transpozonul de ştergere şi de
salt. În principiu, acesta funcţionează similar cu transpozonul de salt şi schimbare, cu excepţia faptului că o
gena selectată aleatoriu în cromozom este eliminată şi înlocuită cu o alta aleasă aleatoriu din secvenţă.
Lungimea cromozomului simbiont este determinată şi este selectată o ordine aleatoare:
(5-14)
Cromozomul gazdă are lungimea 15, iar secvenţa transferului de gene începe cu gena 6 si se termină cu
gena 2. Transpozonul poate fi doar un vector de ştergere şi de salt, atunci când lungimea secvenţei genei
selectate depăşeşte 2. În această secvenţă de gene, este o genă selectată la întâmplare şi ştearsă, de exemplu
gena numărul 7:
(5-15)
O altă genă este selectată în mod aleatoriu pentru înlocuirea celei lipsă, în următorul caz gena numărul
10, care formează cromozomul descendent:
(5-16)
5.2.7 Utilizare
NeuroEvoluţia transgenetică poate fi aplicată cu fiecare tip de soluţie ANN, atâta timp cât există atât o
gazdă cât şi un endosimbiont. Este crucial să reprezinte cromozomii şi secvenţele genetice, ca o matrice de
valori, astfel încât transferul şi mutaţia să poată să fi efectuate.
5.3 Imunitatea artificială a sistemului-inspirat NeuroEvoluţie
Sistemul imunitar artificial (AIS), bazat pe NeuroEvoluţie este o combinaţie a unui algoritm de învăţare
genetic şi punctele forte ale unui sistem imunitar artificial, care scade numărul de generaţii necesare pentru
găsirea unei soluţii potrivite într-o masă mare. Acest lucru este realizat printr-o combinaţie de selecţie
clonală şi printr-o hipermutaţie somatică, selecţia negativă şi includerea teoriei pericol în ciclul de evoluţie
al fiecarei populaţii. În plus, cauzalitatea joacă un rol mai important în cadrul paradigmei, cum şi soluţia
populaţiei nu se schimbă din generaţie în altă generaţie, dar, de asemenea, într-o singură generaţie. Pentru
sistemul imunitar, bazat pe operaţiuni contează numai persoanele generaţiei actuale. Mai mult decât atât,
intrările-şi ieşirile unei populaţii în considerare folosesc pentru învăţare într-adevăr o semnificaţie, sau cu
61
artificiale
alte cuvinte de-a lungul timpului nu au o semnificaţie, pentru evoluţia genetică a indivizilor unici
(cromozomi). Cu toate acestea, toate sistemele imunitare pe bază de operaţiuni nu trebuie să considere
acestea, deoarece numai populaţiile actuale contează. Aceasta, ca un întreg, permit conectarea la unul
nou,în cadrul acestei teze prin introducerea paradigmei ANN la conştiinţa-inspirată ANN (4.1.2 Reţea
neuronală corticală artificială).
5.3.1 Fundamentele
Sistemul artificial imunitar (AIS) poate fi descris cel mai bine atunci când se face clasificarea în funcţie de
aplicarea lor. AIS poate fi:
Modele de sisteme biologice imunitare, aşa cum reţelele neuronale artificiale sunt modele simple
ale celor biologice, care pot fi utilizate de imunologi pentru explicaţii, activităţi de experimentare şi
predicţie.
Abstracţii de unul sau mai multe procese imunologice. Din moment ce aceste procese încercă să
protejeze de ex oamenii de la entităţile biologice şi biochimice periculoase, acesta a fost motivat că
acestea pot fi computaţional utile.119
Acesta din urmă este de un interes special pentru teză şi prototipul SHOCID. Mai mult, nu doar o singură
soluţie este creată în timpul antrenamentului, dar populaţiile de soluţii, care permit în primul rând evoluţia
soluţiilor a paradigmelor deja cunoscute ale evoluţiei genetice, sunt:selecţia, împerechereaşimutaţia.
În plus, operatorii imunologici sunt efectuaţi o dată la fiecare generaţie pe populaţia curentă. Astfel, fiecare
individ din fiecare populaţie în considerare este supus schimbării continue, în cazul în care este suficient de
puternic pentru a depăşi selecţia naturală şi de a supravieţui invazii altor populaţii. Operaţiunile bazate pe
AIS care se efectuează sunt:selecţia clonală,hipermutaţia somatică, teoria pericoluluişiselecţia negativă.
Operaţiunile din urmă, de asemenea, nu se întâmplă oricum, ci o dată la fiecare generaţie de indivizi. Cu
toate acestea, există un eveniment suplimentar care este probabil să apară şi care influenţează mărimea şi
structura populaţiilor, în special o infecţie cu viruşi. Un virus reduce numărul de indivizi într-o populaţie,
în caz contrar selecţia clonală. Astfel, mecanismele pentru controlul dimensiunii populaţiei trebuie să fie
puse în aplicare. Aceste mecanisme sunt: eliminarea indivizilor,hiperrecombinaţia şicontrolul naşterii.
Cum selecţia naturală are loc numai din generaţie în generaţie, şi nu în cadrul unei generaţii, o parte din
procesele imunologice, cum ar fi selecţia clonală, ar creşte numărul de populaţie peste valoarea iniţială,
care serveşte ca un prag al numărului populaţiei şi nu trebuie să fie depăşit în cadrul SHOCID. Potrivit cu
aceasta, numărul de prag va fi depăşit şi de asemenea trebuie să servească ca valoare pentru operatorul de
eliminare, care apoi elimină exact acest număr de persoane începând de la persoana care posedă cea mai
proastă calitate. Hipercombinaţia este iniţializată atunci când mărimea unei populaţii a scăzut rapid din
cauza unui atac de virus şi întotdeauna lucrează împreună cu controlul naşterilor, precum şi
hipercombinaţia într-o populaţie este permisă numai atâta timp cât pragul numărului populaţiei nu a fost
depăşit. În plus, aceasta este o parte a teoriei pericolului explicată mai jos, unde indivizii slabi care au
decedat de moarte nenaturală din cauza unui atac de virus sunt înlocuiţi de cei puternici. Pragul numărului
populaţiei este stabilit ca şi ţintă şi este de a evolua în permanenţă o populaţie faţă de o super-populaţie,
fiecare individ unic constând din material genetic valoros.
5.3.2 Selecţia clonală şi hipermutaţiile somatice
Potrivit teoriei selecţiei clonale a lui Burnet din 1959,120repertoriul sistemului imunitar este supus unui
mecanism de selecţie în timpul vieţii individului. Teoria afirmă că prin legarea cu un antigen adecvat, are
loc activarea limfocitelor. Odată activat, clonele limfocitelor sunt produse exprimând receptori identici cu
limfocitele originale, care au întâlnit antigenul. Astfel, apare o expansiune clonală a limfocitelor originale.
Acest lucru asigură că doar limfocitele specifice pentru activarea unui antigen sunt produse în număr mare.
Teoria selecţiei clonale, de asemenea, a declarat că orice limfocită având receptori de antigen molecule
specifice ale organismului corpului propriu trebuie să fie şterse în timpul dezvoltării sale. Acest lucru
asigură că doar antigenii de la un agent patogen ar putea provoca o limfocită pentru a o extinde prin clonare
şi, astfel, se obţine un răspuns imun adaptativ distructiv. În acest sens, sistemul imunitar poate fi privit ca
un clasificator de antigeni fie în fiecare antigen de sine sau antigen de non-sine, presupunând că este de la
119
Garrett Simon M. (2005): How Do We Evaluate Artificial Immune Systems?; Evolutionary Computation 13(2): 145-178
120
Burnet Frank M. (1959): The Clonal Selection Theory of Acquired Immunity. Cambridge University Press
62
artificiale
un agent patogen şi, astfel, trebuie să fie eliminat din organism.121 În plus, trebuie să menţionăm că mutaţia
este descrisă ca hipermutaţie somatică, care prevede că factorul de mutaţie este mult mai mare decât în
procedurile obişnuite de mutaţie. Astfel, teoria de selecţie clonală explică modul în care limfocitele (B şi T)
sunt activate prin legarea acestora la antigeni adecvaţi. Odată ce această activare s-a întâmplat, aceste
limfocite speciale sunt clonate de către un factor - cu cât mai bun este răspunsul la un antigen, cu atât
factorul de clonare va fi mai mare. Cu cât mai mic este răspunsul lor, cu atât mai slab este factorul de
clonare, care asigură faptul că sistemul imunitar produce într-o cantitate mare numai limfocite specifice
unui antigen. În cadrul algoritmului propus, selecţia clonală în cadrul unei populaţii se întâmplă o dată în
fiecare generaţie de indivizi. Cu alte cuvinte, selecţia clonală este aplicată înainte de toţi operatorii genetici
si operaţiile au fost aplicate pe o populaţie luată în considerare. După fiecare generaţie calitatea celei mai
bune soluţii este determinată, de exemplu, prin calcularea rădăcinii la pătrat unitare medii de eroare în
conformitate cu 5.1.3 Determinarea generică a calităţii reţelei neuronale artificiale sau alte măsurători de
întreţinere pentru fiecare individ. Fiecare individ care nu îndeplineşte cerinţa minimă de fitness este
eliminat din populaţie. Populaţia rămasă este apoi ridicată din nou de clone ce aparţin genomului celui mai
performant din populaţia rămasă. Să presupunem că numărul de indivizi intr-o populaţie este de 5.000 şi
2450 nu îndeplinesc cerinţele minime de calitate. Aceştia sunt apoi eliminaţi, astfel încât rămân doar 2550
indivizi in populaţie. Cel mai performant individ este apoi clonat şi mutat de 2450 de ori, ceea ce ridică din
nou numărul de genomi din populaţie la 5.000. De aceea, individul cel mai performant şi clonele sale ar
face apoi aproape o jumătate din populaţia totală. Cu toate acestea, cum numărul mare de indivizi identici
genetic reduce versatilitatea unei populaţii, fiecare dintre aceste clone este mutată fie printr-un factor de
mutaţie standard slăbit pentru ca materialul genetic avansat sa fie conservat. Pentru asta, algoritmul pur
şi simplu împarte mutaţia standard a factorului cu doi. Desigur, aleatoriu joacă un rol doar cu un factor
în care mereu va fi creată aceeaşi clonă. Formula arată valoarea unei singure gene a cromozomului după
mutaţia slăbită:
(5-17)
unde este valoarea genei după mutaţie şi valoarea genei înainte de mutaţie; este un număr
aleatoriu. A doua jumătate a clonelor trebuie să se supună hipermutaţiei somatice, ceea ce înseamnă că
materialul genetic de bază rămâne acelaşi, dar este mutat cu un factor mai mare, care trebuie să fie definit
separat. Hipermutaţia se realizează în acelaşi mod ca mutaţia slăbită, singura diferenţă fiind că mutaţia
factorului este mai mare. Pentru SHOCID, este majorat cu jumătate. Ceea ce trebuie să fie luat în
considerare la urma urmei este mărimea pragului populaţiei, care nu este niciodată depăşit din cauza unor
eliminări controlate a indivizilor. Referindu-se la exemplul de mai sus şi la evoluţia genetică standard,
selecţia naturală are loc numai din generaţie în generaţie, dar nu în termen de o singură generaţie. În plus,
pe măsură ce populaţia constă într-un număr mai mare de indivizi de înaltă calitate, în comparaţie cu
evoluţia genetică standard, procentajul să se împerecheze, a fost majorat de asemenea de la standardul de
25% la 50% pentru un AIS-inspirat al NeuroEvoluţiei, cel puţin până la 80% din seturile de date de intrare
ale unei declaraţii a problemei-DM au fost cu succes învăţate în conformitate cu funcţia de fitness. După
aceea, acesta este redus la 25%, pentru a permite populaţiei să păşească uşor spre succesul de învăţare.
5.3.3 Teoria pericolului, atacul virusului şi hiperecombinaţia
Teoria pericolului122 a fost iniţial propusă în 1994, şi de atunci a devenit populară în rândul imunologilor ca
o explicaţie pentru dezvoltarea toleranţei periferice (toleranţă la agenţii din afara gazdei). Rezumând, teoria
pericolului susţine că celulele antigen-prezentate (APC) se activează singure prin intermediul unei alarme:
un semnal de pericol, care le permite să furnizeze necesarul de semnale co-stimulatoare la celulele
ajutătoare T care controlează ulterior răspunsul imun adaptativ. Semnalele de pericol sunt emise de celulele
obişnuite ale corpului care au fost rănite din cauza unui atac de agent patogen, de exemplu, ar putea oferi
astfel de semnale a conţinutului intra-celular eliberat ca urmare a celulelor moarte necontrolate (necrotice).
Astfel de semnale sunt detectate de către celulele specializate ale sistemului imunitar înnăscut numite
celule dendritice, care par să aibă trei moduri de funcţionare: imatur, semi-matur si matur. În starea
dendritică a celulelor imature se colectează antigen, împreună cu semnalele de siguranţă şi pericol din
121
AISWeb (2012): Immune-Inspired Algorithms [2012-03-13]; AISWeb; URL: http://www.artificial-immune-systems.org/algorithms.shtml
122
Matzinger P. (2002): The Danger Model: A renewed sense of self. Science, 296(5566): 301–305
63
artificiale
mediul său local, cum ar fi microorganisme patogene asociate modele moleculare (PAMP) şi citocine
inflamatorii. Celula dendritică este capabilă să integreze aceste semnale pentru a fi în măsură să decidă
dacă mediul este sigur sau periculos. Dacă este în condiţii de siguranţă, celulele dendritice devin semi-
mature şi la prezentarea antigenului la celule T de celule dendritice va duce la celulele T de toleranţă. Dacă
este periculos, celulele dendritice devin mature şi provoacă ca celula T-reactivă să devină reactivă pe
antigenul-prezentare.123
De aceea, teoria pericolului explică modul în care funcţionează răspunsul imun la celulele nocive şi de ce
alte bacterii care nu sunt dăunătoare nu sunt atacate. Indiciul este că celulele stresate au un fel de semnal de
alarmă. Celulele pot muri în două moduri: prin moarte apoptotică, moarte normală care a fost solicitată de
către sistemul de semnalizare intern al organismului, sau prin necroză, o formă de moarte neaşteptată
cauzată de ceva ce nu este în regulă cu celula, care provoacă de multe ori un răspuns inflamator.
Matzinger124 a sugerat faptul că sistemul imunitar este activat particular prin necroză celulară. 125 Teoria
pericolului în cadrul algoritmului introdus funcţionează similar cu paradigma naturală, pentru că persoanele
infectate sunt eliminate din populaţie prin operaţii pe bază de AIS. Infecţia se întâmplă prin intermediul
unui virus, sau în termeni SHOCID, prin operatorul virus. Operatorul virus atacă doar indivizi speciali, şi
anume cei slabi, întrucât nu deranjează indivizii puternici. Acum întrebarea este ce califică un individ ca
fiind puternic sau ce îl face slab? Din nou, puterea este determinată de o funcţie de fitness al individului în
cauză (în cazul SHOCID este mentionat RMSE). Operatorul virus, prin urmare, afectează şi elimină toţi
indivizii sub o calitate specifică, care sunt de calitatea cea mai proastă performanţă a unui individ din
populaţia trecută. Prin urmare, operatorul virus al teoriei pericol nu poate lovi până ce a doua generaţie a
fost creată, precum şi RMSE unificat al celui mai slab individ din prima generaţie serveşte la eliminarea
pragului pentru virus. Toţi indivizii eliminaţi trebuie sa fie înlocuiţi, precum şi dimensiunea finală a
fiecarei generaţii a populaţiei trebuie să fie aceeaşi ca mărimea populaţiei iniţiale. Astfel, se aplică un alt
mecanism de control al dimensiunii populaţiei, numit hiperrecombinaţie. Hiperrecombinaţia se întâmplă
doar în cadrul unei populaţii, cum ar fi selecţia clonală şi hipermutaţia somatică motiv pentru care toate
persoanele rămase ale populaţiei decimate de virus primesc privilegiul de a se recombina, în mod contrar
cu recombinarea generaţilor standard ,unde doar un anumit procent din cei mai buni îl primeşte.
Recombinarea apoi se întâmplă aleatoriu şi, atâta timp cât permite controlul naşterilor, sau în alte cuvinte,
sau atâta timp cât pragul numărului populaţiei nu a fost depăşit.
5.3.4 Selecţia negativă
Selecţia negativă a fost introdusă de Forrest126 în 1994 şi se referă la procesul de ştergere a limfocitelor
autoreactive, care este numit ştergere clonală şi se realizează printr-un mecanism numit selecţie negativă
care operează pe limfocite în timpul lor de maturizare. Pentru celulele T acest lucru apare în principal în
timus, care oferă un mediu bogat în antigenul celulelor prezentate care prezintă antigenii de sine. Celulele
T imature de care se leagă puternic aceste auto-antigeni suferă o moarte controlată (apoptoza). Astfel,
celule T ce supravieţuiesc acestui proces ar trebui să fie nereactive la antigenii de sine. Proprietatea
limfocitelor ca să nu reacţioneze la sine este numită toleranţă imunologică. 127 Astfel, teoria selecţiei
negative afirmă că limfocitele autoreactive sau periculoase sunt eliminate în loc să li se permită să se
maturizeze. În cadrul SHOCID, testele reacţiei de sine sunt efectuate cu fiecare nouă soluţie copil originară
din două soluţii de tip părinţi în generaţia întinsă standard de recombinare. Fiecare individ nou trebuie să
arate reacţia sa faţă de un operator selecţie negativă, care apoi marchează o soluţie precum ştergerea
candidatului pentru operatorul de eliminare sau să-l lase neatins. În cadrul SHOCID, operatorul selecţie
negativă verifică dacă un nou-născut individual este de calitate (conform 5.1.3 Determinarea generică de
calitate a reţelelor neuronale artificiale) este sub un prag dinamic calculat şi anume valoarea calităţii cea
mai slabă a genomului a calităţii erorii de ultima generaţie , care de asemenea găseşte
aplicarea în cadrul teoriei pericolului. Soluţii cu o calitate sub acest prag nu ar supravieţui foarte mult timp,
123
124
Matzinger P. (2002): The Danger Model: A renewed sense of self. Science, 296(5566): 301–305
125
Garrett Simon M. (2005): How Do We Evaluate Artificial Immune Systems?; Evolutionary Computation 13(2): 145-178
126
Forrest S., Perelson A. S., Allen L., Cherukuri R. (1994). Self-nonself discrimination in a computer. In Proceedings of 1994 IEEE Symposium on Research in
Security and Privacy, 132–143
127
64
artificiale
dar dacă sunt selectate pentru ştergere înainte ce se aplică evoluţii viitoare, locul este dat pentru noi soluţii.
Împerecherea continuă atâta timp cât are nevoie să ajungă la pragul numărului populaţiei, la fel cum mulţi
indivizi sunt selectaţi negativ. Să presupunem, că pragul numărului populaţiei este de 10, iar evoluţia de la
populaţia iniţială la un punct în timp t la populaţia la punctul în timp t +1 produce 3 soluţii , cu o valoare
de calitate de sub calitate , apoi generaţia la t +1 ar consta numai din 7 indivizi. Astfel,
calitatea indivizilor noi-născuţi este verificată după fiecare recombinare de doi cromozomi părinţi şi, în
cazul în care criteriile de selecţie sunt îndeplinite se aplică selecţia negativă. Cu toate acestea, evoluţia
continuă până atunci pragul de 10 este atins din nou, şi nu până atunci când noua generaţie este pregătită
pentru evoluţii viitoare. Ca valoare este necesară, de selecţia negativă care nu poate fi
aplicată până la a doua generaţie. La o prima vedere s-ar putea spune că nu este nevoie de aplicarea
selecţiei negative, după cum teoria pericol elimină, de asemenea, indivizii de calitate inferioară. Cu toate
acestea, în cazul în care soluţii foarte slab performante sunt eliminate din populaţie, cât mai curând posibil,
aşa cum se întâmplă cu selecţia negativă, atunci calitatea generală a unei populaţii este crescută în avans.
5.3.5 Algoritmul general
Astfel, algoritmul de ansamblu ca o combinaţie a tuturor paradigmelor şi a metodelor menţionate este, după
cum urmează:
Început
1. Creează o populaţie ANN iniţială şi randomizează greutăţi.
2. Repetă
b) Evaluează fitness-ul pentru fiecare cromozom:
Calculează eroarea pentru fiecare neuron de iesire
Calculează eroarea pentru fiecare neuron ascuns
c) Selecţia de cromozomi pentru a se recombina

d) Repetă
========================Selecţia negativă===================
iii. Verifică calitatea urmaşilor
iv. Dacă calitatea urmaşilor actuali < 0.1
1. Elimină urmaşul actual
2. Repetă
Se recombină cromozomii selectaţi din nou
3. Până când calitatea urmaşilor actuali < qualitycworst(t-1)
e) Până când toţi cromozomii selectaţi sunt recombinaţi
f) Setează
=================== Selecţia clonală & hipermutarea ===============
a) Determină cel mai bun cromozom de
b) Pentru fiecare c de C(C)
i. Determină calitatea
ii. Dacă curentul cromozomului este sub minimul de fitness
elimină din C(C)
c) Până când s-a întâmplat clonarea de ori
d) Repetă
iii. Clona
iv. dacă clona actuală are număr par
Mutaţia slăbită de
v. altfel
65
artificiale
Hipermutaţie de
e) până când mărimea populaţiei iniţiale a fost restaurată
==============Teoria pericolului, atacul virusului şi hiperrecombinarea===========
a) Stochează calitatea valorii ale celor mai proaste performanţe individuale iworst
b) dacă generaţia > 1
i. Pentru fiecare
1. Compară calitatea c(t) cu cworst (t-1)
2. Dacă qualityc(t) mai rea decât qualitycworst(t-1)
ii. Repetă
1. Trece peste toţi cromozomii (hiperrecombinarea)
2. Mutarea hiperrecombinată a urmaşilor
ii. Până când pragul numărului de populaţii a fost atins din nou
3. Până când criteriile sunt îndeplinite
Sfârşit
Algoritmul 18 - Sistemul imunitar inspirat NeuroEvoluţie
5.3.6 Cauzalitatea
Mai mult decât în alte abordări evoluative, cauzalitatea joacă un rol major atunci când se aplică sistemului
imunitar-inspirat de NeuroEvoluţie, se aplică nu numai evoluţia standard dar şi evoluţia actuală. Pentru o
astfel de evoluţie, indivizii, operatorii genetici şi operaţiile se bazează pe sistemul imunitar. Nu este
important, ce intrări sunt sau ce persoane sunt dispuse sa înveţe. Aceasta este trecerea la Katz şi teoria lui
despre cum se reduce funcţionalismul. Premisa cheie a reducerii funcţionalismului, astfel cum se explică în
cadrul 4.1.2 - Reţele corticale neuronale artificiale - sunt singura cauză care contează în determinarea
conţinutului conştienţei. Astfel, doar conexiunile curente de neuroni în cadrul populaţiilor contează pentru
mai multe dintre operaţiunile efectuate. Nu este important, care sunt intrările şi ieşirile pentru fiecare
cromozom contează doar existenţa şi capacitatea lor de manipulare.
5.3.7 Utilizare
AIS-ul a inspirat NeuroEvoluţia care poate fi aplicată cu orice ANN feed-forward sau recurent. Ca o
abordare de învăţare genetică, performanţă de învăţare puternică depinde de dimensiunea genetică (o
piscină mai mică va necesita mai multe generaţii pentru construirea soluţiei dorite în timp ce o piscină
genetică mai mare va funcţiona mai bine în termeni de generaţii, dar mai rău în termeni de calcul timp).
6 O abordare de calcul cuantic

Prin intermediul reţelelor neuronale artificiale cuantice cercetarea oferă o perspectivă asupra învăţării
cuantice, cum mai devreme sau mai târziu computerele cuantice vor înlocui maşinile clasice von
Neumann. Deşi introducerea reţelei neuronale artificiale cuantice este clasic pentru feed-forward ANN-ul
foloseşte efectele mecanicii cuantice. Deşi formarea de astfel de maşini von Neumann este destul de lentă
si se poate aplica practic, astfel pot fi utilizate pentru a simula un mediu potrivit pentru calculul cuantic, aşa
cum teorema stabilită necesită dovezi. Aceasta este rezultatul a ceea ce s-a realizat în faza de cercetare.
6.1.1 Sistemul cuanticelor
Există mai multe aspecte importante în mecanica cuantică, care sunt de folos pentru informatica cuantică,
care trebuie să fi elucidate în detaliu. Practic, o reţea neuronală artificială cuantică (QANN) este definită ca
un sistem fizic al cărei apariţii multiple (reţele componente) sunt instruiţi în conformitate cu un set de
modele de interes. Astfel, este un sistem fizic instanţial dintr-un set de parametri fizici,128 care nu este
diferit de alte sisteme fizice. Cu toate acestea, prima distincţie apare în procesarea informaţiilor. În cazul în
care în informaţia clasică a computerului este procesată în biţi pe cel mai granular nivel, informaţiile unite
pe un computer cuantic fac uz de sunt biţi cuantici, exprimate Qbits, unde autorul utilizează aceleaşi idei ca
fizicianul David N. Mermin, care refuză să utilizeze abrevierea qubit. Într-un sistem de două stări cuantice,
starea şi , care la prima vedere arată similar cu stările clasice o calculatorului von Neumann (0 şi 1),
128
Singh Gurwinder (2009): Quantum Neural Network Application for Weather Forecasting; Thapar: Thapar University
66
artificiale
constituie baza. Suprapunerea a două stări independente este informaţia ce conţine un Qbit, care este
descrisă ca
(6-1)
în cazul în care probabilitatea amplitudinilor şi , care propune probabilitatea că Qbit este fie asociat cu
una sau cu cu celelalte stări, sunt numere complexe care în puterea pătratică trebuie să se rezume la unitate:
(6-2)
Astfel, starea asociată cu un Qbit poate fi orice vector unitate în spaţiu vectorial bidimensional calibrat
de şi peste numere complexe, în care şi sunt două numere complexe limitate numai de cerinţa
că , ca şi , trebuie să fie un vector unitate în spaţiul vectorial complex. În plus, în prealabil
indicat, despre un Qbit nu se poate spune ca are o valoare, el este asociat cu o stare în contrar cu un bit
clasic, care poate fi spus că are o stare concretă.129 Un sistem cuantic compus din n Qbiţi are stări
independente obţinute prin produs tensorial abordat deja de vectorul spaţiu complex. Este important să ştim
că spaţiul sistemelor cuantice cu funcţia de undă există în spaţiul Hilbert, care constă într-un set de stări .
Astfel, un sistem cuantic poate fi, de asemenea, descris de
(6-3)
în cazul în care descrie coeficienţii complecşi, şi este descris în prealabil ca şi probabilitatea amplitudinii.
6.1.2 Teoria cuantică
Teoria cuantică (ca toate teoriile fizice) poate fi caracterizată în funcţie de cum reprezintă stările (fizic),
observaţiile, măsurătorile şi dinamica (evoluţia în timp).130 Cum Jyh Ying Peng explică axiomele de
mecanică cuantică foarte bine în notiţele lui de curs, acestea au format fundamentul pentru capitolele
următoare.
6.1.2.1 Stări cuantice
O stare într-un sistem comun fizic este descrisă complet. În mecanica cuantică, o stare este o rază în spaţiul
Hilbert, unde spaţiul Hilbert este un vector spaţiu peste câmpul de numere complexe, notat cu C. Vectorii
din spaţiul Hilbert sunt notaţi cu ketul Dirac cu notare . Un ket este un vector de n elemente sau o
matrice de n x 1, unde n formează dimensiunea spaţiului Hilbert şi corespunde bra fiind conjugata
transpusă a ket-ului. În interior poate fi văzut ca o matrice de multiplicare ordonată a cartografierii
vectorilor C, ce are unele proprietăţi speciale:
Pozitivitate
(6-4)
Liniaritatea
(6-5)
Simetria oblică
(6-6)
În plus, spaţiul Hilbert este complet în norma
(6-7)
O rază într-un spaţiu Hilbert este reprezentată de un vector dat. Doi vectori diferiţi (raze) nu vor fi niciodată
paraleli în acel spaţiu. Razele sunt reprezentate de vectori cu unitate de norma:
(6-8)
pentru că , în cazul în care:
(6-9)
reprezintă aceeaşi stare fizică pentru toţi . Prin suprapunerea:
(6-10)
pot fi formate noi stări şi faze relative între două componente este relevant fizic, ceea ce înseamnă că:
(6-11)
şi:
(6-12)
129
Mermin David N. (2007): Quantum Computer Science: An Introduction; Cambridge: Cambridge University Press
130
Jyh Ying Peng (2003): Quantum Computation Lecture Notes [2012-10-06]; URL: http://red.csie.ntu.edu.tw/QC/peng/chap1.pdf
67
artificiale
reprezintă aceeaşi stare fizică:

(6-13)
131
este una diferită.
6.1.2.2 Observaţiile
O proprietate a unui sistem fizic este că acesta poate fi măsurată. Acest lucru nu este diferit în mecanica
cuantică, în cazul în care o observaţie este un operator de auto-adjunct, astfel o matrice, şi o hartă liniară ia
vectori cu vectori. Acest lucru este reprezentat de metrici. Pentru un operator:
(6-14)
şi
(6-15)
şi adjunctul unui operator este definit de:
(6-16)
în cazul în care denota pentru toţi vectorii , . În formă matricea adjunctă este reprezentată
ca transpusa conjugată. A este auto-adjuncta, dacă Vectorii proprii corespunzătoare matricei auto-
adjuncte, de valori proprii, formează o bază complet ortonormată în spaţiul Hilbert.132
6.1.2.3 Măsurătorile cuantice
Formularea mecanicii cuantice descrie evoluţia deterministă unitară a unei funcţiei de undă, care nu este
niciodată observată experimental şi care permite să se calculeze probabilitatea şi că anumite evenimente
macroscopice vor fi respectate. Momentan nu sunt evenimente şi nici vreun mecanism pentru crearea de
evenimente din modelul matematic. Acesta este dihotomia dintre modelul funcţiei de undă şi evenimentele
observate macroscopic, care este sursa problemei de interpretare în QM. În mod contrar, cu fizica clasică
unde modelul matematic face referire la lucrurile care pot fi observate, în mecanica cuantică modelul
matematic nu produce observaţii de unul singur, deoarece funcţia de undă trebuie să fie interpretată în
scopul de a se raporta la observaţiile experimentale. 133Rezultatul numeric al măsurării a observaţiei A este
o valoare proprie a lui A, şi imediat după măsurarea stării cuantice devine tot o valoare proprie a lui A
corespunzând rezultatului măsurării, iar dacă starea cuantică înainte de măsurare este , apoi
rezultatul se obţine cu probabilitatea
(6-17)
Ca o consecinţă, starea normalizată cuantică devine
(6-18)
În cazul în care măsurarea se repetă imediat, acelaşi rezultat ar fi obţinut cu probabilitatea unuia. 134
6.1.2.4 Dinamica cuantică

Evoluţia în timp a unei stări cuantice este unitară, şi o transformare unitară poate fi văzută ca o rotaţie în
spaţiu Hilbert. Aceasta este generată de un operator auto-adjunct, numit Hamiltonianul sistemului. În
imaginea Schroedinger a dinamicii, starea vectorului descrie cum sistemul evoluează în timp în funcţie de
ecuaţia lui Schrödinger
(6-19)
unde H este Hamiltonianul.135

6.1.3 Efecte cunatice
Următoarele efecte cuantice trebuie să fie înţelese cât mai bine (de fapt, nu toate dintre ele au fost deja
înţelese în lumea fizicii).
6.1.3.1 Linear superposition
131
132
133
Budnik Paul: The measurement problem [2012-10-06]; URL: http://www.mtnmath.com/faq/meas-qm-2.html
134
135
68
artificiale
Superpoziţia liniară sau coerenţa, ceea ce duce la paralelismul cuantic, este reprezentată de starea cuantică:
(6-20)
în spaţiul Hilbert, cu coeficienţi complecşi şi un set de stări în spaţiu. Mecanica cuantica spune că
interacţiunea unui sistem cu mediul său duce la distrugerea superpoziţie sale. Acest lucru permite concluzia
că construirea unui computer cuantic care nu va fi influenţat de propriile sale proprietăţi fizice irelevante
este dificilă. Coeficienţii indică faptul că sistemul este asociat cu starea când masurătoarea are loc. La
început a fost menţionat că suma coeficienţilor trebuie să ajungă la unitate, care se bazează pe faptul că un
sistem fizic trebuie să se restrangă la o stare de baza. Rezumând, superpoziţia liniară conţine toate
configuraţiile posibile ale unui sistem cuantic la un moment dat, până când măsurarea se face, ceea ce duce
la un colaps sau decoerenţă.
6.1.3.2 Operatori cuantici
Pentru a fi în măsură să desfăşurăm operaţii pe un computer cuantic, sunt necesari operatorii similari unui
calculator clasic von Neumann. Operatorii întrun spatiu Hilbert descriu modul în care o funcţie de undă se
transformă în alta. Ele pot fi reprezentate ca matrici care acţionează pe vectori, unde notaţia indică un
vector coloană şi vectorul rând complex conjugat. Folosind operatori, ecuaţia (6 - 20) poate fi creată.
Soluţiile pentru astfel de ecuaţii sunt numite eigenstatesşi pot fi utilizate pentru a construi baza unui
spatiu Hilbert. În formalismul cuantic, toate proprietăţile sunt reprezentate ca operatorii ale căror
eigenstates sunt baza pentru spatiul Hilbert asociat cu acea proprietate şi ale căror valori proprii sunt
valorile cuantice permise pentru acea proprietate. Din nou, este de maximă importanţă să menţionăm că
operatorii din mecanica cuantică trebuie să fie operatori liniari şi că acestia trebuie să fie unitari.136
6.1.3.3 Interferenţa cuantică
Interferenţa cuantică, deşi este un fenomen de undă cunoscut, este unul dintre principiile cele mai
interesante ale mecanicii cuantice. Luând în considerare undele, cum interferează în mod constructiv cu
celelalte atunci când sunt în fază şi cum interferază distructiv atunci când nu sunt în fază. În mecanica
cuantică, această interferenţă se aplică în cazul undelor de probabilitate, unde funcţia de undă interferează
cu ea însăşi prin acţiunea unui operator.Experimentul Thomas Young dublu-fantă descrie ce produce
interferenţa confuzie în mecanica cuantică.
6.1.3.4 Quantum entanglement
Spre deosebire de biţi dintr-o maşină von Neumann, a cărei stare generală nu poate fi decât unul dintre
cele produse de şi e, o stare generală de n Qbits este o suprapunere a acestor state produs şi nu
poate, în general, să fie exprimată ca un produs de orice set de 1-Qbit state. Qbits individuale care
alcătuiesc un sistem multi-Qbit nu pot fi întotdeauna caracterizate ca având stări individuale ale lor - în
contrast cu biţii dintr-o maşină von Neumann - care este o stare nonproduct şi se numeşte stare încurcată.
Atunci când se măsoară o Qbit A şi obţinenem rotire în sus (în jos), apoi Qbit B (pe care nu este dat acces)
va fi, de asemenea, în stare de spin în sus (în jos), în mod similar pentru măsurători pe Qbit B. Un alt mod
de a privi la acest lucru este faptul că, în această corelaţie particulară dintre cele două Qbits, care este,
starea particulară a întregului sistem, orice pregătire doar a unuia dintre Qbits va determina ca ceilalţi
Qbits să aibă aceeaşi valoare. În acest caz, Qbits A şi B sunt încurcaţi. Atunci când sistemul A devine
amestecat datorită interacţiunii cu sistemul B, se poate spune că cele două sisteme sunt încurcate. Mai mult
decât atât, această încurcătură distruge coerenţa sistemului A, iar sistemul A se prăbuşeşte dinsuprapunerea
iniţială a stărilor spre una din stări, fiecare având o anumită probabilitate. 137 Pentru un cercetător în
domeniul calculatoarelor care încearcă să întrebuinţeze proprietăţile unui calculator cuantic,
entanglementul cuantic s-ar putea să nu fie atât de dificil, luând in considerare faptul că atunci când un bit
este in starea , altul este la fel. În schimb în lumea fizicii entanglementul nu este atât de bine înţeles,
precum este întradevăr clar, ce efecte are dar nu cum funcţioneaza. Ce face ca entanglementul sa fie puţin
cunoascut este faptul că stările cuantice există ca suprapuneri, aceste corelaţii există aşa atunci când
coerenţa este pierdută (ex. Prin măsurare), apoi corelaţia corectă este cumva comunicată între Qbits, acest
”cumva” este necunoscut. 138 Matematic, Ricks şi Ventura139 ofera o descriere detaliată a entanglementului
136
137
138
Ricks Bob, Ventura Dan (2003): Training a Quantum Neural Network; Provo: Brigham Young University
69
artificiale
prin formalismul matricei de densitate: matricea de densitate a unei dimensiuni cuantice este definită
ca:
(6-21)
Un exemplu este starea cuantică:
(6-22)
Forma vectorului de intrare este scrisă ca:

(6-23)
iar matricea de densitate:

(6-24)
Starea cuantică:
(6-25)
Are matricea de densitate:

(6-26)
Unde matricele şi vectorii sunt indexaţi de pabels-urile de stare 00,…,11. poate fi descompus în factori
ca:
(6-27)
reprezentând tensorul produsului. nu poate fi descompus în factori ceea ce îl declară ca

entanglement. Cele mai simple stări de entanglement dintre două Qbits sunt stările Bell, cunoscute şi ca
stări de entanglement maxim a doi Qbits.140
(6-28)
(6-29)
(6-30)
(6-31)
Aceste stări determina dacă doi indivizi A şi B, adesea intitulaţi Alice şi Bob, posedă fiecare unul din doi
Qbiţi entanglement-ati, descrişi în stări Bell prin subscripţia lui A şi B. Dacă A decide sa măsoare Qbiţi
înrudiţi, atunci rezultatul nu poate fi prevăzut ca:
(6-32)
Şi prin urmare cu probabilitatea ca sau să fie măsurate. Însă, potrivit entanglementului cuantic, B ar
putea măsura acum la fel. Asta se întampla deoarece starea finala poate sa rezulte doar dacă Qbit-ul lui
A să fie in starea .
139
140
Bell John S. (1987): Speakable and Unspeakable in Quantum Mechanics, Cambridge: Cambridge University Press
70
artificiale
6.2 Reţele neuronale cuantice artificiale

În cele ce urmează, sunt prezentate mai multe prototipuri diferite de inteligenţă artificială141,142,143, unele
dintre ele foarte diferite faţă de structurile ANN (artificial neural network) explicate cum ar fi punctual
cuantic144, lattice cuantică145 sau schimbarea fazei ANN-urilor. Prezentarea se concentrează pe structurile
cu transmitere înainte clasice, cu diferenţa că greutăţile sunt transformate în suprapuneri în locul schimbării
în mică masură a cunoştinţei. ANN-ul cuantic SHOCID se foloseşte de efectele cuantice simulate pentru a
învaţa. Astfel, ANN-ul este supervizat şi are nevoie de un profesor. Pentru reteaua cuantică neuronală
artificială introdusă, în special pentru simularea teoremelor de mecanică cuanticăşi pentru paradigmele:
paralelismului cuantic, entanglementului şi interferenţei.
Mai mult, simularea biţilor cuantici pentru procesarea informaţiei functionează împreună cu conceptul
paralelismului cuantic, deoarece numai aşa poate fi descrisă de o functie de undă care exista în spaţiul
Hilbert. Cu siguranţă, toate efectele cuantice ale sistemului sunt simulate, deoarece calculatoarele cuantice
nu sunt disponibile în acest moment. Însă, în ciuda tuturor efectelor negative asupra performanţei privind
timpul de calcul, simularea unui mediu adecvat procesării informaţiei folosind biţi cuantici are un avantaj
enorm: eliminarea efectelor irelevante ale mediului real asupra acestor biţi. În lumea reală, un calculator
cuantic ar folosi particule pentru a reprezenta date, sau în cazul ANN-urilor cuantice, aceste particule ar
putea reprezenta neuroni cu toate calitaţile acestora, cum ar fi axoni sau tiparele şi funcţiile de activare. Un
Qbit poate fi reprezentat bine de sisteme de două particule, cum sunt ionii de hidrogen, care pe lângă
nucleul atomic deţin şi un electron. În funcţie de distanţa dintre nucleu şi electron cea mai importantă
ecuaţie care descrie schimbarea stării cuantice a sistemului fizic în timp este ecuaţia Schrödinger (o
diferenţială partială):
(6-33)
Poate fi rezolvată. Orbita electronilor ionilor asemănători cu cei de hidrogen poate varia, în funcţie de
nivelul de energie. Fizicienii numesc aceasta existenţa în niveluri energetice diferite. Poziţia orbitală a
electronuluieste folosită pentru a reprezenta fie 0 fie 1, sau conform notaţiei Bra-Ket, a lui Dirac, fie fie
cea mai înaltă orbită reprezentând cea din urmă iar cea mai joasă reprezentand-o pe cealaltă. Fizic,
poziţia electronuluipoate fi schimbată prin supunerea la un puls de lumină laser amplificată, ce are ca efect
adăugarea protonilor in sistem. Pentru a transforma un bit din 0 in 1, este nevoie de suficientă lumină
pentru a muta electronul în sus cu o orbită. Pentru a trece de la 0 la 1, este necesar ca mai mulţi fotoni să
intre in sistem, deoarece supraîncărcarea electronului îl va aduce înapoi in starea iniţială. Însă, aspectul
important este că in cazul în care numai jumatate din lumina necesară este introdusă, electronul va ocupa
un spaţiu intermediar, ceea ce este menţionat anterior ca suprapunere liniară ce ofera posibilitatea de a
evalua mai multe posibilitaţi simultan.146
6.2.1 Structura
Structura unuei reţele neuronale artificiale cu conexiune directă cuantică nu diferă cu mult faţa de una
normală, dar conceptul suprapunerii liniare este una din diferenţele care poate fi descrisă grafic (Figura 10
– Reţea neuronală artificială cuantică).
141
Altaisky M.V. (2001): Quantum neural network; Technical report; URL: http://xxx.lanl.gov/quantph/0107012.
142
Narayanan Ajit; Menneer Tammy (2000): Quantum artificial neural network architectures and components; Information Sciences, volume 124. 1-4, p. 231–
255
143
Behrman Elizabeth C., Niemel Jari, Steck James E., Skinner S. R. (1996): A quantum dot neural network; Proceedings of the 4th Workshop on Physics of
Computation, p. 22–24
144
Behrman Elizabeth C., Niemel Jari, Steck James E., Skinner S. R. (1996): A quantum dot neural network; Proceedings of the 4th Workshop on Physics of
Computation, p. 22–24
145
Fujita Yukari, Matsui Tetsuo (2002): Quantum gauged neural network: U(1) gauge theory; Technical report; URL: http://xxx.lanl.gov/cond-mat/0207023.
146
Heaton Research (2005 - 2012): Quantum Computing; [2012-10-11]; URL: http://www.heatonresearch.com/articles/1/page5.html
71
artificiale
|h1›
1
ψw
ψw i1
h
h1
ψwi1
o 1
|i1›
ψw
h2
ψwψw i1
h1
on
i1
ψwh2o1
h3
|h2› ψw |o1›
i2
hn
h1
ψw
ψψw w i2h2 h2o
n
|i2› i2h
3o1
ψw h
ψw
3
ψwh3on
i2
1 hn
|h3› |on›
ψψwwinh
h 2
in
ψ winh3
|in› ψw
1o
h4
ψw
on
h4
inh
n ψw
|hn›
Figura 11 – Reţea neuronală artificială cuantică

Figura 20 – ANN-ul cuantic - arată că neuronii au schimbat regiştrii cuantici, ceea ce inseamnă că, făcând
referire la imaginea de sus, regiştrii de intrare deţin orice intrare posibilă a datelor de
antrenament. Presupunând că un QANN va fi folisit pentru a învaţa o problemă bazată pe seturi de date de
intrare ce constau în trei atribute, aceştia vor conţine trei regiştrii de intrare (neuronii de intrare într-un
ANN standard), fiecare având orice valoare legată de atributele datelor de antrenament. Similar se întâmpla
pentru stratul ascuns reprezentat de , al cărui regiştrii neuronali deţin orice suma cântarită,
calculată pentru orice intrare posibilă venită din . Stratul final deţine orice ieşire
calculată ce reţeaua neuronală este capabilă să o producă pe baza datelor de antrenament. Mai mult,
suprapunerea vectorilor de greutate este important de explicat, deoarece aceştia deţin orice valoare posibilă
pe care ei o pot reprezenta, indiferent de datele de antrenament. În tabelul 2 sunt prezentate rezultatele
obtinute de Ezhov şi Ventura în munca lor147pentru întelegerea diferenţelor dintre ANN-urile de pe
calculatoare clasice şi ANN-urile de pe calculatoare cuantice.
Table 1 - (Quantum) artificial neural network feature comparison
Facilităţi ANN QANN
Codare Drefiniţia stării Starea probabila a
neuronală de bit Qbit-ului
Conexiuni Conexiuni de Conexiuni de
neuronale greutate greutate
Entanglement
Invaţare Regula e.g. Suprepunerea
Qbits-ilor
entanglaşi
Determinarea Funcţie de cost e.g. Căutarea Grover

soluţiei dorite pentru soluţia with an oracle like
optima prin e.g.
transformarea
unitară
Rezultat Decoerenţa
6.2.2 Biţii cuantici

QANN-ul introdus se bazează pe valori duble, aşa încât teoretic o arhitectură cu 8 Qbytes sau 64 Qbits
necesită să fie simulată pentru a fi in stare să îndeplinească sarcina întrun singur pas de procesare, ceea ce
ar fi optim. Pentru nevoile de procesare, aceasta pare a fi supradimensionată, după cum spuneafizicianul
147
Ezhov Alexandr A., Ventura Dan (-): Quantum neural networks, BSTU Laboratory of Artificial Neural Networks
72
artificiale
David Deutsch, paralelismul cuantic permite unui calculator cuantic sa proceseze un milion de operatii
simultan, în timp ce PC procesează una. Un calculator cuantic pe 30 de Qbiţi poate egala puterea de calcul
a unui calculator convenţional care poate rula 10 teraflops, pe când viteza de procesare a unui computer
uzual este masurată în gigaflops. 148 Probabilitatea distribuţiei unui Qbit de a fi ori ori după
prăbuşirea lui cauzată de masurătoare este, cum e deja indicat, determinată de componenta complexa
din spaţiul Hilbert şi nu de numere reale. Astfel, pentru a simula un Qbit, sunt necesare două numere reale
cu virgulă mobilă. Teoretic, pentru maşini de stare, cum sunt reţelele neuronale artificiale auto asociative,
un număr de două arhitechuri cu Qbiţi ar fi de ajuns, deoarece calculele lor nu se bazează pe reprezentări cu
virgula mobilă, ci pe valori de doi biţi cu semn (-1,0,1). În orice caz, având ANN-ul cuantic SHOCID ca o
simulare, arhitectura optimă, care este una de 64 de biţi, a fost simulată. Mai mult, numărul de Qbiţt folosiţi
depinde de problema ce trebuie rezolvată. Să presupunem că QANN-ul reprezentat in figura 20 reptezintă
un model, atunci doi regiştrii trebuiesc creaţi, unul pentru a reprezenta intrările xşi unul reprezentând
ieşirea f(x). Pe lângă asta, procesul de calcul a lui f(x) presupune folosirea mai multor Qbiţi, ce joacă un rol
important iî entanglementul regiştrilor de intrare şi ieşire folosiţi de calculatorul cuantic.
6.2.3 Suprapunerea
O reţea neuronală artificială cuantică nu are nevoie doar să se bazeze pe suprapunere ci pe neuronii ei,
respectiv potenţialele de acţiuni dinamice sau tiparele acestora, precum şi pe funcţia sa matematică de bază.
6.2.3.1 Suprapunerea dendritelor
Dendritele sau greutăţile unei reţele neuronale artificiale cu semnal înainte sunt ridicate într-o suprapunere
liniară, ceea ce este un pas înainte spre o ANN cuantică. Această înseamnă că orice greutate este
transformată în undă şi, teoretic conţine toate valorile posibile simultan. Însă, momentan QANN-urile sunt
simulate pe o maşină von Neumann, acurateţea infinită, sau posibil, orice si
(6-34)
restricţionate de o condiţie de normalizare

(6-35)
Presupunând că incrementul de bază este 0.001 iar limitele de greutate sunt între -100 şi 100, orice valoare
din acest interval cu diferente de 0.001 va reprezenta o greutate posibilă. Procesul de setare a greutaţilor
în cu parametrii explicaţi se întamplă după cum urmează:
Start
1. Atribuie -100 lui şi 100 lui
2. Pentru fiecare w
a) Atribuie lui
b) Repetă
i. Salvează in corespondentul
ii. Atribuie
c) Pânăl este atins

Stop
Algoritmul 19 – Ridicarea greutăţilor in suprapunere
Variabile:
: vector ce conţine toate greutăţile posibile normalizate, suprapuse pe o greutate specifică fiind
de la neuronal spre neuronul
: Punctul de început pentru calcule
: Punctul de sfârşit pentru calcule
: Greutatea curentă, fara normalizare
6.2.3.2 Suprapunerea neuronilor

Regiştrii fiecărui strat sunt ridicaţi spre o suprapunere liniară la fel. Să presupunem, că un exemplu Qann-ul
construit din trei straturi, cum este descris în Figura 20, şi să presupunem în continuare că toţi neuronii
148
Bonsor Kevin, Strickland Jonathan (2000): How Quantum Computers Work [2012-10-18], URL: http://computer.howstuffworks.com/quantum-computer.htm
73
artificiale
QANN-ului îşi masoară ieşirea printr- o funcţie de activare şi se foloseşte de tiparul dinamic, ce va fi
determinat de un algoritm de învăţare standard pentru ANN-uri, atunci, potrivit incrementului, a limitei
inferioare şi a limitei superioare, logic trebuie să existe câteva tipare pentru fiecare suprapunere.
Săpresupunemîn continuare, limitapragului inferiorar fi0.1,limitapragului de sus1 şiIncrementul0,1,astfel9
valoridiferite pentruun pragar fi posibile.ÎnexempluQANN-ulacesta duce
la387420489(9^9)configuraţiiposibilealepragurilorpentruo configuraţiede greutăţi. Cu toate acestea,cao
configuraţie specificăde greutăţisă existe doaro datăîn termen de , QANN-ulîntreg trebuiesă
fieridicatînsuprapunere.
6.2.3.3 Suprapunerea reţelelor neuronale artificiale cuantice
După cumsuprapunerealiniarădicteazăcă oriceconfiguraţie posibilă defiecareQbitexistă lao dată şică,
referitor laQANN-ul,oricaredintre acesteconfiguraţii(greutăţi) aunumeroaseconfiguraţiialepragurilorare
locimpracticabilitatea, şi anumecoexistenţade configuraţiiidenticeîntr-osuprapunere.Astfel, o configurare
aunei reţeleneuronaleartificialecuanticetrebuie să includăatâtgreutăţile cât şipragurileneuronale.
6.2.4 Procesarea
Calculeledin cadrulQANN-uluisunt efectuateaşa cum se întâmplăîntr-unFFANNstandard.Cu toate
acesteaşiastfel cum este indicatde mai multe ori, unul dintre avantajelemajore alemecanicii
cuanticesuntsuprapunerilesale,din care rezultăcuanticparalelismul. PentrucalculeleQANN-uluiinterne
efectuate defunctia fpe toateconfiguraţiilede x, ,reversibilde transformareunitară, luândnumaistările
debaza(|0>şi|1>) astfel, vaservi dreptexemplu prelucrareaunuia dintre QbiţiiQANN-ului:
(6-36)
Unde indicăoadunaremodul-2 la nivel de bitsau un sau exclusiv. Dacă xşi ysuntm-biţi numere întregiale
cărorj-leabiţisunt şi , atunci x⨁y estenumăr întregm-biţi ale căror bit este .Astfel,
(6-37)
Mai mult, dacă valoarea reprezentată iniţial de registrul de ieşire este
(6-38)
atunci
(6-39)
si f(x)ar reprezentarezultatul înregistrulde ieşire, undeindiferent destarea iniţialăaregistruluide
intrareyrămâne înstarea sainiţială . În plus, îndeplineşteun alt criteriuimportant, faptul că
esteinversabilă:
(6-40)
Ca
( 6-41)
Pentru orice zecuaţia (6-39) este o facilitate importantă a procesării cuantice, anume aplicarea transformatei
Hadamard de 1 Qbit pe fiecare Qbit în starea de 2 Qbiţi rezultă:
(6-42)
ceea ce duce lageneralizareaprodusuluin-ori tensoruldentransformăriHadamardprivindstarean-Qbit

( 6-43 )
deprima utilizareînecuaţia(6 49). Dacăstarea iniţială aunui registrude intrare este de , aplicareade n-ori
Hadamardtransformări,transformăstareaacestuiregistruîntr-oegalăsuprapunerea tuturorn-Qbit de intrare. 149
6.2.4.1 Entanglementul
Oposibilăpunere în aplicarea unei reţeleneuronaleartificialecuanticear puteaîncepe cuo suprapunerea
tuturorvectorilorde greutateposibili, ceea ce permiteclasificareatuturorexemplelor de instruireîn raport
cufiecare vectorde greutate înacelaţi timp. În plus, un registrude performanţă este utilizat pentru
astocanumărulde exemple de instruireclasificate corectşi actualizatîn mod
149
74
artificiale
continuu.Actualizarearegistruluide performanţăcu privire lafiecare configuraţie aQANN-uluicreează

unentanglementde şi . Astfel oracleeste
(6-44)
unde nreprezintă numărulexemplelor de instruireşi mnumăruldeneuronide ieşire. Se poate întâmplaca nici o
configuraţiea unei reţeledin cadrulsuprapuneriisă fie capabilăsăclasifice toateexemplele de instruireîn mod
corect(şi, prin urmare, fiecare vectorareo şansă egalăde a fimăsurat) şiintervalul de timpnecesar pentrua
găsiun vectoreste în creşterecunumărul de biţi învectorulgreutate şi astfel o complexitateexponenţială:
( 6-45 )
Pentru a evita acest caz, Ventura şi Ricks sugerează o modificare pentru oracle de căutare în:
( 6-46 )
Unde p este procentul de exemple de antrenament clasificate corect.
În ceea ce priveştereţeleleneuronale artificialecuantice, acest lucru înseamnăcă oriceconfiguraţie posibilă
deANNcuanticeste menţinută însuprapunerii. Cu toate acestea,există încăproblemamăsurării, aşa
cummăsurareatrebuie să fiefăcută atunci cândprobabilitateade a primiun rezultatdoriteste mare.
Săpresupunemun registrucuanticecompus din64Qbiţiifiecare înstareadejacunoscută,
(6-47)
apoifiecare stareposibilăsauorice valoare(cu dubla precizie), care poatefi exprimatăcu aceşti64 de

biţipoatefimăsurată, dar cuaceeaşidistribuţie de probabilitate, astfel încâtoricare dintre acestevaloridublear
existaîn acest registrucuanticîn acelaşi timp. Astfel, unoperator de , aplicânddejacunoscutelecalcule
interne aleANN-uluireprezentate defunctia ftrebuiesă fie aplicat pe , carescrierezultateleANN-uluipentru
a ficapabil să măsoareANN-critice (performanţă):
(6-48)
Acestea rezultă din , într-un al doilea registrucuantic . arconţine atuncifiecarerezultat

posibilcalculatde la fiecareconfigurare în În plus, ca urmare acalculului, registrelede intrareşi de
ieşirevordeveniîncurcatedeQbiţiiutilizaţi de , care de fapteste o problemă, deoarece
înacestcaz,ambeleregistre nupotfiatribuiteunei stăripe cont propriu(a se vedea 6.2.4.4Reducereaşi informaţii
despreecuaţiileperceptron-uluicuantic).
6.2.4.2 Paralelismul cuantic
Săpresupunemcă un setde formareconstă dinmai multe sutedeseturi de datede intrarefiecarecompusdin mai
multe atribute, atunciregistrulde intrarevacreştela începutşiîn al doilea rând într-un calculatorclasicar
trebuisă se aplicela fiecaredată de intrareunicăstabilităconsecutiv. Săpresupunem,în continuare, 100 de
transformăriHadamard(porţi) că se vor aplica pefiecareQbitînainte depunerea în aplicare a , cum ar fi:
(6-49)
Atuncistarea finalăva conţine sau≈ de aplicatiiale of . Cu toate

acestea,paralelismulcuanticpermiteefectuareaunei cantităţiexponenţialmare de înacelaşi timp,
sauînaltecuvinte, în timpunitar.
6.2.4.3 De la operatori de bază la funcţia cuantică de transfer
Figura 26şi figura 27 prezintă diagrame care descriuprelucrareaîntregiireţele
artificialeneuronalecuanticecaunicătransformare. Cu toate acestea,este necesarsădetaliemcu privire
laprelucrareade activare saufuncţia de transferutilizată de cătreneuroniistratului de intrareşi stratul ascuns.
Ecuaţiadescriefuncţiasigmoidăca funcţiecuantică:
(6-49)
undecuantumulliniarsuprapus conţine toate valorileposibilebazat pe calculul rezultat din înmulţirea dintre

stratul neuronal precedent de ieşiregreutatea aferenta vectorilor în suprapunere. Acest lucru nua
rezolvatprovocareade bază aoperaţiuniloraritmetice, cum ar fimultiplicarea saudiviziuneanecesară
75
artificiale
pentrutoatefunctiile cuantice introduse. Aşa cum am menţionatla început, operatoriicuanticitrebuie să fie

liniari, ceea ce înseamnă că
(6-50)
unde şi reprezintăfuncţii, şia şi bconstante. Aplicareaunui logaritmeste un exemplupentruo funcţienon-
lineară
( 6-51 )
Aceasta nu estevalabilă pentrutoate valorilelui x. Astfel, primul operatornecesar, multiplicarea,
îndeplineştecerinţele, pentru căacestaeste un operatorliniar. Aceastămultiplicare, ca oricealtăoperaţie
aritmeticăutilizată înecuaţiileperceptronuluitrebuie să fieinclusă în unadintretransformărileunitaredescriseîn
prealabil. Pentru aceasta, operatoriicuanticidescrişi laînceputul acestuicapitol vorforma baza-în specialla
transformărileHadamardH şicNOToperatorii sunt importanţi, deoarece aceştiapotfiutilizaţi pentru a
creaoperatori, cum ar fi adunările şi înmulţirile. Baza pentru operatoruluicNOT
esteoperatorulmatriceunitarăCV(controlată V)descrisăcuecuaţiile(653)-(6 55):
(6-52)
(6-53)
(6-54)
După patruaplicaţii ulterioareale luiVcontrolat, rezultatuleste identitatea, şi a altortrei

aplicaţiidintrerezultatulaceluiaşi operator, în inversulsău, care este, de asemenea,
conjugatulcomplextranspus . După cum s-a menţionatanterior, toţioperatoriitrebuie să fie liniari, astfel:
(6-55)
Unde este conjugatul complex transpus, sau adjuncta lui Vşi I este operatorul unitate. Astfel, operatorul
rezultat c- . La transformarea cNOT, acest operator poate fi implementat ca în figura 21 – cNOT din H şi
V:
H V V H
Figura 12 - cNOT din H şi V
(6-56)
(6-57)
(6-58)
(6-59)
Aceasta constituieo bazăfoartebunăpentru a creaoperatorinoi, şi într-adevăracest lucru trebuiesă se

facăpentru a fiîn măsură săefectueze toateecuaţiilearitmeticeale perceptronului. Un alt operator,care trebuie
săfie creat, este operatorul ccNOT (controlat-controlat-NU ), cunoscut sub numele de poartă Toffoli150
(Figura 22 -ToffolipoartacuV controlat şiFigura 23- Poartă Toffoli cu transpusa complex conjugată V):
150
Toffoli Tommaso (1981): Mathematical Systems Theory 14 13.
76
artificiale
H V V V V V H
Figura 13 – Poarta Toffoli cu V controlat
Sau, cu poarta cuantică deja introdusă:
H V Vt V H
Figura 14 – Poartă Toffoli cu transpusa complex conjugată V
Asta poate fi descrisă în forma matematică prin operaţiile cuantice din ecuaţiile (6-62)şi (6-61):
(6-60)
(6-61)
Poarta Toffoli, capoartăcontrolat NU, dispune de doi biţi de control, cu unul mai
multdecâtoriginalulcNOT. Bitulţintă este întorsnumai, şi numaiatunci când ambiibiţide controlsunt
înstarea . In plus, aceastafurnizează ocaracteristică foarteimportantăpentrumultiplicare(care, în fapt,la
nivelbinaresteo adunare), respectivo poartă reversibilă, în cazul în careobiectivula fost
inclusiniţialstarea : tintadevine Operatorul logic ŞI pentru cei doibiţide controldescrişi înecuaţia(663): 151
(6-62)
Astfel, toate operaţiilenecesarearitmetice, care sunt NU, ŞI şiXOR(cNOT), suntdisponibileacum
catransformăriunitare, ceea ce înseamnă căacesteapotfiaranjate împreunala o transformareunitaremai mare
pentruabordareaecuatiilorcuanticperceptronului. O combinaţiea porţi Toffolii, şi aoperatoruluicNOT, ca
adunator cuantic constituiebaza pentruadunareaşi multiplicarea completă (Figura 24 – sumator cuantic):
151
Quantiki (2005): Basic concepts in quantum computation [2013-01-02]; URL: http://www.quantiki.org/wiki/Basic_concepts_in_quantum_computation
77
artificiale
|x>1 |x>1
|x>2 SUM = |x1 XOR x2>
|0> CARRY = |x1x2>

Figura 15 – Sumator cuantic
Mai mult, orice funcţie Booleană care leagă n biţi din registrul de intrare spre m biţi din registrul de ieşire
poate fi evaluată (ecuaţia (6-97)):
(6-63)
Astfel cumfuncţionareaoperatorului ŞI nu estereversibilă, acesta trebuie săfieîncorporat în
operatorulccNOT. Dacăbitulal treilea afost iniţialsetat la1 în loc de0 atuncivaloarea esterăsturnată.
În general, acţiuneaporţiiToffoli este scrisăaşa cum este descrisînecuaţia(6 98):
(6-64)
Astfel, alte funcţii mai complexecum este funcţia cuantică sigmoid (6-50), care include funcţiile de putere
cum e poate fi construită, ca în exemplul:
(6-65)
O reţea cuantică (formată din operatori cuantici) calculează:
(6-66)
Aşa încât ecuaţia (6-67) se comportă precum este descris în (6-69)-(6-72):
(6-67)
(6-68)
(6-69)
(6-70)
Ceea ce în termeni de calcule cuantice este:
(6-71)
Exemplu fiind (6-74), care este (6-73): 152
( 6-72 )
Devineevidentdinexplicaţiilede mai sus, care operaţii aritmetice, cum ar fi de multiplicare,nubeneficiază
deaceleefectecuantice, deoarece acesteaîncă maisunt operaţiuni pas-cu-pas. Avantajul esteatunci cândmai
multedintre acesteoperaţiuni pentruconfiguraţiidiferitecoexistăşi potfi calculatesimultanca urmare
aparalelismuluicuanticînstarea cuanticăaunuisistem fizic, cum ar fio
reţeaneuronalăartificialăînsuperpoziţiecuanticăliniară.
6.2.4.4 Reducerea unei informaţii legată de ecuaţiile perceptronului cuantic
Întrebarea netrivialăeste acum, deşi ambelexşif(x) sunt disponibile, cumsă măsoareputerea necesară, saucu
alte cuvinte, cumsă cunoascăconţinutulunei cutiiînchise, fără a se fi permissă priveascăîn interior. Deoarece
intrarea şiieşireasunt încurcateacum, o măsurare aregistruluide ieşire arpermite, de asemenea,
prăbuşirearegistruluide intrareşi, în plus, nici o informaţiedesprefnu poateficolectată, care,
înfapt,reprezintăQANN. Astfel, putemrespingeopinia generală, care nu are nevoieosă ştiece se
întâmplăîntreneuronii deintrare şiieşireexact, darpentru a extragecâtmai
multeinformaţiidesprecalculeleinternecu privire la toateconfiguraţiiledeQANNîn posibil. Acest lucru
poatefi realizatcu porţiunitarecuanticeaplicatepe toateregistreleînainte şi dupăpunerea în aplicare a şiprin
combinareaacestora cumăsurătoriale unorvalori, astfelsubseturideQbits, deQANN. Acesta nu estesută la
sutăclar acumcum acestlucru se poate întâmpla, dar cândîntreagaQANNeste măsurată, aceastaarpermite,
pede o parte, teoretic, obţinereade relaţii utileîntrex şif.Cu toate acesteala uncalcul, dar pede altă parte,în
conformitatecuprincipiul incertitudiniial lui Heisenbergnupermitesă se determinef(x) pentru
152
Quantiki (2005): Basic concepts in quantum computation [2013-01-02]; URL: http://www.quantiki.org/wiki/Basic_concepts_in_quantum_computation
78
artificiale
unanumitx.Revenind laQANN-uri, Mermin153, atunci când explicăproblemaDeutsch154, dăun

exempludestul de bundespremodul de a reduceprobabilitateade măsurarea configuraţiei, sau mai bine,
colectarea de informaţiidespreconfiguraţiidespre ( ) care nu sunt de dorit.Săpresupunem specifică
oalegerepentru douăintrăridiferite dela osubrutinăelaborată, care necesită Qbitsmai mulţi , atuncine putem
gândim la ( ), ca fiind o proprietate caracteristicăcu două valoride prim rang aieşiriiacesteisubrutine . De
asemenea, demenţionat căregistrelede intrareşi de ieşire, nu au voie săfieîncurcatecuQbits-iisubrutinelor,
după ce au terminat deprelucrat, ca şi încazulentanglement-uluiregistrelorde intrareşi de ieşirenu ar
aveastărifinalepe cont propriu. O transformareliniară simplă(6-36) poate fiapoi folosităpentru determinarea
efectelorneteasupraregistruluide intrare şide ieşire. Ieşirea:
(6-73)
a fost obţinută aplicând la intrare. Iniţial, regiştrii de intrare şi de ieşire trebuie să fie in starea , urmată
de aplicarea lui X pe regiştrii de intrare şi de ieşire, urmat de aplicarea lui H pe ambele. Intrarea devine
atinci
(6-74)
Iar rezultatul
(6-75)
Care în legătură cu funcţia este

(6-76)
unde
(6-77)
şi
(6-78)
şi
(6-79)
şi
(6-80)
dacă
(6-81)
Atunci starea de ieşire este
(6-82)
sau
(6-83)
Dacă nu atunci
(6-84)
apoi
(6-85)
sau
(6-86)
pe regiştrii de intrare duce la

153
154
Deutsch David (1985): The Church-Turing principle and the universal quantum computer; Proceedings of the Royal Society of London A. 400, 1985, p. 97.
79
artificiale
(6-87)
şi
(6-88)
Restrains totul în
(6-89
Aceastaprevede căregistrulde intrareeste fie fie , dardepinde deceea ce este adevărat, ecuaţia(6-83) sau
(6-86). Ca un indiciu ce se poate folosi estecă douădin cele patruposibilităţi pe carefunctia fle
poatereprezentaau fost eliminate, doar printr-o singură operaţie,care din
nouesteabilitateaspecificăacomputeruluicuantic. În ceea ce priveşteQANNacelaşi lucru trebuie săse
întâmpleacumîn modurimult maicomplexe, deoarece nu numaiunQbittrebuiesă fie luatîn considerare ci
şicalculeleinterne aleuneiRNAnecesită maimult decâţiva operatoricuanticişi transformări. În prezent, acest
lucru esteexactobiectulde cercetareîn continuare. Cu toate acestea,acest lucru nueste suficient.
Transformarea nuia în considerareQbits-iisuplimentari necesaripentrucalculeledin cadrulQANN.
Săpresupunemastfel otransformare , din nou,inspirat deconvenţiile de denumireMermin, luând în
considerareaceştibiţi. Întrucât lua în considerare numaiQbits-iidinregistrelede intrare şi deieşire, ia
înconsiderare toţiQbits-ii. În ceea ce priveşteQANN, acest lucru poatefi descrisfoarte binede Figura 16 –
Calculele reţelei neuronale artificiale cuantice
|ψ>r |ϕ>r
|x>n |x>n
|y>m |f(x)>m
Figura 17 – Calculele reţelei neuronale artificiale cuantice

undeliniilegroasereprezintămultiple intrări Qbit, cumultiple registre Qbit, deoarececalculul trebuie să
fiereversibil. mşinreprezintăQbits-iidinregistrelede intrare şi deieşire, şi rreprezintăQbits-iisuplimentari
necesaripentrucalculul intern al QANN. Qbiţiirnecesari pentrucalculelesunt la felînsuprapunereşi
dupăcalculîncurcaţicuregistrulde intrare şi ieşire. Astfel,următoareleecuaţii
aleperceptronuluicuantictrebuiesă se înfiinţeze.
Ecuaţia perceptronului cuantic cu un singur:

(6-90)
undestratulde intrare arepintrări , stratul ascunsarenodurilascunseşide iesire, şi existăo singură

ieşirepentru stratul de ieşire. Straturilesunt completconectate pringreutăţi,
unde însuprapunerealiniarăreprezintă a iintrarepentrunodului alj-lea înstratul ascuns,
întrucât estegreutateaatribuitănodului alj-lea înstratul ascunspentrude iesire. şi suntdeviatile,
80
artificiale
şi sunt funcţiide activare. Din nou, potenţialelede acţiunedinamiceale neuronilortrebuie să fie

însuprapunereliniară, care apoiduce lamai multe configuraţiidenu numaigreutăţi, ci, de asemenea, de
neuroni. Acest lucruîn cele din urmăduce laFigura 27-Diagramaperceptronuluicuanticcu mai multestraturi
|ψ>r |ϕ>r
|x>n |x>n
|y>m |f(x)>m
Figura 27-Diagramaperceptronuluicuanticcu mai multestraturi

Cu toate acestea,Figura 27-diagramaperceptronuluicuanticcu mai multestraturinu poate fistarea finală,
deoarece aceastacere stărilene-entanglatealeregistrele. Mai mult decât atât, înstareainiţială a
sistemuluiestenecesară pentru a asiguraindependenţaîntreregistreleintrare şi ieşirestărileiniţiale
şisuplimentarestărileinitialeale Qbiţiilorde calcul. Merminsugereazăpentru a atingeindependenţaQbits-iide
calcul, definindu-le o stareiniţială , şi având, de asemenea, grijă destarea finală , care ar trebui
săfie identică cu , care poatefi realizată printransformărireversibileunitare:
(6-91)
Sau descris grafic în Figura 28 – Biţii de calcul invers
|ψ>r |ψ>n+r-m |ψ>r
Vf Vf*
|x>n |f(x)>m |f(x)>m |x>n
Cm
|y>m |f(x)>m
Figura 28 – Biţii de calcul invers155

unde este o transformareunitarăasupraregistruluide intrarem şiregistruluide calculQbitr, care creeazăo
stareproprieîn ambele. În plus, aceasta permiteconstruireafuncţiei f(x) într-un subset alregistruluide iesiren,
pe bazade intrareîncurcatăşiale Qbiţiilorde calcul. Atunci se transformă în fără a
influenţabiţiairegistruluide intraresaubiti airegistruluide calcul de cătretransformareaunitară. nu
afecteazăregistruluide intraresaude calcul, inversul lui , şi anume *poatefiutilizat pentru a restaurastarea
initiala a . 156Cu toate acestea,nueste întotdeaunanecesarpentru a mergeatât de departe, aşa
cumesteQANNo funcţiematematică, în cazul în carevariabilele dinFigura 25-
cuanticeartificialecalculelereţelelor neuronalesunt înlocuite denumere reale. De aceea, doarpentru a
adunainformaţii despref,aceastanueste obligată sărefacătransformareaunitară cu *, dar esteîntr-
adevărnecesară atunci cândnu estenecesar să severificedacăf(x) este egal cuf(y), care
poateficazulunuiQANNautoasociativ. Cu toate acestea,deşieliminareaconfiguraţiilorposibile ale
luifscadeprobabilitateade a măsuraoconfiguraţienedorită şitimpul necesar pentrucăutarecuantică, aceastanu
dezvăluieconfiguraţiadorită. Astfel, un registrusuplimentareste necesar pentrumăsurareaperformanţeireţelei
artificialeneuronalecuantice, pentru careentanglement-ulcontinuu curegistrulde calculeste absolutnecesar.
După ce aaplicattransformareaunitarăde curăţareaentanglement-uluiîntreregistrelede intrare, de calculşi de
ieşire, acoloar trebui să rămânădoarentanglement-ul registrelorde calculşi de performanţă. Atunci când se
aplicăo căutarecuanticăîn registrulde performanţă, care, de fapt, manipuleazăfazelevalorilorde
performanţăposibilepânăprobabilitateade măsurare arezultatului doriteste aproapede unitate,
următoareamăsurare, permitecolapsulregistruluide calcul, care relevăapoiffuncţia dorită.
6.2.4.5 Normalizarea
Ca şi întermeni descalarereţeauaneuronală artificialăcuanticăcu feedforwardde
intrareîncăproceseazăinformaţii înacelaşi felcum faceunaobişnuită, nevoia denormalizarede intrarenu
155
156
81
artificiale
dispare. Astfel, intrareatrebuie să fiescalată pentruoparticularitateîntre0 şi1 pentruvalori pozitiveşi-1 şi0

pentruvalori negative.
Start
1. Crează factorul de normalizare
2. Pentru fiecare w
a) Normalizează cu to
b) Salvează în corespondentul
Stop
Algoritmul 5 – Normalizarea intrării cuantice
Detaliere:
: greutatea curentă fara normalizare
: greutatea curentă normalizată
: factorul de normalizare conform normalizării multiplicative
: listă ce conţine fiecaregreutate posibilă, este de la neuron, este spre neuron
Normalizarea datelor se întâmplă înaintea procesării de către ANN-ul cuantic şi nu este necesar să fie
realizată de calculatorul cuantic deoarece prelucrarea estesimplăşi nuNP-grea.
6.2.5 Măsurarea
În cele din urmă, toate acestea nuiau în considerareproblemade elementară de căutare, cao
configuraţieaQANNîn parametriipermişitrebuiesă fie găsitîn cadrulsuprapuneriisale. Acest lucru permite
aplicareaalgoritmuluiGrover157, care este folosit pentrucăutareaunei configuraţii speciale,sau a unui
elementîntr-o bază de date nesortată(care este în cazulQANNregistrulde performanţă însuprapunereliniară).
AlgoritmulGroveroferărăspunsul pentrumomentul în care sistemulse măsoară. Este important
sămenţionămfaptul căalgoritmuleste capabilde a găsisoluţia dorităîn timp (iteraţii),aceasta nu se
poate facepe uncalculatorvonNeumann.
Algoritmul realizeazăurmătoarele: inverseazăfazastărilorde bazădorite, urmată de o inversare atoate
stărilorde bazăcu privire laamplitudineamedie atuturorstărilor.Repetarea acestui procesproduceocreştere
aamplitudiniia stăriibazădorităapropede unitate,urmată de o scăderecorespunzătoareînamplitudineastării
doriteînapoilamagnitudineasa iniţială. 158Grovera detectat căaceastărutinătrebuie doarsă fie apelatăde un
numărderepetiţii, care nu depăşeşte , careeste iteraţiişi, prin urmare, cu toate
căestecăutareacumvastochastică, el surclaseazăuncalculatorclasic. Deşi, în general, algoritmulestedescris
caalgoritm decăutarede baze de date, ar fimai potrivitsă-ldescriem ca o funcţieinversor. Aceasta , deoarece
pentruo functiedată algoritmuleste capabilde a determinay. Ricksşi Ventura159au făcut opropunere
foarteinteresantăasupra modului în caresoluţia optimăpoatefideterminată de ogeneralizare
aalgoritmuluiGroverfacută deBoyeret al160. O altăabordare ar puteafi, după cum urmează: ieşireaunui nodar
fi şi în conformitate cualgoritmulluiGroverdeterminareay esteposibilă, care aresă se
întâmplecuo căutarecuanticăde rutină. Aceasta rutinăde căutaretrebuie săcalculezeapoiînapoi prinreţea,
care este destul dediferită deoricealtă abordareîn procesul de învăţarea reţelei neuronale. De obicei, y
estedată şicineva încearcăsă determine si se adapteaza printr-un algoritmde învăţare, atât timp cât
este necesarpentru a îndeplinicriteriileoprire, cum ar fiRMSE. Cu toate acestea,atunci candnumai este
dată, este necesarpentru a găsiintrarea corectăpentrurezultatul dorit. Astfel, ieşireacalculatătrebuie să
fieprelevatăşicalculultrebuie să meargăînapoi. Săpresupunem, ecuaţiaperceptronuluieste:
157
Grover Lov K. (1996): A fast quantum mechanical algorithm for database search, Proceedings of the 28th Annual ACM Symposium on the Theory of
Computation, pp.212-219.
158
Ezhov Alexandr A., Ventura Dan (-): Quantum neural networks, BSTU Laboratory of Artificial Neural Networks
159
160
Boyer Michael, Brassard Gilles, Hoyer Peter, Tapp Alain (1996): Tight Bounds on Quantum Searching, Fourth Workshop on Physics and Computation
82
artificiale
( 6-92)
atunci trebuie să fie:

(6-93)
Şi calculul erorii:
(6-94)
Unde n reprezintă numărul de ieşiri şi y este numărul de valori de intrare. Însă, din nou, înainte de asta,
registrul de intrare format din n Qbiţi trebuie pus în suprapunere cum a fost deja făcut in ecuaţia( 6-43 ):
(6-95)
De asemenea, dupa ce a fost introdusă transformareaunitarăVeste necesară o transformare unitară

suplimentară W care acţioneazăperegistrulde intrareV cuo formăfixă, nu o funcţie de
conservareacomponenteioricărei stăride-a lungulstăriistandard (iniţial) . Schimbareasemnului
componentei saleortogonale :
(6-96)
reprezintăoperatorulde proiecţiepe .161Având în vedereacestetransformări, algoritmulluiGroverse
aplicăprodusulWVde mai multe oriperegistrulde intraredin . În plus, fiecareinvocare
aWVimpunerutinade căutarecuanticăsauoperatorul unitar să fie executat. Acesta este capabil să
lucrezecusuprapuneridestărileQANN-uluişi comparăintrăriledinbaza de date, sau, încazulunei
reţeleartificialeneuronalecuantice,ieşireadorită cuieşireacalculată. Rezumând, în
ambiialgoritmi,căutareacuanticăurmăreştesă lasecădereasistemuluiînincoerenţăatunci cândamplitudinilede
probabilitate pentrumăsurareastării doritese apropie deunitate.
6.2.6 Implementăride reţeleneuronaleartificialecuantice preconizate

Existaşansade a pune în aplicare sistemecuanticecapabilede a prelucra
reţeleneuronaleartificialecuanticeînainte de a aplica computerele cuanticestandard. Aceastapentru
căprimele implementărivorviza, eventual, reteleneuronale artificialeauto-asociative, care nudepind
devariabiledublepentru prelucrare, ci devaloriînsemnate de2bit(-1, 0, 1). Astfel, arhitecturanuar consta în64
deQbits, ciîn 2Qbits. Având în vedereo astfel dereţeaneuronală artificialăcuanticăauto-asociativăde
recunoaştere amodelelorformate din3valori de intrarear avea nevoie dedoar 3Qbitsîn
cazuluneireţeleneuronale artificialeHopfield(Figure 18 – Reţeaua neuronalăartificială cuantică Hopfield )şi
poate7 (în funcţie denumăruldeclasificatoriinvizibili), în cazulunei maşiniBoltzmann(Figura 19 – Maşina
cuantică Boltzmann).
161
83
artificiale
|i1›
ψwi1i2
|i2› ψwi1in
ψwi2in
|in›
Figura 20 – Reţeaua neurală artificială cuantică Hopfield
|h1›
1
ψ w i1h
|i1› ψw ψwh1h2
i1 h2
ψwψw i1
ψwh1h3
i1
h3
ψwi1i2 |h2›
h1 hn
i2
ψw
ψ w i2h2
ψwi1in ψwh1hn
|i2› ψw
ψwh2h3
i
ψw
2h3
i2
hn
ψwi2in
1
ψwwinh
|h3›
2
ψwh2hn
h
in
ψ
ψwinh3
|in› ψw ψwh3hn
i nhn
|hn›
Figura 21 – Maşina cuantică Boltzmann

O altăprovocareesterealizareainterconectăriicerutede neuroniireţelei.Calculul ponderilorde conectarese
realizează cuecuaţiaperceptronuluişicreează, astfel, entanglementulbiţilorde calcul. Prin urmare,
conexiunileneuronaleponderateexistă ca stărileîncurcateQbit. PotrivitDiVincenzo, sistemele fizicede punere
în aplicare acalculatoarelorcuanticetrebuie să furnizeze următoarele(criterii DiVincenzo):
o un sistemscalabildeQbitsbine caracterizaţi;
o săofereposibilitatea de iniţializarecorespunzătoare;
o să aibătimpide coerenţămai maridecâtîn intervalele de timp necesarepentru
operaţiunilefundamentale;
o Sa aibăun set universaldeporţicuanticeşimăsurareaQbitspecific.162
Din punct de vedere tehnic, nuexistăniciun obstacolfundamental înpunerea în aplicare aunuicomputer
cuantictolerant la erori, cu toate acestea, nu există nicicea mai bună abordare.
6.2.6.1 Rezonanţa magnetică nucleară
RMNpare a fio abordarepromiţătoare pentrupunerea în aplicare aunei reţeleneuronaleartificialecuantice,
deoarece, deşinumărul de biţieste în prezentlimitat, suprapunerealiniarăpoate fi păstratăpână
lamiidesecunde,astfelsuficient de multpentru a permitecalculul, căutareacuanticăşi măsurarea.
162
DiVincenzo David. P. (2001): Dogma and heresy in quantum computing; Quantum Information Comp. 1, 1.
84
artificiale
ChuangşiGershenfeld163au făcuto verificare experimentalăfolosind unsistemde rezonanţă magnetică

nuclearăalcătuitdin doiQbits, primulfiindde spinalunuinucleude izotop de Carbon , al
doileafiinddescris despinulunuiprotonde spinal unuiionde hidrogen Cu toate acestea,deşisistemullor
esteun adevăratsistem cuantic, eicalculeazămediastatistică amai multor copii alesistemului, astfelmolecule.
6.2.6.2 Altele
Alte sisteme promiţătoare sunt sistemele cuantice care sunt formate dintr-un electron, izolat într-o cuşcă
atomică, cuşti ionice sau alte electrodinamici cuantice ale atomului în cavităţi optice.
7 Inteligenţă computaţională ce aplică ordine înaltă în sistemul pentru

achiziţii de date
Inteligenta computaţionala ce aplica ordine înaltă în sistemul pentru achizitii de date este unul
dintrerezultatele acesteilucrări.Acesta este un produs generic, estesistemul softwareneurocomputingbazat
pe cunoaştere164(KBN), denumit în continuare"Inteligenţă computaţională ce aplică ordine înaltă în sistem
pentru achiziţii de date", în extragerea datelor(SHOCID). Acesta aplică calculul paradigmelorde informaţii,
metode şitehnicidindomeniul de data mining şi a fost dezvoltat pentruverificareaabordărinou introduse.
KBNîncontinuarese referăla SHOCIDpentru utilizarea şireprezentareasimbolicăa cunoştinţelorîn
cadrulparadigmeineurocomputing.165Astfel, accentulesteSHOCIDpe aplicareapractică ametodelor pentru a
codificacunoştinţele anterioare, precum şipentru a extrage, rafina, şi revizuicunoştinţeleîncorporateîntr-una
saumai multeRNA.166
7.1 Inovaţii
Inovaţiile SHOCID aduseîndomeniulextragerii de datese bazează peinovaţiiledin
domeniulinteligenţeicomputaţionalecare au ca scopde a găsisoluţia optimă sau
aproapeoptimăpentrudeclaraţiile problemeiDM. Extragerea de dateSHOCIDnu ar fi fostposibilă
fărăaplicareaparadigmelorde calcul genericde informaţii, noilemetodeANNde formare şinoile tipuri
deANNpentru clasificaresi predicţie sau dezvoltatîn timpul fazeide cercetare. Inovaţiile SHOCID, prin
urmare, conţin:
Aplicareaunuinou tipdereţele neuronaleartificialerecurentă(SHOCID recurentăreţeaneuronală
artificială) pentruclasificareadatelor şiserii de timppronostic de, a functiona mai bine decâtcelede
feed-forward sau reţelele neuronale artificialerecurenteîncele mai multe cazuri.
Aplicareaunuinou tipdereţea neuronalăartificială, pe baza prelucrăriiconştiinţei umanepentru
clasificaresi predictie(reţeaneuronală artificialăcorticală).
Aplicareadeep belife-likeavândreţele neuronaleartificiale, inspirată
destructurineuronaleprofundedincreierul umanpentru clasificare.
AplicareaNeuroEvoluţiatransgeneticăprin simularearelaţiei dintreunorganism gazdăşi
unendosymbiont.
Aplicareasistemului imunitarartificialinspirate deoperaţiunidincombinaţie cuNeuroEvoluţia
genetică.
Aplicareaunuinou tipdemetaheuristic(genetic), algoritmpentrumodificareaponderilorşi, de
asemenea, arhitecturadefeed-forward sirecurentăde feed-forward a reţelelorneuronale artificialeîn
timpul fazeide pregătirepână la odetectateoptimăsau aproapesoluţie optimădesistem.
Aplicareaunuinou tipdealgoritmpentru determinareacalităţiiunei reţeleneuronaleartificiale, bazată
pe un calculde unificarea rădăcinii mediepătratede eroria ieşirilorneuronilor, sprijinirea
SHOCIDprivind determinareacelei mai bunedinpiscinade soluţiicreate.
Propuneredeun concept teoreticpentru oreţeaneuronalăcuanticănucopiereaefectele
cuanticepentruînvăţareaalgoritmicăoproblemeicare pe o maşinăvon Neumanne dejarealizată,
darpentru a fiprocesatăpe uncomputer cuantic.
163
Gershenfeld Neil, Chuang Isaac L. (1996): Quantum Computing with Molecules [2012-12-19]; URL:
http://www.mat.ucm.es/catedramdeguzman/old/01historias/haciaelfuturo/Burgos090900/quantumcomputingSciAmer/0698gershenfeld.html
164
Cloete Ian, Zurada Jacek M. (2000): Knowledge-Based Neurocomputing; Cambridge: MIT Press
165
Kolman Eyal, Margaliot Michael (2009): Knowledge-Based Neurocomputing: A Fuzzy Logic Approach; Berlin Heidelberg: Springer-Verlag, p. 5
166
85
artificiale
Simulareaunui mediuadecvat pentruuncomputer cuantic, urmată deo simularea unei

reţeleneuronaleartificialecuantice.
Determinarea,pe partea deSistem,atipului defuncţiide activareneuronutilizateîn cadrul
uneireţeleneuronale artificiale, bazate peneuronde intrare, adicăproblemadeclaraţieide data mining.
Determinareape partea deSistema soluţieioptimeîn non-evolutiv (arhitecturaadaptabilăa
reţelelorneuronale artificiale), precum şi înmetodele deformareevolutivedeaplicare
acomisiilordemocraticede reţele neuronaleartificialeluarea unei decizii finale, constând
dinagenţiunicide reţele neuronaleartificiale.
Imputaţiavalorilor lipsăînseturi de dateincomplete nuprin metodestatistice, ci prin.aplicare
dealgoritmigeneticia reţelelorneuronale artificiale, care derivăvaloarealipsesă dinalte valori, atât
dinsetul de dateîn cauză cât şi dintoatecelelalte seturi de datedin datelede formare.
Arhitecturi dereţele neuronaleartificialegenericece permitprelucrareaîn cea mai mare partede
clasificarenumericăprezentate şi(serii de timp) declaraţiilepronosticuluide problemă.
7.2 Structuri de reţele artificiale neuronale suportate
Următorul subcapitol oferă o descriere sumară a structurilor de reţele artificiale neuronale suportate.
7.2.1 Reţele artificiale neuronale feed-forward
Reţeleleneuronale artificialefeed-forwardsunt utilizate de SHOCIDpentru sarcinide clasificare. Singurele
excepţiisuntRNA recurenteşicorticalăale SHOCID, care suntutilizate pentru clasificareşi pentru predicţia
timp-serie. SHOCIDsprijinăînvăţareaorizontală şimetode de instruirepentruFFANN-uri:
NeuroEvoluţiaTransgenetică
Sistemul imunitarartificialinspirat deNeuroEvoluţia
Simulareaînvăţăriicuantice
Propagare înapoi
Regulade actualizareManhattan
Propagare rezistentă
Algoritmi genetici
AlgoritmulLevenbergMarquardt
Metodelede formare orizontalesunttoate metodelede adaptare aponderilora uneia sau mai
multorRNAdeaceeaşi complexitate, precum şi evoluţiaacestor reţeleprinintermediul unoralgoritmigenetici.
Oricare dintremetodele de formarenecesitămai mulţi parametri, printrecare:populaţia
iniţială,algoritmuldeînvăţaregeneticsauimpulsul pentruînvăţareprin propagareînapoi. În plus, sistemul
suportăevolutiaverticală, care esteadaptareaarhitecturiişi poate firecombinare aRNAde arhitecturădiferită.
SHOCIDsprijină:
NeuroEvoluţiade sporire atopologiilorpentruadaptareageneticăamatricelor de greutate;
evolutiastructuralăpentru toatemetodele de formare alesistemului, în cazul în careprocesul
deevoluţieîn sine estedenaturăgenetică.
În conformitate cumetoda de clasificareselectată, utilizatorul alegemetoda de antrenamentdorită.Timpul de
caresistemulare nevoiepentru ainstruio soluţieANNdepindedemai mulţi factori:
metodade formareselectată
cantitatea de datede formare
o complexitateaproblemei
o numărul/varietatedeatributede intrare
o numărul/varietatedeatributede ieşire
7.2.2 Reţele neuronale artificiale recurente feed-forward
Cele mai multe dintreRNArecurenteSHOCIDsuntinstruiteprinalgoritmigenetici. Existăpatru
tipurideRANN-uriacceptate:
RNA corticală
RANNSHOCID
RANN Elman
RANN Jordan
86
artificiale
SHOCIDsprijinăînvăţareaorizontală şimetodele de formarepentru următoareleFFANN-urirecurente:

Algoritmii genetici
Încălzirea simulată
7.2.3 Reţelele neuronale artificiale„Deep belife”

Deoareceabordarea RNA-urile deep belifeSHOCID(DBN) nu se bazează numaipe o structurăANN cu
alimentareînainte, tratamentul termicsimulateste folositca oabordarede învăţare. DBN SHOCID, care se
bazeazăpeHintonsDBN167, a fost dejaexplicatîn detaliu, deoarece esteonouăabordareANN de învăţarepentru
clasificareadatelornumericeşicare au fostelaborateîn cadrulfazeide cercetarepentruSHOCID.
7.2.4 Hărţi cu opţiune de auto-organizare
SHOCIDfoloseşte şiun fel dehartă topografică, bine cunoscută cao funcţie de autoreglare,hartaorganizator
sauKohonen harta. SOFMsunt utilizate de cătresistemul declusteringcarea fost dejaexplicat dinpunct de
vedere tehnicîn fundamenteleştiinţifice. Clusteringeste singurametodă de
formarenesupravegheatăsuportatăde sistem, ceea ce înseamnă căniciuna dintre valoriledoritede ieşirenu
trebuie să fiefurnizate însursa de date. PrelucrareaSOFMnecesită doarnumărul doritdeclusterede ieşireîn
funcţie decaresistemul creeazăneuroniide ieşireşieste capabilsă procesezeintrareaprin intermediulhărţii.
7.3 Privire de ansamblu asupra arhitecturii
Figura 31oferăoimagine de ansambluaarhitecturiisistemului, -
Figura 22 –. SHOCIDpoate fi împărţit înpatru părţilogiceîntre frontalşi backend. După cum s-a menţionatîn
introducere, nucleulSHOCIDafostparţialrealizatprin aplicareaclaselorEncog2din cercetareaHeaton. Cu toate
acestea,pe de altă parteeste formatdinprelungiriale cadrului, precum şi apunerii în
aplicareaabordărilorgenericeşi noiANN. Până acum(10-11-2012), această extindereconţine: 112clase Java,
145de paginide serverJava, care împreunăreprezintă aproximativ120,000de linii de codsursă.
7.3.1 Interfaţa grafică pentru utilizatorr
Interfaţa deSHOCIDa fost făcutădin paginide serverJava(JSP-uri). Această interfaţa:
aşteaptăutilizatorul să conectezesistemul lao sursă de datesub formădevaloareseparatăde
virgulă(CSV);
permiteutilizatorului săcreezediferite tipuride reţeleneuronale artificialeîn funcţie descopul
prelucrării, în diferite combinaţii, şi anume: singuragentANN,comisiede
maşiniANNşievoluţiaagenţilorANN;
aşteaptăutilizatorul săaleagă dacădatelede faţătrebuie să fienormalizate;

aşteaptăutilizatorulpentru a specificanumărul dedomeniide intrareşide ieşiresau clustere.
7.3.2 Prelucrareaintrărilor/pregătireade procesarebackend
Intrarea estetransferată de lainterfaţadeJSP-urimediatoarelor SHOCID, care determinăprindatele
furnizatedacă este:
un singuragent deANN,
ocomisiemaşiniiANNsau un
singur agentANNîn evoluţie
Ar trebui să fiecreate şitransmite acesteinformaţiiJSP-urilorprelucrarea/ieşire. Acestea, larândul
săuapeleazămetodade execuţie, cu toţi parametriide intrareprevăzuţişitransmite datelelabackend. În cadrul
acestuidomeniu, prin urmare, utilizatorul interacţionează cusistemulşisistemulpregăteşteintrarea
pentruprelucrareabackend.
167
2006.
87
artificiale
Inp
prep ut proces
arati si n g GUI: Input / Visualization
on /
proc of backe
e ssi n nd
g
Data
Input jsps connection /
processing
Middler jsps SHOCID JSP Frontend method
Submission /
Processing / output
output jsps retrieval
ng
si
In de
es
te te
Data Result
c
llig rm
ro
p
en in
preparation generation
e-
t s ati
Pr
ol on
ANN
ut
Result
io
(committee)
n
preparation
generation
SHOCID JEE Backend ANN saving
ANN
evaluation
ANN training
Figura 22 –Planul unui SHOCID
7.3.3 Pre-procesarea
Partea de pre-prelucrareaasistemuluiesteresponsabilă pentrunormalizareadatelor şipentrucrearea deinstanţe
aleRNAînstructura aleasă, care este:
o determinareafuncţiilorunicede activareneuron;
o includereametodei de învăţareîn funcţie demetoda de prelucrare;
o pregătire pentruefectuareaunei evoluţii posibileastructuriireţelei, conform
problemeideclarate.
În plus, deşi acestemăsurifac parte din cele mai complicatedouă domenii alesistemuluitoateacestea
suntefectuate de cătresistem în sine.
7.3.4 Determinarea inteligentă a soluţiei
Nucleul sistemului hotăreştesoluţiainteligentă pentruoproblemăprezentată. În timpul antrenamentului,
calitatea fiecăreiANN estedeterminată conformunui algoritmsimplu, iar celemai bunesunt ţinute, celemai
gravesunt eliminate. În funcţiedemetodade pregătire şi dacăsistemula fostsetat
săapliceevolutiaarhitecturală, soluţiaprocesului de determinarepoate deveni foartecostisitoareîn termeni de
timpde calcul. Combinaţia de evoluţiearhitecturală, combinată cuANNSHOCIDcorticalestemetodade
prelucrarecea mai scumpă, dar, de asemenea, una dintrecele maiprecise. Deoarecesistemul afost
dezvoltatpentru a învăţamasivîn paralel, sevaefectuamai bineun servercare poate oferimai multeprocesoare.
După ce aterminatformareaşi evaluarea, cea mai bună soluţierezultatăeste salvatăîn mod automatînsistemul
88
artificiale
de fişiere local, care ajută la evitareapierderiineintenţionateaunei soluţiiinstruite, deoarececineva nuar

puteaaşteptaînfaţamonitoruluipentrumai multe orepână cândsistemul aterminatprelucrarea. În cele din
urmă, rezultatelesunt apoipregătiteşi prezentatelautilizatorîn formede tabeleşi diagrame. Acest pas a fosta
fost delegatde sistemsi nueste necesară intervenţia utilizatorului.
7.4 Metode de prelucrare SHOCID
SHOCIDproceseazădateleîn funcţie de tipurilesolutieişi tipurilesolutieifac uz demetode
deprelucrarediferite, sauînaltecuvinte, metode de formare. Diferite metodede prelucrare ale sistemuluisunt
explicate înurmătoarele subcapitole. Nu este o limităstrictăpentru a fi redactatăpentru a împărţimetodele
deprelucrareuniceîntre ele, ca şi celepredictive, precum şi algoritmigeneticide imputare avalorii de utilizare,
sauînceea ce priveşte evoluţiade prelucrareSHOCID, de a învăţaşi de a înţelegeo problemădeclarată.
7.4.1 Clasificare
Metodele de prelucrarea clasificărilorsunttoate acesteacare au posibilitateasă rezolvesarcinide clasificare.
Acestea nutrebuie neapărat săfielimitate lavalori de ieşirepuţine, darun exempluar putea fiprezentarea de
dateale clientilorde la o bancă. Această prezentare conţineclienţiiactuali, precum şi clienţii care au plecatla
o altă bancă. Sistemular putea ajutala identificareaclienţilorcare ar puteasă plece. Cu toate acestea,metodele
deprelucrare aclasificăriidin cadrul sistemuluisunt, de asemenea, capabile să rezolvesarcinipredictivecare
nu sunt în serie. Următoarele metodeprelucrarede clasificare suntdisponibileîn cadrulsistemulSHOCID.
7.4.1.1 Quick & dirty
Aceastămetodă de prelucrarepermitesistemului dea crea unANNde învăţarecupropagareînapoi. Această
metodăde învăţare estedeinteres special, atunci când osoluţieeste necesarăîntr-un timpscurt, şi nu poate fi
acordat timp deformare. Rezultateleobţinutecuo astfel de soluţienu potfi corecte, daratunci cânde nevoie se
poate utiliza ca un indicatoralmodului în carepoate arătasoluţiaoptimă.
7.4.1.2 Rapidă
Când este selectată această metodă, sistemulpermiteRNAsăînveţecu regula de actualizareManhattan. După
cum s-a menţionatînelementele fundamentale, prin aplicareareguliide actualizareManhattan caalgoritmde
formareîn cadrul uneiANN,problemaalgoritmuluicu propagareînapoideplatouplatesteevitată, deoarece, din
cauzaconstanţeisale, schimbareagradientuluisau greutateanupoate deveniatât de mică încâturmătoarea nu
poatefiatinsă.
7.4.1.3 Eficientă
Conduceeficient laaplicareapropagăriirezistentede învăţare. Propagarearezistentăantreneazăfiecaregreutate
şiprag înmatriceade legăturăîn mod individual, care nu este susţinutănicide propagareaînapoişi nici
deregulade actualizareManhattan. Cu toate acestea,acest lucru necesitătimpde calculmai mult decâtprimii
doialgoritmi, dar permitecele mai precise rezultateale celor treialgoritmipropagare aformării.
7.4.1.4 Evoluţiamică
Evoluţiamică este o metodă de prelucrare carepermitesistemuluicreareaRNAinstruitedetratament
termicsimulat. Dintretoate metodeleformăriievolutive, EMnecesitătimpde calculmai mult, darar
puteaajunge lasoluţii maiprecise. Metodeleevolutivede prelucraretrebuie aplicate pentruprobleme
complexe.
7.4.1.5 Evoluţia
Învăţarea prinaplicarea unoralgoritmigeneticifoartedespermitesistemuluisă ajungă la osoluţie optimăsau
aproapeoptimăîn termen decâteva iteraţii, în comparaţie cualte metodede formare. Cu toate acestea,în ceea
ce priveştetimpul de calculpentru aceasta estea doua cea mai intensivămetodăpentru antrenament,
deoareceo populaţieiniţială(bazin de soluţii) este creată şirecombinatăşimutată, până cândcriteriile
deoprirea fost atinse.
7.4.1.6 Evoluţiacomplexă
Acest tip deprelucrare esteceva maicomplexdecât ceadin urmăîn care se aplicăNeuroEvoluţiade sporire
atopologiilorprinutilizarea dealgoritmigenetici. Evoluţia complexănecesită timpde procesarecrescut, dar, de
obicei, duce lasoluţii maiexacte.
7.4.1.7 Evoluţiaoptimă
Evoluţiaoptimăeste în termeni detimp una din metodele de prelucrarecele mai scumpe, dar, înacelaşi timp
dar,una dintrecele maiprecise pe caresistemul o suportă. EvoluţiaSHOCIDstructuralăcare s-a aplicat
adovedit că aajuns lasoluţiile cele maiprecise pe caresistemul esteîn măsură să determine. Mai
89
artificiale
alescombinaţiaevoluţiei structuraleSHOCIDcuRANN-uriSHOCIDesteoabordarede preferatatunci cândo

soluţiede data miningvizeazăcea mai mare precizie.
7.4.1.8 Evoluţiade similitudine
Evoluţiade similitudinecreeazăRNAîn care se aplicăfuncţialui Gaussca functiede activare.
Detectareasoluţiei optimedin nouse întâmplă prinevoluţiagenetică. Soluţia, prin urmare, este similară
cu"Evoluţia", darnu numai cădiferălafuncţia de activareunui singur neurona. RNAde acesttip suntlimitate
laun singur stratascunsşinumăruldeneuroniinvizibilitrebuie săfie neapăratde două orinumărul deneuronide
intrare. Cazul de utilizaresugeratpentruevoluţiade similitudineeste atunci cândovaloare-ţintăanticipatădeun
elementdin datele sursăeste probabil să fieaproximativ aceeaşi(similare) ca alte elementecare auvalori
apropiateale variabilelorpredictor.168
7.4.1.9 Prelucrareacorticală
Prelucrareacorticalăca ometodăde procesare aRNA şia fost inspirată deprelucrarea semnalelorîn
cadrulconştienţei umane.Astfel, oRNAcorticalăpentru învăţareeste creatăpentru odeclaraţie deprobleme
înexploatareadatelor. RNAcorticalede procesaresunt foartecomplexe, în structura lor, iar aplicarea lor este,
prin urmare, în ceea ce priveştetimpul de procesareuna dintre metodelecele maiscumpede învăţareoferită
desistem. Cu toate acestea,atunci când odeclaraţieproblemăconstă dinnumeroşipredictoridiferiţi caretrebuie
săfieclasificaţianticipatsauatributeţintănumeroase, RNAcorticalăpoate fisoluţia optimă. Deoarece
aceastaeste încăo soluţieexperimentalăşio temă de cercetareactuală, îmbunătăţiriîn procesul de
prelucrarecorticalapotfi făcute încă.
7.4.1.10 NeuroEvoluţiaTransgenetică
NeuroEvoluţiaTransgeneticăeste unadintre metodele evolutive cele maisofisticateoferită deSHOCID.
Această metodă afost inspirată deendosimbiozaşi transferulorizontal de gene lacoloniilede bacterii.
Castandard deRNAgenetice, pentruo populaţieevoluţiaeste necesară. Cu toate acestea,înmod
contrarceluidin urmă, soluţiatransgeneticăcreează treipopulaţiidiferite şievolueazăpână lacriteriilede
oprirele-au fost îndeplinite. Acestepopulaţiidiferite nuformeazăo soluţie, darfurnizeazămaterial
geneticpentru transferulsecvenţa de genăorizontalăîntregazdă şiendosimbiont, care estesoluţiareală.
7.4.1.11 NeuroEvoluţiaartificială inspirată desistemul imunitar
Aceastăabordarecombinăoperaţiuni inspirateAIS şiestetipulcel mai complexde prelucrareoferită
deSHOCID. În plus, prin combinareapunctelor fortealeunuisistemimunitar, caresuntde selecţieclonală,
hypermutatiilesomatice, teoriapericolului, şi selecţianegativă, cucele de învăţaregenetică, a fost dezvoltat
NeuroEvoluţiaun nou domeniu deevoluţieRNA şide învăţarea.
7.4.1.12 Reţeaneuronalăartificială„Deep belife”
Aceastăabordareeste similară cureţeaua deep belifeintrodusă deGeoffreyHinton.Diferenţa este că
doarmaşinilestandardBoltzmannîn locul celorcu acces restricţionatsunt aplicate şică numaiponderile
dinacestea suntimportante, deoarece acesteasuntcopiateîntrunMLPdupă pre-formare, care reprezintăsoluţia
finală. Aceastăabordare esteadecvatăîn cazul în caredatelede formarece conţin o mulţimedevectoride
intrarediferiţi şi caracteristici diferite necesităarhitecturide reţeaprofundă.
7.4.2 Predicţie prin serii de timp

Metoda predicţiei prin serii de timp este folosită pentru a prezice valori continue în cazul problemelor care
nu pot fi rezolvate prin algoritmi simpli. RNA-urile recurente, precum toate RNA-urile cu predicţie a
seriilor de timp, sunt capabile să învete şi să rezolve acest tip special de problemă de Data Mining,
deoarece prin straturile recurente ale acestora au un fel de memorie. Tipurile de soluţie au pur şi simplu
numele RNA-urilor respective şi toate tipurile de soluţie învaţă odata cu evoluţia SHOCID.
7.4.2.1 Predicţia SHOCID
Predicţia SHOCID este cel mai eficient tip de soluţie, comparabil cu evoluţia optimă a clasificării
SHOCID. În ceea ce priveşte timpul de procesare, predicţia SHOCID este cea mai costisitoare metodă de
formare, dar şi cea mai exactă predicţie a seriilor de timp suportate de sistem. Nu există nici o posibilitate
de combinare cu diferite moduri de învăţare, deoarece predicţia SHOCID încearcă mereu să găsească
soluţia optimă prin aplicarea algoritmilor genetici.
168
DTREG (2011): RBF Neural Networks [2012-01-01]; URL: http://www.dtreg.com/rbf.htm
90
artificiale
7.4.2.2 Predicţia Corticală

După cum s-a menţionat anterior, RNA-urile corticale dau rezultate bune atunci când cerinţa problemei
constă din numeroşi predictori care trebuie anticipaţi sau clasificaţi în numeroase atribute ţintă. RNA-urile
corticale fac uz de conexiunile sinaptice recurente si de aceea au abilitatea ed a memora, ceea le face foarte
potrivite pentru predicţia seriilor de timp.
7.4.2.3 Predicţia Elman si Jordan
Atat RNA-urile Elman cât si Jordan sunt folosite pentru predicţia seriilor de timp în cadrul SHOCID şi
ambele încearcă să găsească soluţia optimă prin aplicarea algoritmilor genetici. Aşa cum nu este nici o
regulă generală pentru aplicarea unuia sau altuia, rezultatul mai precis al metodelor de prelucrare este găsit
prin încercare şi eroare.
7.4.3 Atribuirea Valorii
Valoarea de imputare, ca metodă de pre-procesare, se bazează pe aplicarea algoritmilor genetici pentru
determinarea valorilor lipsa. De asemenaalgoritmul trebuie să fie trecut peste atributele unui set incomplet
de date, de unde poate deriva atributul lipsa. După aceea SHOCID determină valoarea lipsa pentru un set
de date incomplet prin învăţarea unei RNA, cu toate seturile de date complete ale sursei de date şi în cele
din urmă atribuie valoarea lipsă.
7.4.4 Clustering-ul
Clustering-ul este singura metodă nesupravegheată de învăţare suportată de sistem. Pentru clustering,
sistemul are nevoie doar ca utilizatorul să conecteze sursa de date şi să specifice numărul dorit de clustere
de iesire. În spate, SHOCID creează o Hartă de Auto-Organizare a Elementelor prelucrând seturile de date
de intrare ale sursei, în numărul de clustere specificat. Este foarte posibil ca o noua formare pe aceeaşi
sursă de date să lase sistemul să grupeze seturile de date în clustere diferite, deoarece factorul aleator din
SOFM este mai grav decât în alte RNA-uri. Cu toate acestea, clustering-ul SHOCID creează o serie de
fişiere de ieşire, fiecare conţinând seturile de date de intrare aferente, care pot fi folosite pentru prelucrări
ulterioare.
7.5 Agenţi si tipuri de soluţii
După cum am arătat în subcapitolul 7.4, metoda de procesare SHOCID, se aplică la tipuri de soluţii
bazându-se pe diferite metode de procesare. În funcţie de sarcina de explorare a datelor si metoda de
prelucrare, SHOCID este capabil să creeze următoarele tipuri de soluţii pentru enunţul problemei prezente:
Agent unic
Comitet democratic
Agent unic de evoluţie (evoluţia structurală SHOCID)
Comitet de evoluţie hibrid (evoluţia structurală SHOCID)
7.5.1 Agent unic
Cel mai simplu tip de procesare suportat de SHOCID este crearea unui agent unic de RNA. În funcţie de
numărul de valori de intrare şi ieşire, în funcţie de sarcina ce trebuie efectuată, SHOCID creează un singur
strat ascuns cu feed-forword (recurent) RNA pentru învaţarea enunţului problemei de explorare a datelor
preznetat. Funcţiile posibile de activare pentru agentul unic sunt sigmoid şi funcţiile hiperbolice tangente
de activare. Neuronii agentului fac uz de funcţia hiperbolică tangentă de activare, când intrarile normalizate
iau valori între pozitiv şi negativ. Dacă intrarea normalizată conţine valori pozitive, fără excepţie, activarea
sigmoid este aplicată. Matematic, determinarea agentului finale, făcând uz de funcţia de activare adecvată,
este reprezentată după cum urmează (ec. (7 1)):
(7-1)
91
artificiale
Unde stratulde intrare arepintrări , stratul ascunsare noduriascunseşiieşireaşi existăo singură

ieşirepentrustratul de ieşire . Straturilesunt completconectate prinponderi, unde esteintrarea a
pentrunodul din stratul ascuns, unde estepondereaatribuită nodului dinstratul ascunspentruieşire.
şi suntdeviaţiile. Schematic, un agent unicde învăţare, cu propagare înapoi este descrisîn Figura32 –
Agent unic.
h1
w
1 h1
w i1h o1
i1 wi1
wh
h2
1o
w i1w i1hn
n
h3
wh2o1
h2 o1
wh
h1
i2
2o
w w i2h2 n
i2 wi
2h3
o1
w h3
w i2
hn
wh3on
h3 on
w inh1
h2
w
in
winh3
in
o1
h4
wi on
w
nh
n w h4
hn
Figura32 -Agent unic

7.5.2 Comitet democratic
Această opţiunepermiteSHOCID să creeezeo maşinăcomitet, formată dinagentiunici RNA.Crearea
agenţilorunici din comiteturmeazăacelaşi procesca şiatunci când se face selectarea"Agentului unic', darla
fel de descât utilizatorul a instruit SHOCID.Funcţiileposibilede activaresunt din nousigmoidşi
funcţiilehiperbolicetangente, în funcţie desursa de date. Matematic, prelucrarea unuicomitetdemocratic,
format dindoi agenţicu propagareînapoi, poate fi prin urmare, reprezentat de:
(7-2)
unde
(7-3)
Schematic,prelucrareaunui comitetformat dindoi agenţiunicicu propagareînapoieste descrisînFigura 33-

ComitetDemocratic. Ieşirea neuronuluiunui comiteteste determinată devaloareamedie atuturor membrilor
din comitet. Numarul posibil (şi teoretic) de care sistemul estecapabil nuse limitează laun anumit număr,
dardepindedeputerea de procesareşimemoria RAMfurnizată. În prezent, utilizatorul esterestricţionatsă
apliceun număr maximde 5agentipercomitet.
92
artificiale
h1
w
1 h1
w i1h o1
i1 wi1
wh
h2
1o
w i1w i1hn
n
h3
wh2o1
h2 o1
wh
h1
i2
2o
i2h2
w
n
w
i2 wi
2h3
o1
w h3
w i2
hn
wh3on
h3 on
w inh1
h2
w
in
winh3
in
o1
h4
wi on
w
nhn
w h4
hn
h1
w
1 h1
w i1h o1
i1 wi1
wh
h2
1o
w i1w i1hn
n
h3
wh2o1
h2 o1
wh
h1
i2
2o
w i2h2
w
n
i2 wi
2h3
o1
w h3
w i2
hn
wh3on
h3 on
w inh1
h2
w
in
winh3
in
o1
h4
wi on
w
nhn
w h4
hn
Figura 23 – Comitet democratic
7.5.3 Agent unic de evoluţie

Opţiunea agent unic de evoluţie instruieşteSHOCID să creeze unuldintretipurile deagent unic posibil,
combinatcuevoluţiastructuralăSHOCID. Calitatile produse de evouţia fiecărui agentunicsunt apoicalculate,
stocate şi în finalcomparate.Din nou, funcţiileposibilede activaresuntsigmoidşi funcţiilehiperbolicetangente,
în funcţiedesursa de date. Evoluţia agentului unic este maicomplicată decâtsoluţiilemenţionatela comitetul
democratic. Figura 5.1 prezintă algoritmul pentru un agent de evoluţie cu propagare înapoi(detalii
suplimentare sunt furnizatela pct. 5.1Evoluţia structurală):
Start
1. Iniţializare m=mmin şi n=nmin
2. Repetă
a) Repetă
i. Crearea agentului RNA de evoluţie cu m straturi ascunse si n neuroni ascunşi pentru
fiecare strat.
ii. Selectarea iniţială a ponderilor reţelei la aleator.
iii. Repetă
1. Calculează ieşirea reţelei pentru valoarea
2. Calculează eroarea pentru fiecare neuron de iesire
93
artificiale
4. Adaptarea ponderilor in concordanţă cu
iv. Pană când criteriul este indeplinit

v. Determină valoarea calitaţii arhitecturii de reţea curente
vi. Stochează valoarea calitaţii arhitecturii de reţea curente în vectorul calitaţii
vii. Incrementează m cu 1
b) Pană când se ajunge la nmax
c) Incrementează cu 1
3. Pană când se ajunge la mmax
4. Compararea soluţiilor RNA stocate in funţie de calitate
5. Presetează soluţia cea mai bună
Sfârşit
Algoritmul 6 – Agent unic de evoluţie cu propagare în spate
Detaliere:
mmin /mmax: Numărul minim/maxim de straturi ascunse
nmin /nmax: Numar minim/maxim de neuroni per mn
: Intrarea reală
: Eroarea pentru intrarea la neuronul de ieşireon de la generarea curentă
: Eroarepentruneuronulascuns
Algoritmul –Agent unic de evoluţie cu propagareînapoi -arată că prima RNA este creată cuun număr
minimdeneuroniascunşişi straturiascunse. După oiteraţiecompletă de formare,
număruldeneuroniascunşiestecrescut cu1 până pentruaceststrat va fi atins. Aceasta este
apoirepetatpentrustratul ascunsurmătorpână se ajunge la .Fiecaresoluţie unică, cu eroareaşi valorilede
calitate pentrufiecareset de date estesalvată înharta hash, care esteutilizată pentrudetectareacelei mai bune
soluţii RNA, după ce evoluţiaa fost finalizată.
7.5.4 Comitet de evoluţie hibrid

Comitetul de evoluţie hibrid nu este doarun comitetdeevoluţie aagenţilorunici hibrizi, aşa
cumpresupunenumele. Termenul "hibrid" presupune funcţii de activaremultipleîn cadrul fiecăruiagent
deRNAa comisiei, şi anumeactivareasigmoidcombinată cufuncţiile de activarelogaritmice numai pentru
sursă de date pozitiveşiactivareahiperbolictangentăcombinată cufuncţia de activarelogaritmicăatât
pentrusurse de date pozitivecât şi pentru date negative. Evoluţia se desfăşoară înacelaşi modca şiîn
cazulagentului unic de evoluţie, cudiferenţa: comitetul trebuie să fieluat în considerare, algoritmul este:
Start
1. Crearea comitetului iniţial cu nc membri si pentru fiecare membru o o populaţie de RNA np cu mmin
stature ascunse şi nmin neuroni ascuncşi pentru fiecare strat ascuns.
2. Repetă
a) Repetă
i. dacă n < nmax:
2. Incrementează n cu cn
ii. Crearea populaţiei de x RNA-uri cu mcm straturi ascunse si ncn neuroni ascunşi pentru
fiecare strat ascuns.
iii. randomizarea ponderilor si a valorilor de prag ale fiecarui cromozom.
iv. Repetă
1. Calculează ieşirea reţelei pentru fiecare valoare
2. Evaluează potrivirea fiecarui cromozom:
a. Calculează eroarea pentru fieacare neuron de ieşire on
b. Calculează eroarea pentru fiecare neuron ascuns
94
artificiale
3. Selectarea cromozomilor pentru recombinare

4. Repetă
a. Intercalarea cromozomilor
b. Mutaţie a descendenţilor
5. Până când toţi cromozomii selectaţi au fost recombinaţi.
v. Pânaă criteriul este îndeplinit
vi. Determina valoarea calitaţii pentru arhitectura reţelei curente
vii. Stochează valoarea calitaţii pentru arhitectura curentă în vectorul de calitaţi
b) Până când se ajunge la numarul membrilor din comitet
c) Verificare
viii. Prezintă fiecare set de date de verificare
ix. Incrementează cu 1 vectorul de erori al comitetului pentru RMSE > rmax pentru fiecare
set de date de verificare
d) dacă n == nmax:
x. Incrementează m cu cm
3. Până când se ajunge la mmax
4. Compararea soluţiilor de RNA stocate in funcţie de calitate
5. Prezintă cea mai bună soluţie
Sfarşit
Algoritmul 7 - Comitet de evoluţie hibrid
Detaliere:
nc: Numarul de membri ai comitetului
np: Numarul de cromozomi per comitet
mmin /mmax: Numarul Minim/Maxim de straturi ascunse
nmin /nmax: Numarul Minim/Maxim de neuroni per mn
cn /cm: Contoare neuroni/straturi ascunşi
: Intrarea efectivă
: Eroarea pentru intrarea la neuronal de ieşire on pntru generaţia curentă
: Eroarea pentru neuronal ascuns
rmax: RMSE permis
Algoritmul – Comitetul de evoluţie hibrid - aratăcontrariul soluţiilordejaprezentate, si anume algoritmul
genetic cu propagareînapoipentruînvăţare ce afost utilizat anterior. Acest lucrueste datorat comitetului de
evoluţiehibrid care suportă doarînvăţareageneticăcu feed-forward aRNA siSHOCIDrecurent pentru RNA,
ceea ce facealgoritmulun pic maicomplicat, ca şi în cadrulSRANN-urilorneuronii dinstratul decontext, în
caz că avem de aface cu unSRANN cu 3 straturi, trebuie de asemeneamajorată cu un increment al
neuronilor din stratul ascuns. SRANNsconţinedouă straturide contextpe fiecarestrat ascuns, astfel
încâtprelucrareadevineceva maidificilă atunci cândevolueazănumărulde straturiascunse. Numărul maxim
destraturiascunse este o constantăcuvaloarea 2, după cumRNAcu douăstraturiascunsepoate
aproximaoricehartăbunacu oriceacurateţe169. În prezent, SHOCIDsprijinăcomitetele hibride
adaptivepentruînvăţareageneticăcu feed-forward a RNAşiSHOCID pentru RNA, şi revenire simulată a
RNA cu feed-forward.
7.5.5 Fişierul de informaţie al agentului
După ces-a sfarşit formarea, SHOCIDsalveazăsoluţiaDM, dar şi informaţii despresoluţieîntr-un
fişiersuplimentar. Acest lucru este necesarpentrucă la aplicareauneia dintresoluţiilestocatesistemul are
nevoie din nou de număruldeneuronide intrare, neuroni de ieşire şiîn cazulunui comitet, număruldemembri
ai comitetului, precum şi numele acestora. Opţiunileposibile sunt:utilizatorul sa fie lasat să furnizeze
169
95
artificiale
această informaţie când este aplicată soluţia sausă o scrieînaşa-numitul fişier de informaţie al agentului.
Exemplificat, fişierul de informaţii alagentului pentruun comitetcu 4membriconţineurmătoarele informaţii:
4
C:\...\SHOCID\committees\ga\FFANNGAC_2012-01-01_13-25-33_Member_1.net
2
1
Primul număr (4)estenumăruldemembrii ai comitetului, care este utilizat pentru a analizafişierul şipentru a
localizanumăruldeneuronide intrare(2), a carui poziţieeste apoiutilizată pentru
alocalizanumăruldeneuronide ieşire(1). Între acestea, fişierul conţinenumeleagenţilorunici ai RNA, carevor
fi deschiseşi aplicateproblemei enunţatede catreSHOCID când începe prelucrarea.
Numeleagenţiloruniciconţin informaţii despredata creăriilor, tipulşi modul lorde formare.
Literelemajusculearatăcăagenţiiunicisuntreţele neuronale artificiale cu feed- forward(FFANN), formaţi cu
unalgoritm genetic(GA) şi membrii comitetului(C). Numele fişierului de informaţiide
susesteFFANNBPC_2012-01-01_13-25-42.txt.
8 Rezultateexperimentale
Sistemului i-au fost furnizate datede formare pentrutoatesoluţiile saleprin aplicarea de metodede
învăţaresupravegheate. În cadrulacestui capitol, precizia şiperformanţade formareasoluţiiloraplicatesunt
demonstrate prin stocarea datelorrezultateexperimental. Fiecare testa fostaplicatde cinci ori, ceea ce
înseamnă căcinci soluţiiaufost formateşi aplicatepe datelede verificare. Mai alescomparareametodelor de
formare şi învaţare dejacunoscute şiabordărileANN,cu celedezvoltatedeSHOCID, şi anume:
Reţeaua neuronală artificială SHOCIDrecurentă,
Reţeaua neuronală artificială corticală
Reţeaua neuronală artificială „deep belief-like”
Evoluţia structurală SHOCID prin:
o Agent unic de evoluţie
o Comitet hibrid adaptiv
NeuroEvoluţie transgenetică
Sistem artificial imunitar inspirat de NeuroEvoluţie este de importanţă. Nu numai
funcţionalitateasistemuluia fost verificată,a fost de asemeneademonstrat cănoile soluţii le
depăşeascpe cele existenteîn fiecare aspect. Rezultatelefiecărei încercăriunicesă conţinăurmătoarele
informaţii:
o ParametriioferiţiSHOCID
o Informaţii despretipul desoluţie
o Iteraţii/generaţiinecesare
o Rezultate
8.1 Opţiunea de testare Black-Scholes
Acest capitoloferă informaţiile tuturortestelor care aufost efectuatecutoate tipurileposibilede soluţiide
clasificare. Secţiunea de clasificări esteîmpărţităîntr-o secţiunede verificare a sistemului, dovedind
căsistemul estecapabilde a învăţaşi de a rezolvaprobleme cu cerinţe neliniare, şio secţiunede testare,
dovedind că SHOCIDestecapabil de a creasoluţii cucapacitatea de a învăţaprobleme NPşirezolvarea
acestora.
Datele financiare prezentate în continuare redaupreţurileopţiuniiBlack-Scholespentrunivelurilede
volatilitatemergând de la 20la sutala 200la suta, pentrutimpul defuncţionare5 la 15zile,iar preţul final
mergând de la 70de dolarila 130 dedolari. Preţul de stoc afost stabilitla 100de dolari, iarprofitul la0%la
generareade date.170 Numărul deseturi de datede învăţata fost de1530. Cu toate acestea,pentruaceastăa doua
170
Scientific Consultant Services (2003): Neural Network Test Data [04-04-2012]; URL: http://www.scientific-consultants.com/nnbd.html
96
artificiale
problemăprezentatăelaborarea nu conţineieşirileideale obţinute, deoarece sunt necesare 1530de

liniipentrufiecareiteraţie.Pentrucolectarea de informaţii detaliate, prototipulSHOCIDpoate fi aplicat. Mai
mult decât atât, nunumaiRMSEa fost importantde învăţat, dar şi agenţilor unici RNA le-afost permisă
numaio abatere absolută de lavaloarearealăînvăţată lavaloarea ţintăde 5dolari.
Număruldeseturi de datede formare: 1530
Număruldeseturi de datede verificare: 100
Număruldedomeniide intrare: 3
Număruldedomeniide ieşire: 1
8.2 Evoluţie mică (tratament simulat de formare) agent unic 1
Primul tratament simulatde formarea fost aplicatproblemeiBlack-Scholespentru a servidreptcomparator
pentruNeuroEvoluţiatransgenetică, careutilizează de asemenea învăţareaSA.
Parametrii:
Normalizarea: Da
Domenii de intrare: 3
Domeniide ieşire: 1
Straturile ascunse: 1
Neuroniiascunşi: 5
RMSEpermis: 1 la suta
Abatereaabsolută permisă de la ţintă: 5
Tabel 2 – Tratarea simulată pentru agent unic 1

Rulare Iteraţie de formare RMSE Final
1 855 2.3440388409399297E-4
2 755 2.4878078905289343E-4
3 560 2.4221577041141782E-4
4 643 3.2309789223214857E-4
5 764 3.3617530058731646E-4
Soluţia numarul 1 a fost aplicată pe seturile de date de test şi s-a obţinut un succes de clasificare de 83% în
cadrul parametrilor permişi. 17% din date au fost clasificate incorect, cu o inexactitate între 5.22 şi 13.48%.
Figura 34 – Procesul de tratare simulat - prezintă o funcţionare tipică SA (rularea 3), cu o ameliorare a
erorii continuă şi fără aberanti, comparativ cu valorile aberanterilor în cazul rularii transgenetice unde sunt
foarte frecvente.
Figura 24 – Rulare tratament simulat

8.3 Evoluţie mică (tratament simulat de formare) agent unic 2
Al doilea tratament simulat de formare a fost aplicat problemei Black-Scholes pentru a servi drept
comparator pentru RNA corticală, care se foloseşte de asemenea de învăţarea SA. Cu toate acestea,
diferenţa este că setările sugerate pentru test, de catre servicii de consultanţă ştiinţifice171au fost utilizate în
171
Scientific Consultant Services (2003): Neural Network Test Data [01-05-2012]; URL: http://www.scientific-consultants.com/nnbd.html
97
artificiale
rularile 1-3, au fost 22 de neuroni în primul stratul ascuns şi 8 în al doilea. Rulările 4 şi 5 au primit 40 de
neuroni ascunşi în stratul ascuns secund, astfel încât să poată fi direct In comparaţie cu numarul de neuroni
din RNA corticală, care are 41 de neuroni ascunşi în stratul cortexului comun (care de fapt este al doilea
strat ascuns din RNA corticală).
Parametrii:
Normalizarea: Da
Straturile ascunse: 2
Neuroniiascunşi pe stratul 1: 22
Neuroniiascunşi pe stratul 2 rularile 1-3: 8
Neuroniiascunşi pe stratul 2 rularile 1-3: 40
RMSEpermis: 1 la suta
Tabel 4 – Tratarea simulată pentru agent unic 2

1 363 2.3151416966918833E-4
2 258 2.7189890778372424E-4
3 454 2.41296129499371E-4
4 2,396 2.599023163521219E-4
5 634 3.8e73543294647323E-4
cadrul parametrilor permişi. 18% din date au fost clasificate incorect, cu o inexactitate între 0,15 şi 12,39%.
8.4 Agent unic cu NeuroEvoluţie transgenetică
LaNeuroEvoluţiatransgenetică, evoluţiamaterialuluigeneticgazdăa trebuit săcontinue până s-a ajuns la
RMSEdur(RMSE multiplu de10)şi o abateredurabsolută(abatere multiplu de10)a fostatinsă pentrujumătate
dinseturile de date. Prin urmare, sumadeiteraţiide formarenecesarepentrumaterialulgeneticgazdăa fostîntre
2şi 20 deiteraţiide formare pentrutoate testele, iarsymbiont-ula fostmultmai micdecâtnumărulde
iteraţiinormale pentru formarea SA. Existaşansa camaterialulgeneticgazdăsă poată fiaproape perfect,
astfelcă un numărfoarte micde iteraţiide formareeste necesar, precum arată rularea4 dinTabelul 5-Agent
unic cu NeuroEvoluţie transgenetică.
Parametrii:
Normalizarea: Da
RMSE permis: 1 la sută
Eroare totală absolută permisă: 1 la sută
Table 3 - Agent unic cu NeuroEvoluţie transgenetică

1 77 3.5057844479903635E-4
2 160 3.4247769680988745E-4
3 202 3.487392294087293E-4
4 2 1.656776733035686E-4
98
artificiale
5 229 2.4754446860207526E-4
Figura 35 – Rularea transgenetică prezintă o NeuroEvoluţie tipic transgenetică (rularea 3), îmbunătăţind
calitatea acestuia în mod constant cu valori extreme, unde unii vectori transgenetici îmbunătăţesc calitatea
generală a soluţiei, dar nu RMSE:
Figura 25 – Rulare Transgentică

8.5 Agent unic cu procesare corticală
Pentruprelucrareacorticală, SHOCID a creat structuricorticaleRNAîn conformitate cunormele sale
neuronalede determinare. De aceea, pentru căstratul deintrare a avut nevoie de 3neuroni, SHOCID a
calculat3neuronipentrufiecarestratcortical iniţial, 3 neuronipentrufiecare stratcorticalsecundarşi
5neuronipentrustratulcortexuluicomun. În plus, reţeauase foloseşte de2cortexurişide un tratament de
formare simulat.
Parametrii:
Normalizarea: Da
Straturi ascunse: 5 (cortex 1 şi 2 ascunşi 1 şi 2, cortex 2 ascuns 1 şi 2, straturile cortexului comun)
Neuroni ascunşi: 3 pentru fiecare cortex ascuns 1, 3 pentru fiecare cortex ascuns 2, şi 5 neuroni ai
cortexului comun.
Eroare totală absolută permisă: 1 la sută
Tabel 4 – Agent unic cu procesare corticală
1 19 3.177617858199725E-4
2 17 3.5229360164145416E-4
3 43 3.1727696709350957E-4
4 46 3.2487922742420623E-4
5 23 3.8020559871233036E-4
Soluţia numărul1 a fostaplicată peseturile de datede testşi a obţinutun succes de clasificarede 94% în
cadrulparametrilorpermişi. 6%dindateaufostclasificate incorect, cu o inexactitateîntre3.37şi1,61%. Figura
36– Rularea tratament cortical simulat prezintăo rulare tipiccorticalăSA (rularea 3), îmbunătăţind calitatea
acestuiaîn mod constantşi rapid:
99
artificiale
Figure 26 – Rulare tratament cortical simulat

8.6 RNA recurrentă SHOCID
RNA recurentă SHOCID utilizează de asemenea, un tratament deînvăţaresimulat, dar într-adevăr, este
nevoie deun număr marede iteraţiipânăformarea poatefi terminată. Cu toate acestea,exactitateaRNA
formate peseturile de datenoi esteremarcabilă.
Parametrii:
Normalizarea: Da
Straturi ascunse: 1
Neuroni ascunşi: 5 comun.
Tabel 5 – Agent unic pentru RANN cu SHOCID
1 7,921 1.5121387365211512E-4
2 8,146 1.3459667973694537E-4
3 6,922 1.6435243504325978E-4
4 7,533 1.53245758325124376E-4
5 6,433 1.43214876154609342E-4
Soluţia numărul1 a fostaplicată peseturile de datede testşi s-a obţinutun succes de clasificarede 94% în
cadrulparametrilorpermişi. 6%dindateaufostclasificate incorect, cu o inexactitateîntre26.52şi49.75%.
Figura 37– Rularea RANN cu SHOCID -prezintă rularea unui algoritmgenetictipicde învăţare(rularea1),
îmbunătăţeşte calitatea acestuiaîn mod constant, fără valori extreme:
8.1 Evoluţia (algoritm de formare genetic)
Algoritmul de formare genetică a fost aplicatproblemeiBlack-Scholespentru a servidreptcomparator
pentruNeuroEvoluţietransgenetică, care este de asemenea, bazată pemetodade învăţare a algoritmului
genetic. Rulărileau fost efectuatecuun privilegiustaticla procentajul de împerechere pentru fiecare
individ(25%), dimpotrivă, NeuroEvoluţia inspirata AIS, unde aceast intervalscadecu succesde
învăţarecontinuă. Cu toate acestea,algoritmulgenetic de învaţare nu beneficiază deun număr maredeindivizi
deîmperechere pentru cămajoritatea au o calitatefoarte proastă.
100
artificiale
Figura 27 – Rulare RANN cu SHOCID

Parametrii:
Normalizarea: Da
Eroare totală absolut permisă: 5 la sută
Tabel 6 – Agent unic de evoluţie
1 358 3.9354381495050465E-4
2 1,596 2.5508401891065016E-4
3 1,354 2.6646150025270337E-4
4 1,062 4.7124965056923035E-4
5 2,003 3.3848295100590405E-4
Figura 38 – Rulare genetică prezintă rularea unui algoritm de învăţare tipic genetic (rularea 1),
îmbunătăţeşte calitatea acestuia în mod constant, fără valori extreme:
Figura 28 – Rulare genetică

8.2 NeuroEvoluţie inspirată de sistemul imunitar artificial
NeuroEvoluţia inspirată de AIS aplică un algoritm genetic de învaţare, dar cu o rată de schimbare pentru
privilegiul de a se împerechea. Până la 80% din problemă a fost învăţată cu succes, SHOCID a permis la
50% dintre indivizi să se împerecheze, ca prin intermediul operatorilor inspiraţi de AIS calitatea generală a
populaţiei este mult mai mare decât în algoritmul standard de învăţare genetică, care în spre deosebire de
aceasta din urmă, nu agravează şansa de a învăţa cu succes problema generală.
101
artificiale
Parametrii:
Normalizarea: Da
Tabel 7 – Agent unic AIS

1 74 4.670250453136827E-4
2 67 4.4639857614472197E-4
3 68 4.507603817615167E-4
4 63 4.8510335491603105E-4
5 71 4.773511168672394E-4
Soluţia numărul 1 a fost aplicată pe seturile de date de test şi s-a obţinut un succes de clasificare de 71% în
Figura 39 – Rulare inspirata AIS arată o rulare tipică de învăţare inspirată de AIS (rulare 2), îmbunătăţeşte
calitatea acestuia în mod constant, fără valori extreme, dar cu salturi în grafic care indică în mod clar unde
operaţiunile inspirate de AIS au crescut foarte mult calitatea populaţiei generale:
Figura 29 – Rulare inspirată de AIS

8.3 RNA-uri “Deep belief-like”
RNA-urile “deep belief-like” se folosesc la tratamentul de învaţare simulat, atât în maşinile Boltzmann şi
MLP finale.
Parametrii:
Normalizarea: Da
Straturi ascunse: 3
Tabel 8 – Agent unic de RNA DB-like
1 16 9.966282764783177E-4
2 5 7.864950633377531E-4
102
artificiale
3 6 9.565366982744945E-4
4 18 9.397388187292288E-4
5 6 8.51492249623108E-4
Soluţia numarul 1 a fost aplicată pe seturile de date de test şi s-a obţinut un succes de clasificarea 100% în
parametrii permişi. 0% din datele au fost clasificate incorect.
Figura 40 – Rularea RAN DB-like arată o rulare tipică de învăţare RAN DB-like (rularea 1), îmbunătăţeşte
calitatea acestuia rapid, fără valori extreme:
Figura 30 – Rulare RAN DB-like
9 Concluzii
Capitolul oferă
Un scurt rezumat al contribuţiilor originale, împarţit în:
o Contribuţii de natură teoretică
o Contribuţiide natură tehnică
o Contribuţiide natură practice
Un rezumat scurt al ipotezelor facute la începutul proiectului de cercetare şi dezvoltare
Activităţi de diseminare, precum şi o imagine de ansamblu a direcţiilor viitoare de cercetare în
domeniu.
9.1 Contribuţii originale
Inovaţiilede cercetareşi proiectul SHOCIDde dezvoltarecare s-au facut în domeniulde data miningse
bazează peinovaţiiledin domeniulinteligenţeicomputaţionale, deoarece ambele auscopul de a găsio soluţie
optimăsau aproape optimă pentru problema de data mining. Data mining-ul SHOCID nu ar fiposibil
fărăaplicareaparadigmelorgenericede informaţiide calcul, noilemetodeRNAde formare şide noile tipuri de
RNA pentru clasificaresi predicţiedezvoltate în timpulfazei decercetare. Pentru oimagine de ansamblumai
bună, contribuţiileau fostîmpărţite îndomenii de cercetare ale inteligenţei computaţionale, ale data mining-
ului şiinformaticiicuantice: teoretice, tehniceşi practice. Explicaţiidetaliate potfigăsiteîn cadrullucrarii de
cercetareprezentate.
9.1.1 Contribuţii teoretice
1)Specificaţii ale reţelei neuronale artificiale corticale
Acest tip de reţele neuronale artificiale a fost inspirat de aspecte teoretice ale conştiinţei umane. Mai ales
atunci când încearcă să rezolve probleme de clasificare sau de serii de timp, cele mai aplicate structuri de
reţele neuronale artificiale, cum ar fi feed-forward sau MLP recurente, tind sa arate o performanţă şi
precizie scăzută atunci când se ocupă cu seturi de date multiple care conţin numeroase intrări (predictori) şi
/ sau atribute ţintă. Acest lucru este independent de metodele de învăţare aplicate, funcţiile de activare,
deviaţii, etc .. Crearea de cortexuri în combinaţie cu o creştere intensă a numărului de ponderi în cadrul
unei reţele neuronale artificiale permite eludarea acesteia. Prelucrarea nu este efectuată numai de către un
103
artificiale
singur strat ascuns orizontal (sau cortex), ci de mai multe straturi paralele ascunse. Intrarea este procesată
cu feed-forward pentru fiecare cortex al reţelei neuronale artificiale.
2) Specificaţiile ale reţelei neuronale artificiale recurente SHOCID
Reţeaua neuronală artificială recurentă SHOCID este la fel ca şi reţelele neuronale artificiale recurente
Elman şi Jordan, procesează valorile sale de intrare în faţă şi este capabilă să se folosească de mai multe
metode de învăţare. Cu toate acestea, aşa cum calculele din cadrul acestei reţele sunt mai intense din punct
de vedere computaţional decât în alte reţele neuronale artificiale recurente, metoda de învăţare preferată se
bazează pe o adaptare genetică a ponderilor. Faţă de reţelele neuronale artificiale recurente Elman şi
Jordan, reţeaua neuronală artificială recurentă SHOCID este, de asemenea, în măsură să aplice evoluţia
structurală SHOCID172. Aceasta este o metodă similară cu NEAT care conduce nu numai o adaptare a
ponderilor, dar de asemenea, o scădere a neuronilor si straturilor din interiorul unei reţele neuronale
artificiale pentru stabilirea soluţiei optime pentru un enunţ de problemă de data mining.
3) Specificaţii ale reţelei neuronale artificiale „deep belief”
SHOCID se foloseşte de maşini restrânse Boltzmann173 pentru pregătirea structurilor reţelelor neuronale
artificiale pentru sarcinile de clasificare în domeniul de data mining. Masinile Boltzmann restricţionate
sunt numite reţele „deep belief”174, care invaţă să extragă o reprezentare ierarhică profundă a datelor de
formare. Cu toate acestea, maşinile Boltzmann folosite în cadrul SHOCID sunt cele standard şi urmeză
acelaşi scop ca şi maşinile Boltzmann restricţionate în reţelele deep belief. Abordările deep belief introduse
nu adună împreună direct maşinile Boltzmann, dar extrage ponderile ce s-au adunat din formarea pentru
inducerea acestora într-o reţea neuronală artificială cu feed-forward. Rezumând, aceasta funcţionează prin
normalizarea datelor prezentate atât bipolare cât şi multiplicative, ieşirea de la prima a fost utilizată pentru
formarea maşinilor Boltzmann, iar de la a doua pentru formarea reţealei neuronale artificiale cu feed-
forward.
4)Specificaţii ale NeuroEvoluţiei transgenetice
NeuroEvoluţia transgenetică prin includerea ambilor simbionţi şi transferul orizontal de gene este o
abordare nouă în învăţarea RNA. Algoritmii transgenetici sunt folosiţi pentru efectuarea unei căutări prin
simularea stocastică a interacţiuni endosimbiotice între o gazdă şi o populaţie de endosimbiont, precum şi
schimbul de informaţii între gazdă şi endosimbionţi de către agenţi175. Prin combinarea uneia dintre
abordările de învăţare SHOCID cu un organism gazdă, care funcţionează ca domeniu genetic, şi de vectori
transgenetici atât performanţa de învăţare cât şi preciziea pot creşte până la un grad considerabil. Un alt
avantaj este faptul că punerea în aplicare a vectorilor transgenetici creşte masiv şansa de a îndeplini
criteriile de oprire, ca şi algoritmii de învăţare, cum ar fi cei cu propagare în spate nu pot oscila sau bloca în
minime locale ca urmare al transferului inevitabil al materialului genetic gazdă.
5)Specificaţiile NeuroEvoluţiei inspirate de sistemul imunitar artificial
NeuroEvoluţia bazată pe sistemul imunitar artificial este o combinaţie între algoritmii de învăţare genetică
şi punctele forte ale unui sistem imunitar artificial, care scade numărul de generaţii necesare pentru găsirea
unei soluţii potrivite într-o masă mare. În timpul formarii nu este creată numai o soluţie, ci populaţii de
soluţii, care permit în primul rând evoluţia soluţiilor pe baza paradigmelor cunoscute de evoluţie genetică,
care sunt
Selecţia
Împerecherea
Mutaţia
172
Neukart Florian. et al. (2011): Problem-dependent, genetically evolving Data Mining solutions; Proceedings of DAAAM 2011, 2011 22nd World Symposium
173
174
2006.
175
104
artificiale
În plus, operatorii imunologici sunt efectuati o dată la fiecare generaţie pe populaţia curentă. Astfel, fiecare
individ din fiecare populaţie luată în considerare este supus schimbării continue, în cazul în care este
suficient de puternic pentru a depăşi selecţia naturală şi de a supravieţui invaziilor altor populaţii.
Operaţiunile bazate pe AIS care sunt efectuate sunt
Selecţie clonală,
Hipermutaţie somatică,
Teoria pericolului, şi
Selecţia negativă.
Operaţiunile nu se intampla din întâmplare, ci o dată la fiecare generaţie de indivizi. Cu toate acestea,
există un eveniment suplimentar care este probabil să apară şi care influenţează mărimea şi structura
populaţiilor, în special o infecţie cu virus. Un virus reduce numărul de indivizi într-o populaţie, în mod
contrar selecţiei clonale. Astfel, mecanismele de control al dimensiunilor populaţiei trebuie să fie puse în
aplicare, care sunt:
eliminarea indivizilor;
hiperrecombinarea
controlul naşterii.
În cele din urmă, cauzalitatea este de cea mai mare importanţă în cadrul paradigmei introduse, că populaţia
soluţie nu se schimbă numai din generaţie în generaţie, dar, de asemenea, şi în interiorul unei generaţie.
Pentru operaţiunile bazate pe sistemul imunitar numai indivizii din generaţieile actuale contează. Mai mult
decât atât, intrările şi ieşirile folosite de o populaţie pentru învăţarea au într-adevăr o semnificaţie, sau cu
alte cuvinte au o semnificaţie de-alungul timpului, pentru evoluţia genetică a fiecărui individ.
6)Specificatii ale maşinilor cu comitet SHOCID
SHOCID este capabil de a combina reţele neuronale artificiale pentru maşini cu comitet. Cu toate acestea,
prin aplicarea unei maşini cu comitet detectarea unei soluţii corecte este foarte probabilă, dar, din păcate
detectarea uneia optimă nu este. În cadrul valorii totale a datelor de formare, numai un procent din
totalitatea datelor este folosit pentru formare, iar seturile de date rămase sunt folosite pentru verificarea
soluţiei. Datorită verificării, poate fi, prin urmare, determinat cât de precis rezolvă problema prezentată
acest model creat de data mining. Astfel, aplicarea maşinilor cu comitet este partea sistemului de
determinare a soluţiei optime în non-evoluţionar (arhitectură de reţea neuronală artificială adaptivă),
precum şi în metodele de formare evoluţionare, efectuate de aplicarea comitetului democratic de reţea
neuronală artificială, constând din agenţi unici de reţele neuronale artificiale, luând o decizie finală.
7)Specificaţii ale evoluţiei structurale SHOCID
Ca şi în cazul tuturor algoritmilor de învăţare, SHOCID determină numărul de neuroni de intrare în funcţie
de numărul de seturi de date de intrare şi se aplică formula descrisă în 5 Evoluţia concepută şi strategii de
învăţare pentru determinarea numărului de neuroni ascunşi. Cu toate acestea, structura nu este numai
adaptată pe verticală, dar şi pe orizontală, ceea ce înseamnă că algoritmul caută soluţia optimă pentru
arhitectură stocastic. Astfel, un nou tip de algoritm meteuristic (genetic) pentru modificarea nu numai a
ponderilor ci, de asemenea, arhitectura de feed-forward si de feed-forward recurent pentru reţele neuronale
artificiale în timpul fazei de formare până ce o soluţie optimă sau aproape de optimă detectată de sistem a
fost specificată.
8)Specificaţii si propuneri ale unei reţele neuronale artificiale cuantizate
Ştiinţade calcul cuanticăîn asocierecuparadigmelede calcul ale neuroştiinţei, în special cele dindomeniul
retelelorneuronale artificiale, pare a fipromiţătoare pentrucă oferă o perspectivăasupraunuiposibil
viitoralinteligenţei artificiale. În cadrul acesteiaelaborarea la elaborarea reţelei
neuronalăartificialăcuanticăau fost repartizate efectealemecanicii cuanticesimulatepeun calculatorvon
Neumannşi a fostpropusăpentru a fiprelucratăpe uncomputer cuantic. Computerelecuantice mai devreme
sau mai târziuvor înlocuiclasicele maşini vonNeumann, motivaţiapentruaceastă parteacercetării. Deşi
reţeauaneuronală artificialăcuantică propusăeste una cu feed forwardclasică folosindu-sede efectele
mecanicii cuantice, i-a fost dedicat un capitol propriu, în funcţie denoutatea şialteritatea sa. O astfel de
formarenu poate fi simulatădecât pe o maşină vonNeumann, care estedestul delentă şi nuse
aplicăpractic(dartotuşinecesarăpentru demonstrareateoremei), deşiceledin urmăpotfiutilizate pentru a
105
artificiale
simulaun mediuadecvat pentrucalcululcuantic. Aceasta este ceea cea fostrealizatîn

cursulcercetăriiSHOCIDpentru a arătaşi dovediavantajelecalculuicuanticpentru
procesareareţelelorneuronale artificiale.
9)Specificaţii ale imputari unei valori prin învaţare genetică a reţelei neuronale artificiale
Pentru datelecare nulipsescîn mod aleatoriu a fost propus un algoritmde învăţare genetică al uneireţele
neuronaleartificiale.
9.1.2 Contribuţii tehnice
1)Dezvoltareasistemului careaplicăinteligenţă computaţională de nivel înalt în data mining.
Ca unul dintrerezultatele acesteilucrari, sistemul software genetic bazat pe cunoştinţe
neurocomputaţionale176, denumit în continuare" System applying High Order Computational Intelligence in
data mining " (SHOCID), aplică paradigmele de inteligenţă computaţională, metode şi
tehniciîndomeniuldata mining-ului, a fost dezvoltat.
Până acum, (10-11-2012), sistemul este compus din:
112 clase java
145 Java server pages, în total
120 000 linii de cod fără librariile externe
2)Simularea comportamentului computaţional cuantic
A fost dezvoltat pentruverificareaefectelorcuantice, cum ar fi superpoziţialiniară şiîncrucişarea,
simulareaunui mediuadecvat pentruuncomputer cuantic, urmatădesimulareareţeleineuronale
artificialecuantice presupuse pe uncalculatorvonNeumann.
9.1.3 Contribuţii practice
Sistemul a fost şi vafi în continuareaplicat înindustriade SAP, aşa cumeste utilizat înurmătoarele forme:
1)Data mining ca serviciu de consultanţă
Ideea din spatele "data mining caun serviciu de consultanţă" estede a
aplicaparadigmeştiinţificedindomeniile deinteligenţăcomputaţionalăşi statistici cu privireclient-date pentru
a răspundela multiple întrebări. Acest lucruparedificil, şi într-adevăreste.Cu toate acestea,în acest moment,
nu este necesar să se înţeleagăexact ceea cepoate fi acoperit cumaşinile de învăţareşi demodul în
careîntrebărilevor primi răspuns. Ceea ceeste importantîn această etapăeste motivul pentru caretrebuie să se
facă: clienţidiferiţi audiferite întrebăricare, teoretic, le-ar putearăspundeprin analizaşi prelucrarea
datelorlor, dar, practic nu pot, la fel ca încele mai multe companiinuoamenii de ştiinţa calculatoarelor,
matematicieni saustatisticienisuntfolosiţi pentruastfel descopurispeciale.În plus, poate fi importantpentru
unclientsă răspundă la oîntrebareo dată, dar nu înviitor, cum ar fio bancădoreşte să işi dea seamacegrup
dinclienţiilorar putea pleca, eventual, pentru o altă bancăînainte de a secunoaşte. Acest lucru
arpermitecontramăsuri activeînainte de ase întamplaastfel de evenimentenesatisfăcătoare. O astfel debancă
nu ar vedeanicicerinţade a angajasau deforma unexpert în data mining, nicicerinţade licenţiereoricefel de
softwarede data mining. Data miningcaun serviciu de consultanţăconţinesubserviciileurmătoare:
Furnizarea deconsultanţiinstruiţi, care vor
lucraîmpreunăcuclientul
înţelegereaenunţuluiproblemei
o esteclasificareaproblemeiîntr-un domeniudeData Mining,
o formularea corectă matematic
o colectarea de date necesare
o pregatirea datelor pentru consultantul ştiinţific să poată termina
dezvoltarea unei soluţii specifice Data Mining, bazat pe un cadru de lucru Data Mining
Asigurarea capacităţii de arăspundela întrebărileclienţilorşi
să prezinterăspunsurileîntr-o manierăîn care clientul estecapabilde a lucreze cu ele.
2)Data mining cu SAP HANA
176
106
artificiale
Ideea este de apune în aplicare structurile de reţele neuronale artificiale introduseşi algoritmiide
învăţaredirect peSAPHANAprin intermediulRNA, un limbaj de programarepotrivit pentrucalcululstatistic.
Acest lucrupermite, din cauzaSAPHANA tehnologia in-memory, de înaltăperformanţă în data mining.
9.2 Revizuireaipotezelor
LaînceputulproiectuluiSHOCIDde cercetare şi dezvoltares-au făcut cinciipoteze:
1.Sistemul este capabilsă procesezecele mai multe dintre clasificarile numerice prezentate, predicţii cu serii
de timpa datelor şi probleme de clustering în data mining prin aplicarea paradigmelor DM bazate pe
evoluţieşiproblemele ei de arhitectură independente.
2.Printrestructurile cunoscutedeja de RNA, celenou dezvoltate, în combinaţie cumetodeinspirate din natură
vor fi aplicate şimetodede învăţare în evoluare. Celedin urmăvordepăsiabordările existente.
3.În funcţie de utilizareasa de clasificare şide predicţie în serii de timpşi tipurilerecentdezvoltate deRNA-
uri, combinate cu(nou dezvoltaţii) algoritmievolutivipentru adaptareastructurii unor astfel de RNA,
corectitudineasoluţiilorsistemuluiva ajunge la 80 - 100% înaplicarea practică, deşi nuau fostdezvoltate peun
enunţ deproblemă specifică.
4.Potrivitacestei arhitecturiorientate pe rezultat, sistemul nuare nevoie deutilizator săînţeleagăparadigmele
de Data Miningaplicate.
5.Un computercuanticeste utilpentru procesareareţelelorneuronale artificiale complexe, cum ar ficreierul
uman. Astfel, vafi propus un conceptteoretic aluneireţele neuronalecuanticefacând unprim pas
spreviitorulinteligentei artificiale.
ad 1.
Verificarea şi testarea intensăaarătat căaceastăipotezăs-a dovedit. SHOCIDeste, în conformitate cumetodele
salede prelucrareinteligenteşi tipuride soluţii,capabilsă rezolveenunţuri multiple de
problemedateminingbazat pe abordărievolutive. În plus, evoluţia soluţiilor SHOCID, precum şi
tipurileintroduseRNAcontribuieladata miningşi la cercetarea RNA ca şi performanţele extraordinare ale
sistemelor software. Devine capabilesă înveţeşi să rezolve probleme de clasificare şide predicţie în serii de
timp mult maiprecisşi mai rapid.
ad 2. şi 3.
Verificareaşi testareaa arătat căîntr-adevăr,sistemuleste capabil sărezolve enunţuri de probleme variate
dedata mining, nunumai cuo preciziede 80, darpeste 90%.Scopul major altestelor de clasificare intensivă şi
detaliată a fostdovada căstructurilenou-dezvoltate RNA,şi anume:
RNA recurent SHOCID,
RNA corticală
RNA deep belife-like
Şi metodele de învăţare introduse, care sunt
NeuroEvoluţia transgenetică
NeuroEvoluţia bazată pe sistemul imunitar artificial
dar şi strategiile de evoluţie SHOCID, care sunt
agent unic de evoluţie şi
comitet hibrid adaptiv
depaşesc performanţelesoluţiilor existenteatât îneficienţa învăţăriicât şi acurateţe. Ambele structuriRNAnu
vincuproblemefrecventapărute la RNA cufeed-forward, deoarece acestea potfi învăţatecu intrărinoişi
rămânstabileîn ceea ce priveştedateledejaînvăţate. Prin urmare, ambele suntbine-potrivitepentru a
minimizaefecteledilemeistabilitate-plasticitate. În plus, NeuroEvoluţia inspirată de sistemul imunitar
transgeneticca strategiile de învăţare SHOCIDcontribuieintensîndomeniul de cercetare al
inteligenţeicomputaţionale,atât canu sunt doarabordărinoi înstrategiile de învăţareRNA, darde asemenea,
sedatorează performanţelorlor de foarte bună utilizare practică. Operaţiunile inspirate de sistemul imunitar
artificial deschido ramurăcomplet nouîn cercetarea RNA, aşa cum abordarile AISnu aufost aplicateîn
strategiilede învăţare RNA, ci în prelucrarearezultatelor RNA.
ad 4.
Această ipotezăesteparţial adevarată, aşa cum utilizatorul are nevoie
selectează metoda de procesare
selectează tipul de soluţie, şi
107
artificiale
conectează sursa de date

înainte ca sistemulsă fie capabilsă procesezeintrarea. Aşa cum prevede intern sistemul,
calculeazăsaudeterminătoţi parametriinecesaripentrumetodele de prelucrareşi tipuride soluţii, chiar şicele
mai complexe, nu este necesarca utilizatorul săînţeleagămodul în care lucreazăparadigmele de bază. Cu
toate acestea,nuesteposibil să se creezefuncţiide cost, astfel încâtorice problemăgenericăpoate fi rezolvată,
care necesită ca utilizatorul săînţeleagă, cel puţin parţial,problemaprezentată şisă ştie, cefuncţiede
costpotrivită arfi. Concluzia este că proiectulSHOCIDpoate fi consideratun succesşi
toateobiectiveleplanificate de cercetare şidezvoltare nu au fost numai atinse, dar a şi depăşite.
ad 5.
Cunoştinţele despre mecanica cuanticăumană are,în zilele noastre, permisia de acreea un concept
teoreticpentru oreţea neuronală artificialăcuantică optimizatăpentru a fiprocesatepe uncomputer cuantic. Cu
toate acestea,simulareaunuisistem fizic, deci uncomputer cuanticpotrivit pentrureţeaua
neuronalăartificialănecesitămai mult decâtputerea de procesarepe care o oferă calculatoarele actuale. Prin
urmare, suplimentar laconceptulteoretic alreţeleineuronaleartificialecuantice, ar putea fi făcute
doarsimulăricu problemesimple. Deci,toate acestea au avut succesşi ne permit să tragem concluzia
căabordarea propusămergeîndirecţia corectă.
9.3 Dezbateri
Dezbaterile muncii de cercetare conţin,pe lângăsistemului softwarerăspânditîn întreaga lume, următoarele
publicaţii:
Capitole din carţi
1. Neukart Florian (2012): Accuracy through Complexity – One Step further in Time-Series
Prediction and Classification; Knowledge Discovery in Databases
Hârtii de conferinţă / publicaţii din jurnale
2. Neukart Florian, Moraru Sorin-Aurel (2012): On Quantum Computers and Artificial Neural
Networks. Journal of Signal Processing Research, vol. 2, 1, 2013
3. Neukart Florian, Moraru Sorin-Aurel (2012): Cortical Artificial Neural Networks and their
Evolution - Consciousness-inspired Data Mining. Journal of Energy and Power Engineering, issue number
not yet known
4. Neukart Florian, Moraru Sorin-Aurel, Grigorescu Costin-Marius, Szakazs-Simon Peter (2012):
Artificial Immune System-inspired NeuroEvolution. Proceedings of DAAAM, 2012
5. Szakacs-Simon Peter, Moraru Sorin-Aurel, Neukart Florian (2012): Signal conditioning
techniques for health monitoring devices. Telecommunications and Signal Processing (TSP) 2012, 35th
International Conference on
Transgenetic NeuroEvolution. Proceedings of OPTIM 2012
Cortical Artificial Neural Networks and their Evolution - Consciousness-inspired Data Mining.
Proceedings of OPTIM 2012
8. Neukart Florian, Moraru Sorin-Aurel, Szakazs-Simon Peter (2011): Problem-dependent,
genetically evolving Data Mining solutions. Proceedings of DAAAM, 2011
9. Neukart Florian, Moraru Sorin-Aurel, Grigorescu Costin-Marius (2011): High Order
Computational Intelligence in Data Mining - A generic approach to systemic intelligent Data Mining.
Proceedings of Speech Technology and Human-Computer Dialogue (SpeD), 2011 6th Conference on, p. 1-
9.
10. Grigorescu Costin-Marius, Moraru Sorin-Aurel, Neukart Florian, Badea Milian (2010): Buffering
application for an industrial monitoring software system. Proceedings of Optimization of Electrical and
Electronic Equipment (OPTIM), 2010 12th International Conference on.
11. Aschbacher Helmut, Neukart Florian, Schatzl, Sebastian (2009): The Use of Business Intelligence
and Data Mining for improving the Detection of Customer Needs in Service Engineering; Campus02: Graz
Monografii
12. Neukart Florian (2012): Data Mining as a Consulting Service (DMaaCS), Germany: SAP
Deutschland GmbH & Co. KG
108
artificiale
13. Neukart Florian (2012): Are deep artificial neural network architectures a suitable approach for
solving complex business-related problem statements? Scribd. - The World's Largest Online Library
14. Neukart Florian (2012): A sample algorithm for the system-side adaptation of artificial neural
network architectures. Scribd. - The World's Largest Online Library
9.4 Direcţii de cercetare pentru viitor
Existăîncă locpentru îmbunătăţireasistemului, precum şide cercetareviitoare, SHOCID se va axa pemodul
în caresistemul poatefiaplicat practicîn scenariide afaceri, eventual de cătrecelepredefiniteaxate pegrupuri
de clienţi, cum ar fi bancarsau de fabricaţie. Accentul se pune peavansareasistemuluiîntr-un modasa cavafi
de folospracticîn întreprinderi-ştiinţava deveniun factormai importantnu numai înteoretică, ci, de asemenea,
în industria data mining-ului aplicată practic. Accentul pe termen scurtal cercetăriise va
aflapeNeuroEvoluţiatransgeneticăintrodusă şiposibilităţile salede soluţionare asituaţiilorde datamining. Mai
alesNeuroEvoluţiatransgenetică, paradigmelede lateoriasistemului imunitar artificial şi a reţelelor deep
beliefpar săpromiţătoare. În plus, o combinaţieacercetării prezente cuRNA-uri conectate arbitrar, precum şi
alţi algoritmide învăţare, cum ar fi algoritmul neuron cu neuron la care se va lucra, precum şistrategiile
deînvăţareprofundevor fiincluseîn sistem. Cercetarea viitoareva vizamecanica cuanticămai în detaliu, cu
privire lamodul în care aceastapoatefi de folosîndomeniulinteligenţei artificiale. Estedoar o chestiune
detimp pânăcând calculatoarelecuanticeşi efectele lor,care nu sunt încăsută la sutăînţelese,
vorînlocuicomputereleclasiceaşa cum le cunoaştemastăzi, şinumai computerelecuantice
vorpermitesimulareaunei reţeleneuronaleartificialecucapacităţile pe care le arecreierul uman.
109
artificiale
Bibliografie(Selecţie)
Cărţi
1. Abraham Ajith, Crina Grosan, Pedrycz Witold (2008): Engineering Evolutionary Intelligent Systems;
Berlin Heidelberg: Springer-Verlag
2. Abraham Ajith, Hassanien Aboul-Ella, Siarry Patrick, Engelbrecht Andries (2009): Foundations of
Computational Intelligence Volume 3 Global Optimization; Berlin Heidelberg: Springer-Verlag
3. Abraham Ajith, Hassanien Aboul-Ella, Snáel Vaclav (2009): Foundations of Computational
Intelligence Volume 4: Bio-Inspired Data Mining; Berlin Heidelberg: Springer-Verlag
4. Abraham Ajith, Hassanien Aboul-Ella, Snáel Vaclav (2009): Foundations of Computational
Intelligence Volume 5: Function Approximation and Classification; Berlin Heidelberg: Springer-
Verlag
5. Abraham Ajith, Hassanien Aboul-Ella, de Leon F. de Carvalho André Ponce, Snáel Vaclav (2009):
Foundations of Computational Intelligence Volume 6: Data Mining; Berlin Heidelberg: Springer-
Verlag
6. Adeli Hojjat, Hung Shih-Lin (1995):Machine Learning Neural Networks, Genetic Algorithms and
Fuzzy Systems; John Wiley and Sons, New York
7. Anderberg Michael R. (1973): Cluster Analysis for Applications, New York: Academic Press Inc.
8. Heaton Jeff (2010): Introduction to Encog 2.5 for Java, Rev. 3; Chesterfield: Heaton Research, Inc.
9. Heaton Jeff (2008): Introduction to Neural Networks for Java, 2nd ed.; Chesterfield: Heaton Research,
Inc.
10. Heaton Jeff (2010): Programming Neural Networks with Encog 2 in Java; Chesterfield: Heaton
Research, Inc.
11. Hebb Donald (1949): Organization of behaviour; New York: John Wiley
12. Hornik Mark F., Marcade Erik, Venkayala Sunil (2007): Java Data Mining: Strategy, Standard, and
Practice. A Practical Guide for Architecture, Design, and Implementation (Morgan Kaufmann Series
in Data Management Systems); San Francisco: Elsevier, Inc.
13. Inuiguchi Masahiro, Hirano Shoji, Tsumoto Shusaku (2003): Rough Set Theory and Granular
Computing; Berlin: Springer-Verlag
14. Jain Lakhmi C. (2008): Computational Intelligence Paradigms: Innovative Applications; Berlin
Heidelberg: Springer-Verlag
15. Jain Lakhmi C., Nguyen Ngoc Thanh (2009): Knowledge Processing and Decision Making in Agent-
Based Systems; Berlin Heidelberg: Springer-Verlag
16. Jain Lakhmi C. (1998): Soft Computing for Intelligent Robotic Systems: Physica-Verlag
17. Jensen Finn V., Nielsen Thomas Dyhre (2001): Bayesian Networks and Decision Graphs; Berlin:
Springer-Verlag
18. Vasantha Kalyani D., Rajasekaran Sundaramoorthy (2009): Pattern Recognition Using Neural and
Functional Networks; Berlin Heidelberg: Springer-Verlag
19. Katz Bruce F. (2011): Neuroengineering the future - Virtual minds and the creation of immortality;
Massachusetts: Infinity Science Press LLC
20. Kaynak Okyay, Zadeh Lofti A., Türksen Burhan (1998): Computational Intelligence: Soft Computing
and Fuzzy-Neuro Integration with Applications; Berlin: Springer-Verlag
21. Kemper Hans-Georg, Mehanna Walid, Unger Carsten (2010): Business Intelligence – Grundlagen
und praktische Anwendungen, 3rd ed.; Wiesbaden: Vieweg+Teubner Verlag | Springer Fachmedien
22. Kreiszig Erwin (1999): Advanced Engineering Mathematics, 8th ed.; Singapore: John Wiley & Sons
23. Krengel Ulrich (1988): Einführung in die Wahrscheinlichkeitstheorie und Statistik;
Braunschweig/Wiesbaden 1988: Verlag Friedrich Vieweg & Sohn
24. Kolman Eyal, Margaliot Michael (2009): Knowledge-Based Neurocomputing: A Fuzzy Logic
Approach; Berlin Heidelberg: Springer-Verlag
25. Kramer Oliver (2009): Computational Intelligence: Eine Einführung; Berlin Heidelberg: Springer-
Verlag
26. Mange D., Tomassin M. (1998): Bio-Inspired Computing Machines. Presses, Laussanne:
Polytechniques et Universitaries Romandes
110
artificiale
27. Mermin David N. (2007): Quantum Computer Science: An Introduction; Cambridge: Cambridge
University Press
28. Kung Sun.Y. (1993): Digital Neural Networks. Englewood Cliffs: PTR Prentice Hall
29. Lau Clifford (1991): Neural networks, theoretical foundations and analysis; Los Alamitos: IEEE Press
30. Levy Steven (1997): Artificial Life: A Report From the Frontier: Where Computers Meet Biology;
New York: Vintage Books
31. Liu Dikai, Wang Lingfeng, Tan Kay Chen (2009): Design and Control of Intelligent Robotic Systems;
Berlin Heidelberg: Springer-Verlag
32. Mandic Danilo P., Chamber Jonathon (2001): Recurrent Neural Networks for Prediction: Learning
Algorithms, Architectures, and Stability; New York: Wiley
33. Mallat Stephane (1999): A Wavelet Tour of Signal Processing; Boston MA: Academic Press
34. Nedjah Nadia et al. (2009): Innovative Applications in Data Mining; Berlin Heidelberg: Springer-
Verlag
35. Nedjah Nadia et al. (2009): Intelligent Text Categorization and Clustering; Berlin Heidelberg:
Springer-Verlag
36. Nolfi Stefano, Floreano Dolfi (2000): Evolutionary Robotics: The Biology, Intelligence, and
Technology of Self-Organizing Machines; Bradford Books
37. Onwubolu Godfrey C. (2009): Hybrid Self-Organizing Modeling Systems Berlin Heidelberg:
Springer-Verlag
38. Ott Edward (2002): Chaos in Dynamical Systems, UK: Cambridge University Press
39. Padgham Lin, Winikoff Michael (2004): Developing Intelligent Agent Systems: A Practical Guide to
Designing, Building, Implementing and Testing Agent Systems (Wiley Series in Agent Technology);
New York: Wiley
40. Phillips-Wren Gloria, Ichalkaranje Nikhil (2008): Intelligent Decision Making: An AI-Based
Approach (Studies in Computational Intelligence); Berlin Heidelberg: Springer-Verlag
41. Rahm Erhard (2009): Data Cleansing: Problems and Current Approaches; Leipzig: University of
Leipzig
42. Ruan Da, Hardeman Frank, van der Meer Klaas (2008): Intelligent Decision and Policy Making
Support Systems (Studies in Computational Intelligence); Berlin Heidelberg: Springer-Verlag
43. Ritter Helge, Martinez Thomas, Schulten Klaus (1991): Neuronale Netze. Eine Einführung in die
Neuroinformatik selbstorganisierender Netzwerke; Addison Wesley
44. Tahir Mukarram A. (2007): Java Implementation of Neural Networks; USA: Booksurge Publishing
Inc.
45. Teshnehlab M., Watanabe K. (1999): Intelligent Control Based on Flexible Neural Networks
(Intelligent Systems, Control and Automation: Science and Engineering); Dordrecht: Kluwer
Academic Publishers
46. Tolk Andreas (2009): Complex Systems in Knowledge-based Environments: Theory, Models and
Applications (Studies in Computational Intelligence); Berlin Heidelberg: Springer-Verlag
47. Tsau Lin Y., Xie Ying, Wasilewska Anita, Liau Churn-Jung (2008): Data Mining: Foundations and
Practice; Berlin Heidelberg: Springer-Verlag
48. Venugopal K. R., Srinivasa K. G., Patnaik L. M. (2009): Soft Computing for Data Mining
Applications (Studies in Computational Intelligence); Berlin Heidelberg: Springer-Verlag
49. Watanabe Keigo, Hashem M. M. A. (2004): Evolutionary Computations: New Algorithms and Their
Applications to Evolutionary Robotics; Heidelberg: Springer-Verlag
50. Watson Ian (1997): Applying Case-Based Reasoning: Techniques for Enterprise Systems; San
Francisco: Morgan Kaufmann
51. Wasserman Philip D. (1989): Neural Computing: Theory and Practice; New York: Van Nostrand
Reinhold
52. Yin Yong, Kaku Ikou, Tang Jiafu, Zhu JianMing (2011): Data Mining: Concepts, Methods and
Applications in Management and Engineering Design (Decision Engineering), UK: Springer-Verlag
Articole/ Capitole din cărţi/ Lucrări
111
artificiale
53. Aschbacher Helmut, Neukart Florian, Schatzl, Sebastian (2009): The use of Business Intelligence
and Data Mining for improving the detection of Customer Needs in Service Engineering; Graz:
Campus02 University of Applied Sciences
54. Behrman Elizabeth C., Niemel Jari, Steck James E., Skinner S. R. (1996): A quantum dot neural
network; Proceedings of the 4th Workshop on Physics of Computation, p. 22–24
55. Bahrammirzaee Arash (2010): A comparative survey of artificial intelligence applications in finance:
artificial neural networks, expert system and hybrid intelligent systems; Neural Computing and
Applications, 8(19): 1165 – 1195
56. Bonet Blai et al. (2001): Planning and Control in Artificial Intelligence: A Unifying Perspective;
Applied Intelligence, 3(14): 237 – 252
57. Bartz-Beielstein Thomas et al. (2005): Sequential Parameter Optimization; MCKAY, B.: Proceedings
of the IEEE Congress on Evolutionary Computation, IEEE Press, 1: p. 773–780
58. Bezdek James (1980): A convergence theorem for the fuzzy isodata clustering algorithms. IEEE
Trans. Pattern Analysis and Machine Intelligence 2, 1–8
59. Burnet Frank M. (1959): The Clonal Selection Theory of Acquired Immunity. Cambridge University
Press.
60. Cheng Tai W., Goldgof Dimitry, Hall Lawrence (1998): Fast fuzzy clustering. Fuzzy Sets and
Systems 93, 49–56
61. Cover T. M., Hart P.E. (1967): Nearest neighboring pattern classification. IEEE Trans. Information
Theory 13, 21–27
62. Dave R. N., Krishnapuram R. (1997): Robust clustering methods: a united view. IEEE Trans. Fuzzy
Systems 5, 270–293
63. de Castro L. N., Von Zuben F. J. (2001): An immunological approach to initialize centers of radial
basis function neural networks. In Proc. of 5th Brazilian Conference on Neural Networks, 79–84
64. DiVincenzo David. P. (2001): Dogma and heresy in quantum computing; Quantum Information
Comp. 1, 1.
65. Edelman G. (2001): Naturalizing consciousness: A theoretical framework; Proceedings of the National
Academy of Sciences USA, 100, 5520 - 5524
66. Elman J. L. (1990): Finding Structure in Time; Cognitive Science, 14, 179-211
67. Eschrich S., Ke J., Hall L., Goldgof D. (2003): Fast accurate fuzzy clustering through data reduction.
IEEE Trans. Fuzzy Systems 11, 262–270
68. Ezhov Alexandr A., Ventura Dan (-): Quantum neural networks, BSTU Laboratory of Artificial
Neural Networks
69. Fahrmeir L. et al. (1996): Regressionsanalyse; In: Fahrmeir, L. et al. (Hrsg.): Multivariate statistiche
Verfahren. 2nd ed.; Berlin, New York, S. 93 - 168
70. Forrest S., Perelson A. S., Allen L., Cherukuri R. (1994). Self-nonself discrimination in a computer. In
Proceedings of 1994 IEEE Symposium on Research in Security and Privacy, p. 132–143
71. Frawlwy William J. et al. (1992): Knowledge Discovery in Databases - An Overview; AI Magazine:
213-228
72. Frean M. (1990): The upstart algorithm: a method for constructing and training feed-forward neural
networks; Neural Computation 2: 198–209
73. Garrett Simon M. (2005): How Do We Evaluate Artificial Immune Systems?; Evolutionary
Computation 13(2): 145-178
74. Grigorescu Costin-Marius, Moraru Sorin-Aurel, Neukart Florian, Badea Milian (2010):
BUFFERING APPLICATION FOR AN INDUSTRIAL MONITORING SOFTWARE SYSTEM.
Proceedings of Optimization of Electrical and Electronic Equipment (OPTIM), 2010 12th
International Conference on, p. 780-785.
75. Grover Lov K. (1996): A fast quantum mechanical algorithm for database search, Proceedings of the
28th Annual ACM Symposium on the Theory of Computation, pp.212-219.
76. Hinton Geoffrey E., Sejnowski Terrence J. (1983): Optimal Perceptual Inference. Proceedings of the
IEEE conference on Computer Vision and Pattern Recognition, Washington DC, pp. 448-453.
112
artificiale
77. MacQueen J. B. (1967): Some Methods for Classification and Analysis of Multivariate Observations;
Proceedings of 5th Berkeley Symposium on Mathematical Statistics and Probability; Berkeley:
University of California Press, 1:281-297
78. Mascioli F. et al. (1995): A constructive algorithm for binary neural networks: the oil spot algorithm;
IEEE Trans Neural Netw 6(3): 794–797
79. Matzinger P. (2002): The Danger Model: A renewed sense of self. Science, 296(5566): 301–305
80. Narayanan Ajit; Menneer Tammy (2000): Quantum artificial neural network architectures and
components; Information Sciences, volume 124. 1-4, p. 231–255
81. Neukart Florian, Moraru Sorin-Aurel, Grigorescu Costin-Marius, Szakazs-Simon Peter (2012),
Artificial Immune System-inspired NeuroEvolution. Proceedings of DAAM, 2012
Transgenetic NeuroEvolution. Proceedings of OPTIM 2012
Cortical Artificial Neural Networks and their Evolution - Consciousness-inspired Data Mining.
Proceedings of OPTIM 2012
84. Neukart Florian (2012): Accuracy through Complexity - One Step further in Time-Series Prediction
and Classification, Knowledge Discovery in Databases
85. Neukart Florian, Moraru Sorin-Aurel, Szakazs-Simon Peter (2011): Problem-dependent, genetically
evolving Data Mining solutions. Proceedings of DAAAM 2011
86. Neukart Florian, Moraru Sorin-Aurel, Grigorescu Costin-Marius (2011): High Order Computational
Intelligence in Data Mining - A generic approach to systemic intelligent Data Mining. Proceedings of
Speech Technology and Human-Computer Dialogue (SpeD), 2011 6th Conference on, p. 1-9.
87. Neukart Florian (2012): Are deep artificial neural network architectures a suitable approach for
solving complex business-related problem statements? Scribd. - The World's Largest Online Library
88. Neukart Florian (2012): A sample algorithm for the system-side adaptation of artificial neural
network architectures. Scribd. - The World's Largest Online Library
113
artificiale
Inteligenţa computatională în data mining şi calcul cuantic, precum şi consideraţii privind viitorul inteligenţei
artificiale
Conducător ştiinţific Doctorand

Prof. univ. dr. ing. Sorin-Aurel MORARU MSc. ing. Florian NEUKART
Cuvinte cheie: inteligenţă computaţională, data mining, reţele neurale artificiale, calcul cuantic
În cadrul tezei, este tratat şi dezvoltat un sistem generic de data mining care aplică paradigmele, metodele şi tehnicile
inteligenţei computaţionale în domeniul data mining. SHOCID a fost realizat în perioada februarie 2010 - octombrie
2012 pentru dovedirea funcţionalităţii paradigmelor inventate de autor în domeniul inteligenţei computaţionale,
printre altele utilizate pentru rezolvarea problemelor dificile nedeterministe polinomiale de timp. Aceste inovaţii
cuprind aplicarea a trei noi tipuri de reţele neurale artificiale pentru clasificare şi predicţia seriilor de timp, realizand
reţele neurale artificiale feed-forward şi recurente. Mai mult, pentru căutările stocastice, sistemul beneficiază de
algoritmi insipiraţi din viaţă şi natură, cum este cel transgenetic NeuroEvolution, care stimulează relaţia dintre un
organism gazdă si un endosimbiont, sau aplicarea operatorilor imunologici. O altă secţiune importantă este dovedirea
modalităţii prin care reţelele neurale artificiale pot beneficia de pe urma calculatoarelor cuantice. A fost propusă o
paradigmă de reţea neurală artificială cuantică, care spre deosebire de unele deja introduce care alocă efecte din
mecanică cuantică în algoritmi corespunzători calculatoarelor bazate pe arhitecturi von Neumann, tinteşte cu
adevărat implementarea pe un calculator cuantic.
Este specificat şi aplicat un nou tip de algoritm metaeuristic pentru modificarea nu numai a ponderilor, dar şi a
arhitecturii reţelelor neurale artificiale tip feed-forward şi feed-forward recurente în timpul fazei de antrenare. Alte
avantaje ale noului sistem sunt aplicarea noilor tipuri de algoritmi pentru determinarea calităţii unei reţele neurale
artificiale şi determinarea pe partea de sistem a funcţiilor activităţii neuronale. În plus, este capabil să determine
soluţia optimală în abordările de învăţare neevolutivă, prin aplicarea unui comitet democratic de agenţi ai reţelei
neurale artificiale. Astfel, SHOCID nu se pretează numai la tehnici de data mining şi inţeligenţă artificială;
depinzănd de problemă, sistemul este capabil să combine tehnicile şi să decidă de sine stătător care strategie se
potriveşte cel mai bine.
System Applying High Order Computational Intelligence in Data Mining and Quantum Computational
Considerations on the Future of Artificial Intelligence
Scientific coordinator PhD Student

Prof. univ. dr. eng. Sorin-Aurel MORARU MSc. ing. Florian NEUKART
Keywords: Computational Intelligence, Data Mining, Artificial Neural Networks, Quantum Computational
Within the dissertation a generic data mining system applying computational intelligence-paradigms, methods and
techniques in the field of data mining, is introduced. SHOCID has been developed during the period from February
2010 until October 2012 for proofing the functionality of paradigms in the field of computational intelligence
invented by the author, amongst others used for solving non-deterministic polynomial-time hard problems.These
innovations comprehend the application of three new types of artificial neural networks for classification and time-
series prediction, outperforming common feed-forward or recurrent artificial neural networks. Besides, for stochastic
searches the system benefits from bio- and nature-inspired algorithms, such as the introduced transgenetic
NeuroEvolution, which simulates the relationship between a host organism and an endosymbiont, or the application
of immunological operators. Another important section is made up of how artificial neural networks may benefit
from quantum computers. A quantum artificial neural network paradigm has been proposed, which in difference to
several already introduced quantum artificial neural networks that apportion effects from quantum mechanics in
algorithms suitable for computers based on von Neumann architectures, indeed targets the implementation on a
quantum computer.
A new type of metaheuristic algorithm for altering not only the weights, but also the architecture of feed-forward and
recurrent feed-forward artificial neural networks during the phase of training is specified and applied. The
application of new type of algorithm for determining the quality of an artificial neural network, and the system-side
determination of neuron activation functions used within an artificial neural network are advantages of the system.
Besides, it is capable of determining the optimal solution in non-evolutionary learning approaches by the application
of democratic committees of artificial neural network agents. SHOCID does not only fall back on complex data
mining and computational intelligence-techniques; depending on the problem, the system is able to combine
techniques and is, to some degree, able to decide on its own which strategy suits best.
114
artificiale
CURRICULUM VITAE
Date personale
Nume, Prenume Neukart, Florian
Telefon Mobil: +4915143819332
E-mail florian.neukart@edu.campus02.at
Nationalite Austriac
Data naşterii 05.05.1982
Experienţă profesională
Data Iunie 2011 – prezent
Poziţia Consultant în tehnologii, cercetător, manager de proiect
Activităţi Consultant in domeniul Business Intelligence, baye de date, Software
Engineering, Data Mining. Cercetător în domeniul Data Mining şi
Inteligenţă Computaţională
Angajator SAP Deutschland AG & Co. KG
Data Februarie 2009 – iunie 2011
Poziţia Inginer consultant, manager de proiect
Activităţi Consultant în domeniul Business Intelligence, baze de date, Software
Engineering, Data Mining.
Angajator Altran Group: Altran Austria GmbH
Data Septembrie 2007 – Februarie 2009
Poziţia Consultant tehnic, arhitect software, cercetător
Activităţi Consultant şi software arhitect în domeniul Business Intelligence şibaze
de date.
Angajator UPPER Network GmbH
Data Februarie 2007 – iulie 2007
Poziţia Inginer de proces
Activităţi Reproiectare procese de business Business process redesign şi proiect de
diplomă
Angajator OMV Exploration & Production
Data Iulie 2006 – decembrie 2006
Poziţia Internship
Activităţi Inginerie software, cercetare diversă
Angajator OMV Solutions GmbH
Date Ianuarie 2004 – Iulie 2006
Position Lector asociat
Activities Lector pentru Matematică, Engleyă, Germană şi Franceză pentru toate
nivelurile de educaţie
Angajator Begleitendes Lernsystem GmbH
Educaţie şi pregătire
Data Octombrie 2010 – prezent
115
artificiale
Calitatea Doctorand
Instituţia UniversitateaTransilvaniadin Braşov
Date Octombrie 2008 – februarie 2010
Diploma Dipl.-Ing. În Tehnologia Informaţiei
Instituţia CAMPUS 02 University of Applied Sciences Graz
Data Octombrie 2003 – iune 2007
Diploma Dipl.-Ing.(FH) în profesii tehnice şi ştiinţifice
Instituţia Joanneum University of Applied Sciences Kapfenberg
Activitate ştiinţifică
Publicaţii ştiinţifice 17 (14 ca prim autor)
Abilităţi şi competenţe
Limbi străine Engleză, franceză
Abilităţi tehnice Sisteme Chipcard
Abilităţi IT Inteligenţă computaţională: Data Mining, Evolutionary Programming,
Agent Oriented Programming
Limbaje de programare / Markup: Java SE, Java EE, Python, C, Visual
Basic, Javascript,HTML, XML (xslt, xsl [fo], XHTML (1, X)HTML 5
Sisteme de baze de date: SQL-Server, Oracle, DB2, MS-Access, MySQL,
Limbaje: Ansi-SQL, PL/SQL, T-SQL
Altele Fizică: Particle Physics, Quantum Physics
Methodică: Business Systems Engineering, Sales & Service Management,
Sociotechnical Systeme, Critical Systems, Software Process
Modelling, Requirements Engineering, Architectural
Design, Configuration Management, Software Tests, Rapid Application
Development, Data Definition, Data Warehouses, IT-Projekt
Management
Web Server:APACHE, Internet Information Server, JBoss, Zope,
Misc: PLONE, Joomla, Cryptography,Chipcardsystems, Linux, Data
Structures
116
artificiale
CURRICULUM VITAE
Personal information
Name, Surname Neukart, Florian
Telephone Mobil: +4915143819332
E-mail florian.neukart@edu.campus02.at
Nationality Austrian
Birth Date 05.05.1982
Professional experience
Date June 2011 – present
Position Technology consultant, researcher, project manager
Activities Consultant in the fields of Business Intelligence, databases, individual
Software Engineering, Data Mining. Researcher in the fields of Data
Mining and Computational Intelligence
Employer SAP Deutschland AG & Co. KG
Date February 2009 – June 2011
Position Consulting engineer, project manager
Activities Consultant in the fields of Business Intelligence, databases, individual
Software Engineering, Data Mining.
Employer Altran Group: Altran Austria GmbH
Date September 2007 – February 2009
Position Technical consultant, software architect, researcher
Activities Consultant, software architect and researcher in the fields of Business
Intelligence and databases
Employer UPPER Network GmbH
Date February 2007 – July 2007
Position Graduand and process engineer
Activities Business process redesign and diploma thesis
Employer OMV Exploration & Production
Date July 2006 – December 2006
Position Internship
Activities Individual software engineering, divers research activities
Employer OMV Solutions GmbH
Date January 2004 – July 2006
Position Associate lecturer
Activities Lecturer for Mathematics, English, German and French for all levels of
education
Employer Begleitendes Lernsystem GmbH
Education and training
Date October 2010 – present
Diploma PhD Student
Institution Transilvania University of Braşov
117
artificiale
Date October 2008 – February 2010

Diploma Dipl.-Ing. for Information Technology
Institution CAMPUS 02 University of Applied Sciences Graz
Date October 2003 – June 2007
Diploma Dipl.-Ing.(FH) for technical and scientific professions
Institution Joanneum University of Applied Sciences Kapfenberg
Scientific activity
Overall scientific 17 (14 as first author)
publications
Skills and Competences
Foreign languages English, French
Technical skills Chipcard systems
IT skills Computational Intelligence: Data Mining, Evolutionary Programming,
Agent Oriented Programming
Programming Languages / Markup Languages: Java SE, Java
EE, Python, C, Visual Basic, Javascript,HTML, XML (xslt, xsl [fo],
XHTML (1, X)HTML 5
Database Systems: SQL-Server, Oracle, DB2, MS-Access, MySQL,
Query Languages: Ansi-SQL, PL/SQL, T-SQL
Other Physics: Particle Physics, Quantum Physics
Methodic qualifications: Business Systems Engineering, Sales & Service
Management, Sociotechnical Systeme, Critical Systems, Software
Process Modelling, Requirements Engineering, Architectural
Design, Configuration Management, Software Tests, Rapid Application
Development, Data Definition, Data Warehouses, IT-Projekt
Management
Web Server:APACHE, Internet Information Server, JBoss, Zope,
Misc: PLONE, Joomla, Cryptography,Chipcardsystems, Linux, Data
Structures
118

Neukart PDF

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Neukart PDF

Încărcat de

Drepturi de autor:

Formate disponibile

Universitatea Transilvania din Braşov

Şcoala Doctorală Interdisciplinară

Dipl. Ing. Florian NEUKART

INTELIGENŢA COMPUTAŢIONALĂ ÎN DATA

SYSTEM APPLYING HIGH ORDER

MINISTERUL EDUCAŢIEI NAŢIONALE

D-lui (D-nei) ..............................................................................................................

Preşedinte: Conf. univ. dr. ing. Carmen GERIGAN

Eventualele aprecieri sau observaţii asupra conţinutului lucrării vă rugăm să le

Totodată vă invităm să luaţi parte la şedinţa publică de susţinere a tezei de doctorat.

5.1.4 Parametrizarea ................................................................................................................... 55

8.6 RNA recurentă SHOCID ........................................................................................................ 100

1 Inteligenţă Computaţională : stadiul actual al cercetării

Figura1 - McCulloch & Pitts neuron model18

Figura2–Modelul de procesare reprezentativ

Figura3 – Perceptron multistrat

1.2.2 O reţea neuronală artificială de bază radială

Funcţia compound Gauss,

În folosirea perceptronului cu mai multe straturi pentru a reprezenta reţele neuronale

1.2.3.1 Reţeaua neuronală artificială Elman (figura 4)

Figura4–Reţeaua neuronală artificiala Elman

Figura5 - Jordan artificial neural network

energie, care este similar aplicatăsimulăriiannealing-learning.Modelele probabilistice bazate pe energie

unde Z este normalizarea factorului şi este numităfuncţiapartiţie:

1.2.3.4 Reţeaua neuronală artificială Hopfield

Figura6 - Hopfield artificial neural network

1.2.3.5 Maşina Boltzmann

Formularul de date negative ale gradientului este:

Figura8–Maşină Boltzmann Restricţionată

1.2.3.7 Hărţi cu caracteristici de auto organizare

n1 n6 n11 n16 n21 n26

Figure 9 – Hartă cu caracteristici de auto organizare

Algoritm1–Algoritm pentru propagarea înapoi

c) Calculează eroarea pentru fiecare neuron ascuns.

d) Adaptează ponderile conform

3. Până când criteriul este îndeplinit

Determinarea valorilor de actualizare noi depinde de semn:

c) Calcularea erorii pentru fiecare neuron ascuns hid

d) Adaptarea ponderilor în funcţie de

3. Până când criteriile sunt atinse

ii. Calcularea erorii pentru fiecare neuron ascuns hid

c) Selecţia cromozomilor pentru recombinare

ii. Calculează eroarea pentru fiecare neuron ascuns

iii. Calculează eroarea pentru fiecare neuron ascuns

iv. Campară soluţiile în concordanţă cu

3. Până când limita minimă este atinsă

Algoritmul 5 - Hibridarea amorselor simulate

2 Data mining: starea actuală de cercetare

Business Data Preparation Pre-processing Analysis Reinforcement

Figura 10-Datele procesului66

2.4.1 Definirea problemei

2.5 Datele de pre-procesare

Figura 11- Deficitul de clase79

2.6.5 Procesare eficientă

2.6.6 Algoritmii şi funcţiile de căutare

2.6.6.5 Importanţa atributului

3 Obiectivele cercetării de doctorat

 Ştiinţa calculatorului de cuantum

4 Conceptul de reţele de structuri neuronale artificiale

Outputs from the

Conscious kernel TYPE II

Inputs to the brain

Figura 12 - Tipurile cauzale de influenţă al creierului103