2.

6 Oprirea Timpurie O tehnica bine-cunoscuta pentru rezolvarea problemei overfitting este Procedura de oprire timpurie Conceptul de oprire timpurie este urmtorul *Zim94, NZ98, Bis95, p.. 60-1, p.. 410-12 i p. 343-5]: De obicei, am iniializa aleatoriu de reele neuronale cu greuti mici. n cea mai simpl abordare a opririi timpurii, am observa eroarea de reea prin intermediul unui proces de validare setat pentru a determina nceputul overfitting. La nceputul procesului de nvare, eroarea de instruire si de validare, de obicei, scdea,deoarece reeaua nva structuri valoroase din datele. Dac eroare de validare tinde s creasc, instruirea de reele neuronale este oprita. O procedur mai sofisticata de oprire timpurie este de a instrui retelele neuronale pn la apariia overfitting-ului. Dup aceea, o parte din structura retelelelor neuronale (de exemplu,o pondere de 10%) este eliminat prin utilizarea tehnicilor standard de eliminare a ponderilor. Apoi, reeaua neuronal rezultata dupa eliminarea ponderilor este reinitializata si procesul de instruire continua. Secvena prezentat de nvare i eliminarea este reiterat pn se ajunge la o structur stabil de retele neuronale pana cand nu se realizeaz niciun overfitting [NZ98, p.. 410-2]. Aceast variant de oprire timpurie este ilustrata n Fig. 2.9 [NZ98, p.. 411]. Un dezavantaj major al opririi timpurii este faptul c punctele de oprire poat aparea dup cteva cicluri de nvare. n acest caz, reteaua neuronala rezultata este mai mult sau mai puin limitata de clasa de modele semi-liniare deoarece ponderile raman mici rmn mici i, astfel, fluxul intern de semnal al reelei este nc n clasa liniara a functiilor de activare tangente hiperbolice. Cu alte cuvinte, procesul de nvare nu are nici o sansa de a dezvolta complex structurile neliniare din reeaua neuronal *NZ98, p.. 410-1+. n Neuneier i Zimmermann (1998) *NZ98+ este raportat, c oprirea timpurie