Curs 11

5.3. Extragerea de date (Data Mining)

Extragerea si descoperirea datelor (DM) a determinat o evolutie in domeniul BI, din ceea ce oferise deja tehn. OLAP, care, la randul ei, adaugase algoritmi si indicatori noi, fata de Excel. 1.Excel->2.OLAP->3.Data Mining 1.->procesare tranzactionala in care utilizatorul are un rol important in stocarea si prelucrarea datelor curente/operationale. 2.->procesarea analitica in care utilizatorul are un rol important in exploatarea datelor (prin algoritmi si indicatori specifici specifici statisticii matem. Superioare)->din depozite de date (DD) sau BDR. 3.->extragerea si descoperirea informatiilor (din DD) care spun ceva despre ele, fara insa sa fie adresata vreo intrebare. Tehnologia DM utilizeaza metode de cautare complexe in scopul identificarii unor modele sau a unor grupari de date putand identifica tendintele neprevazute initial intr-un anumit comportament (al consumatorilor, al vanzatorilor etc.) Cateva caracteristici ale DM: Pleaca de la experienta acumulata de prod software pt foi de calcul si pt procesarea analitica si dezvolta superior conceptual; Realizeaza analiza datelor si invatarea folosind experienta din mai multe tehnologii: inteligenta artificial, statistica matematica, matematici aplicate, etc.; Trateaza si exceptiile de la regula; Extrapoleaza si adauga elemente la cazurile similar sau la cele mai des intalnite dj; Intotdeauna poate invata si da o solutie cu un anumit grad de probabilitate, neexistand situatii fara raspuns; Utilizeaza mai multi algoritmi de cautare si extragere: arbori de diferite tipuri, retele neuronale, cautarea aleatorie (algoritmi de randomizare), probabil., predictii etc.; Extragerea de date se imbunatateste cu cat creste cantitatea de date stocate; Domeniile de utilizare sunt in special marketingul si publicitatea. Exemple: Oracle Miner (vezi studio de caz din carte).

Cap VI SGBD distribuite (SGBDD)

6.1 Caracterizare generala SGBDD 6.2 Arhitectura SGBDD 6.3 Realizarea distribuirii datelor

6.1 Caracterizare generala SGBDD a. Definire SGBDD=rezultatul integrarii tehnologiei BD cu cea a retelelor de calculatoare, prin extinderea unui SGBD cu facilitate de comunicare si de gestionare a datelor distribuite in retea. SGBDD=un system care gestioneaza mai multe BD locale, integrate logic printr-o retea de de comunicatie astfel incat utilizatorul, oriunde s-ar afla in retea, percepe ca fiind o singura bd.

Tipuri de retea LAN locale WAN globale (cele de mai sus sunt cele mai vechi) ATM (Asincron Transmision Mode) combinatie de LAN si WAN Aparut odata cu tipul de date multimedia Se creeaza pachete de date cu anumiti algoritmi de compresie astfel incat la plecare si la sosire se fac mult mai putine verificari decat in mod obisnuit.

b. Regulile lui CJ Date

Date a intocmit 12 reguli conform carora se poate stabili daca un SGBD e distribuit si in ce masura. Sinteza regulilor afirma ca distribuirea datelor nu trebuie sa afecteze in nici un fel utilizatorul, adica SGBD va asigura o transparenta totala a distribuirii datelor.

R1) Autonomia locala = fiecare nod are controlul local asupra datelor si e [relativ] independent de celelalte noduri R2) Server control = nu trebuie sa existe in retea doar un singur server de care sa depinda intregul sistem distribuit R3) Continuitatea = activitatea intr-un sistem distribuit se desfasoara fara intrerupere. R4) Transparenta localizarii = niciun utilizator nu trebuie sa stie unde si cum sunt amplasate datele folosite. R5) Independenta fragmentarii = SGBDD va tb sa poata reconstitui automat, in orice moment, o colectie de date din fragmentele sale. R6) Independenta replicarii = utilizatorul nu trebuie sa stie daca datele au fost replicate (multiplicate) si cum anume. R7) Interogarile distribuite = optimizarea regasirii datelor tb sa se faca accesand date de pe mai multe noduri. R8) Tranzactiile distribuite = actualizarea datelor trebuie sa se faca pe mai multe noduri. R9) Independenta fata de hardware = nodurile pe care se gasesc datele pot fi calculatoare de diferite tipuri si puteri. R10) Independenta fata de software = nu trebuie sa aiba importanta sistemele de operare care exista pe nod. R11) Independenta fata de retea = diferite protocoale de comunicatie utilizate in retea nu trebuie sa afecteze functionare BDD. R12) Independenta fata de SGBD = la nivel de nod local, pot rula diferite SGBD.

Nota: Sistemul Oracle RAC (Real application Clusters) ofera support pt BDD conform celor 12 reguli de mai sus.

6.2 Arhitectura SGBDD Pt SGBDD au fost concepute mai multe tipuri de arhitecturi, dar cea mai utilizata este ANSI structurata pe 2 niveluri : global si local.