SIAD bazat pe sinteza si analiza datelor

Realizeaza acest deziderat prin: Comasarea Consolidarea Sistematizarea Corelarea Gruparea datelor existente (ce pot proveni din surse eterogene : bd interne, internet, intranet, date externe, etc.) n vederea obinerii de informaii pertinente care s evidenieze factorii care afecteaz performanele ntreprinderii si aciuni pentru ameliorarea lor.

Precizare: Extragerea datelor din baze de date eterogene este insotita de un proces de transformare corelare Completare a datelor. Totodata se realizeaza si crearea dicionarelor de date. Datele astfel prelucrate vor fi stocate intr-un depozit de date.
2

Definitie. Depozitul de date este o colecie de date orientate pe subiecte, integrate, corelate n timp i non-volatile care se constituie n suport pentru procesul de decizie. Astfel depozitul de date va contine: - date istorice detaliate - date agregate la nivel inferior; - date agregate la nivel superior - Metadate.(date despre date)
3

Diferenele dintre un DD i o BD utilizata de aplicaii informatic de tip OLTP (on line transaction processing) A. Datele stocate n sisteme OLTP date operaionale, referitoare la un anumit proces sau funcie a ntreprinderii date de detaliu cu un anumit grad de volatilitate (pot suferi actualizri) date prezentnd interes n primul rnd pentru cei ce le introduc. Procesarea datelor este foarte rapida (se aplic unui set mic de date- de regul introduse recent i stocate compact n cel mult cteva tabele) BD sunt orientate spre tranzacii si reflect situaia curent sunt proiectate i realizate pe baza unor cerine cunoscute n prealabil adaptarea sistemului la cerine ulterioare necesit reluri ale unor faze din ciclul de via sistemul o dat dat n exploatare funcioneaz fr modificri majore o lung perioad.

Concluzie: Datele stocate n sisteme tranzacionale sunt gestionate ca un ntreg Sistemele tranzacionale urmresc fluxul datelor din activitatea curent, sunt orientate spre procese ca de exemplu vnzri, achiziii, ncasri, pli, producie, etc.

B.

Datele stocate n depozite date pentru asistarea deciziei referitoare la subiecte de interes decizional date centralizate sau derivate din datele operaionale nu se schimb n timp orientate ctre utilizatorii finali managerii de nivel tactic i strategic procesarea datelor este lenta ( volum foarte mare de date stocate dispersat) DD sunt orientate spre subiectele analizelor si reflect situaii globale, cu caracter istoric. cerinele nu sunt cunoscute n totalitate n momentul proiectrii i realizrii depozitului depozitul de date va trebui s se adapteze mereu cerinelor

Concluzie: Depozitele de date sunt organizate i gestionate avnd n vedere scopul final al analizelor, sunt orientate spre subiecte ca de exemplu clieni, furnizori, resurse, produse, etc. Datele stocate n sistemele de asistare a deciziei pot fi gestionate i pe seciuni (data marts) ntruct sunt organizate distinct pe subiecte de analiz.

Metadatele sunt date care definesc obiectele depozitului, de exemplu: - descriu structura datelor din depozit; aceasta descriere include schema depozitului, dimensiunile, ierarhiile, definitiile datelor derivate; - descriu algoritmii utilizati pentru obtinerea datelor agregate.

Caracteristici:
1. 2. Depozitul de date se construiete si evolueaza in timp ntr-o manier incremental, Datele stocate n depozite sufer un proces de curire i transformare care asigur calitatea informaiei generate pe baza lor.

3.

Codurile sunt transformate n date explicite - integrarea datelor din nomenclatoare n datele despre tranzacii - denormalizarea tabelelor din bazele de date primare este permis deoarece integritatea datelor nu este ameninat ntruct nu provin din exterior iar pe de alt parte, grbete procesul de regsire.
Este permisa redundana datelor (data calendaristic se poate exprima i n luni i n semestre i n sezoane). Securitatea i sigurana n exploatare nu sunt expuse unor riscuri majore, procedurile de salvare i recuperare fiind mult mai relaxate fa de cazul sistemelor tranzacionale (putini utilizatori, concurenta redusa) Procesele ntreprinderii care stau la baza modelrii i proiectrii sistemelor informatice operaionale, nu influeneaz designul depozitului de date, nu sunt reflectate n structura sau comportamentul acestuia. Masa de informaii care se va stoca n depozit trebuie organizat de aa manier nct s reflecte att datele importante ct i contextul lor
7

4. 5.

5.

5.

Realizarea depozitelor de date

A. Proiectarea structurii depozitului de date( modelarea conceptuala multidimensionala) B. Implementarea structurii sub forma unei baze de date care s asigure att stocarea unui volum imens de date ct i accesul rapid la ele (baze de date client-server). C. Popularea cu date a depozitului - . Aceast etap va fi reluat periodic pentru a aduga datele noi. D. Exploatarea curent explorare analiz raportare. activiti ce sunt asistate de instrumente software de la simple browsere i generatoare de rapoarte la instrumente sofisticate de data mining.

Exploatarea curent va evidenia noi cerine informaionale pentru asistarea deciziei, cerine care vor conduce la extinderea structurii depozitului, popularea cu date istorice a extensiei integrarea noilor date n aplicaii de analiz.
Proiectare Populare Analiz

Procesul de dezvoltare a depozitelor de date este incremental i ciclic pe tot parcursul vieii.

Pentru proiectare sunt necesare:

instrumente pentru descrierea logic i fizic a surselor de date precum i a depozitului sau magaziei de date n care urmeaz s fie stocate;
instrumente pentru validarea, curirea i transformarea datelor cu care urmeaz s se populeze depozitul; instrumente destinate utilizatorului final care permit accesul la informaia stocat n depozit incluznd

- medii de dezvoltare de aplicaii - produse specializate n analiza datelor - aplicaii personale

10

Din punct de vedere structural,

un mediu n care se poate construi, menine i exploata un depozit de date este alctuit din urmtoarele componente: Surse de date tranzacionale Instrumente de proiectare-dezvoltare Instrumente de extracie i transformare a datelor Sistemul de gestiune al bazei de date

Instrumente de acces i analiz a datelor

Instrumente de administrare
11

Proiectarea DD. Modelarea conceptuala

Precizare. Tehnicile existente nu pot fi direct aplicabile.

Consecinta. Se incepe de regula cu proiectarea logica, adica modelarea unei scheme stea sau fulg de zapada.
Nu exista un standard pentru MMD. Consens. Deoarece metoda E-A nu corespunde, iar proiectarea unui MMCD depinde f. mult de cerintele utilizatorilor si de valabilitatea si structura datelor din ST se utilizeaza o metodologie evolutiva .

12

Modelarea conceptuala multidimensionala

Abordari: A. Abordarea orientata pe surse de date - presupune existenta ST - incepe cu analiza datelor din BDT Metode: CABIBBO; GOLFARELLI Etape (CABIBBO): 1. Avand in vedere modelul E-A al BDT se identifica faptele, dimensiunile, ierarhiile si masurile. 2. Se restructureaza modelul E-A astfel: - se reprezinta faptele ca entitati ale diagramei; - se rafineaza nivelurile din fiecare dimensiune.
13

Rafinarea
In fiecare dimensiune trebuie - sa se reprezinte explicit nivelurile de agregare importante pentru analiza faptelor (de ex. Atributele categoie_ produs, marca_produs, ..) si - sa se diferentieze de conceptele doar descriptive ce nu pot fi utilizate in analiza (de ex. Nr tel, adresa,..)

14

Rafinarea presupune urmatoarele transformari:

a) inlocuirea asocierilor m:m (ex. Agregarea dupa ocupatiese inlocuieste cu ocupatia de baza); b) adaugarea de noi concepte (E sau A) ce reprezinta noi nivele de agregare (de ex. Dimensiunea Magazin; dorim aregare dupa oras, zona derivate din adresa-, atunci vom crea noi entitati ORAS, ZONA; c) stabilirea unui identificator pentru fiecare entitate; d) eliminarea conceptelor irelevante
15

B. Abordarea orientata pe cereri (in absenta surselor de date si a modelelor E-A corespunzatoare). Etape: a) pe baza studiului activitatii pentru care se construieste depozitul se vor identifica indicatorii de performanta ai activitatii, adica masurile; b) tot pe baza studiului se identifica dimensiunile si ierarhiile; c) se identifica structura multidimensionala. (vezi ex. Met Cabibbo)
16

Pentru a fi stocate n depozitele de date, datele se centralizeaz pe mai multe nivele de agregare Primul nivel de agregare - timpul (luna). Al doilea nivel de agregare depinde de subiectul analizei: clientul sau produsul. Un al treilea nivel de agregare poate fi localitatea. Pe baza unor asemenea date de sintez stocate n depozitul de date, se poate construi o suprastructur cu date din ce n ce mai agregate pe multipli ai dimensiunilor primare (timp, localitate): numrul sau suma tranzaciilor pe luni, ani, decenii numrul anual al tranzaciilor pe orae, zone, tri, etc.

17

Modelarea conceptual a DD
Modelele cele mai utilizate sunt modelele dimensionale de tip stea sau fulg de zpad Schema relaional n form de stea. Datele cantitative centralizate sunt msuri ale activitii Criteriile de agregare sunt denumite dimensiuni. Msurile identificate prin dimensiuni sunt stocate ntr-o tabel relaional denumit tabela de fapte. Codurile criteriilor de agregare (dimensiunile) sunt explicitate n tabele de tip nomenclator asociate tabelei de fapte

Mai multe asemeni scheme de tip stea care folosesc aceleai nomenclatoare formeaz un model de tip constelaie Prin integrarea unor subdimensiuni i dimensiuni alternative, schema rezultat are forma unui fulg de nea.
18

Seciune din modelul relaional al unei aplicaii tranzacionale n domeniul bancar:

CLIENT Client_id Nume Prenume Adresa Cont Telefon Data_deschidere TRANZACII Tranz_nb Data_tranz Operaie Client_id Operator_id Suma Comision_id COSTURI TRANZACII Comision_id Denumire Descriere Cost Data_modif

Tranzaciile clienilor sunt operaii de tipul pli, ncasri, depunere sau ridicare de numerar din contul personal. Costul fiecrei tranzacii este comisionul bancar, diferit pentru fiecare operaie i modificabil n timp. Tranzaciile sunt efectuate n mai multe filiale aflate n localiti diferite.
19

Dimensiunea TIMP
Timp_id Ziua Luna Trimestru An

Dimensiunea OPERAIE
Operaie_id Denumire

TRANZACII
Timp_id Operaie_id Filiala_id Client_id SumComision

Dimensiunea FILIALA
Filiala_id Nume Ora Zona

Dimensiunea CLIENT
Client_id Nume Tip_client

Schema stea a unui depozit de date msura activitii: comisioanele asociate operaiilor dimensiuni: dat, operaie, filial, client
20

Dimensiunea TIMP
Timp_id Ziua Luna Trimestru An

Dimensiunea OPERAIE
Operaie_id Denumire

TRANZACII CLIENT
Timp_id Operaie_id Filiala_id Client_id SumComision

Dimensiunea FILIALA
Filiala_id Nume Ora Zona

Dimensiunea CLIENT
Client_id Nume Tip_client

PERSONAL
Timp_id Filiala_id Operator_id Nr_tranzacii Comision_mediu

Dimensiunea OPERATOR
Operator_id Nume Data_incadrare Salariu

Schema constelaie a unui depozit de date

21

Timp_id Ziua Luna Trimestru An

Operaie_id Denumire

TRANZACII CLIENT
Timp_id Operaie_id Filiala_id Client_id SumComision

Timp_id Ziua Sezon

FILIALA
Client_id Nume Tip_client Localitatea

Filiala_id Nume Ora

Oras Zona

Tip client Ctg client Subctg client

Schema fulg de nea a unui depozit de date

nomenclatoarele au subnomenclatoare sau nomenclatoare alternative

22