- Depozite de date (Oracle Warehouse) -

CUPRINS
Introducere ................................................................................................................................................... 3 Orientarea pe subiect ............................................................................................................................... 4 Integrarea.................................................................................................................................................. 4 Non volatilitatea..................................................................................................................................... 4 Variabilitatea n timp ................................................................................................................................ 4 Arhitectura unui depozit de date .................................................................................................................. 5 Organizarea datelor n depozite ................................................................................................................... 8 Metadatele.................................................................................................................................................... 9 Oracle pentru depozite de date .................................................................................................................. 10 Bibliografie .................................................................................................................................................. 11 ANEXA Aplicaie: Oracle Warehouse Builder ........................................................................................... 12 Pasul 1: Configurarea mediului Oracle Warehouse Builder ................................................................... 13 Pasul 2 Generarea Surselor De Date .................................................................................................... 16 Pasul 3 Vizualizarea Depozitului .......................................................................................................... 20

DEPOZITE DE DATE ORACLE (ORACLE WAREHOUSE)

INTRODUCERE
n sens larg, depozitul de date reprezint o baz de date de foarte mari dimensiuni care este ntreinut separat de bazele de date operaionale ale unei organizaii i care este construit din date provenite din sisteme surs prin extragere, filtrare, transformare i stocare n depozite speciale, n scopul sprijinirii proceselor decizionale. Depozitele de date sprijin prelucrarea informaiilor pentru analiz, furniznd o platform solid de consolidare a datelor istorice. Un depozit de date este un ansamblu de date consistente, din punct de vedere semantic, care servete la o implementare fizic a unui model de date pentru sprijinirea deciziei i stocheaz informaii pe care o organizaie le solicit n luarea deciziilor strategice. n definiia dat de W. H. Inmon (considerat printele depozitelor de date), un depozit de date este o colecie de date orientate pe subiect, integrate, non volatile, variabile n timp i care constituie suport pentru luarea deciziilor ntr-o organizaie.

Colecii de date: Orientate pe subiect Integrate Non volatile Variabile n timp

Depozit de date

Fig. 1 Schema ilustrativ a unui depozit de date

ORIENTAREA

PE SUBIECT : n general, depozitele de date sunt organizate n jurul

aplicaiilor funcionale ale companiei. De exemplu, pentru o companie de asigurri aplicaiile sunt orientate pentru auto, via, sntate i depozitele de date se construiesc pe aceste subiecte.

INTEGRAREA: Depozitele sunt alimentate dintr-o multitudine de surse separate. La

alimentare, ele sunt curate, convertite, transformate, rezumate. Rezult o singur imagine integrat a datelor pentru ntreaga companie n care datele sunt stocate astfel nct s faciliteze utilizarea lor n mai multe aplicaii, cu respectarea unor convenii de nume, de structur, de msuri.

NON

VOLATILITATEA : n depozite, datele se ncarc n anumite momente de timp i sunt

stocate pe perioade lungi de timp, de aceea nu se permite modificarea acestora odat ce ele au fost deja ncrcate din sistemul operaional.

VARIABILITATEA

N TIMP: Datele sunt semnificative pentru un anumit moment de timp

(time-variancy) i de aceea nregistrrile conin o informaie privind momentul sau perioada de timp pentru care sunt valabile.

ARHITECTURA UNUI DEPOZIT DE DATE

Arhitectura unui depozit de date este format din trei componente conectate ntre ele: sursa de date, depozitul de date i interfaa de analiz (vezi figura 2). Depozitul de date este de dimensiuni foarte mari i conine informaiile informaiile pe care le pot folosi utilizatorii (clieni, furnizori).
Sursa de date Depozit de date Interfaa de analiz

Date externe

Date interne

Date arhivate

T r a n s f o r m a r e

Data Mart Metadate Data Mining Date agregate

Date detaliate

OLAP

Fig. 2 Arhitectura unui depozit de date Depozitul de date conine mai multe tipuri de date care corespund diferitelor cerine informaionale ale utilizatorilor: date detaliate, date agregate, metadate (dicionarul de date). Metadatele descriu datele coninute n depozitul de date i modul n care ele sunt obinute i stocate. Prin metadate se precizeaz structura datelor, proveniena lor, regulile de transformare, de agregate i de calcul. Ele sunt utilizate la ncrcarea datelor, la consultare, la actualizare, adic pe parcursul ntregului ciclu de via al depozitului.

Datele agregate, dei determin o cretere a redundanei datelor i sunt necesare deoarece n acest fel se poate asigura un timp mediu de rspuns ct mai redus. Aceste date presupun un grad de prelucrare prealabil, astfel nct s fie pregtite pentru nevoile managementului: consolidare, totalizare, sumarizare, mpachetare (n formate accesibile interfeelor de analiz utilizate).

Datele detaliate sunt cele relativ recente, livrate utilizatorilor, de regul la nivel de execuie. Tot aici se gsesc i date avnd o anumit vechime, tot n form detaliat.

Sursele de date sunt: datele operaionale curente (BD i/sau fiiere din sistemul informatic al organizaiei), datele vechi arhivate, datele externe (BD i fiiere din sistemele informatice ale altor organizaii). Construirea depozitului de date, pornind de la sursele de date, presupune parcurgerea unor etape n cadrul unui proces de transformare: extragerea datelor din datele operaionale sau din surse externe, urmat de copierea lor n depozitul de date. Acest proces trebuie, cel mai adesea, s transforme datele n structura i formatul intern al depozitului; filtrarea datelor, pentru a exista certitudinea c datele sunt corecte i pot fi utilizate pentru luarea deciziilor; ncrcarea datelor corecte n depozitul de date; agregarea datelor: totaluri precalculate, subtotaluri, valori medii, sume etc., care se preconizeaz c vor fi cerute i folosite de utilizatori. Aceste agregri sunt stocate n depozitul de date mpreun cu datele importate din sursele interne i externe. Interfeele de analiz sunt produse software care implementeaz tehnologii informatice pentru extragerea i analiza datelor din depozit : concentrri de date (Data Mart), extrageri i analize de date (Data Mining), analiza multidimensional a datelor (OLAP).

Datele n depozite sunt subiect orientate, deci organizate mai puin dup aplicaie sau proces. Ele sunt extrase i remprosptate periodic de ctre sistemul operaional. Dup arhitectura prezentat anterior (figura 2), serverul depozitului de date este punctul central (inima) aplicaiei. Totui, mai exist o arhitectur pe vertical, mai simpl, cu dou niveluri, n care primul nivel include sistemul operaional ct i baza de date iar al doilea aplicaiile client.

Date sumarizate complet

Date sumarizate parial

Date curente detaliate

Metadata

Date vechi

Fig. 3 Arhitectura pe straturi

ORGANIZAREA DATELOR N DEPOZITE

Sursele de date pentru depozitul de date provin n principal din datele importate din sistemul informatic operaional, dar mai pot proveni din datele de arhiv (n perioada de constituire a depozitului) precum i din surse externe (baze de date publice, date demografice, date statistice, date de prognoz economic, date obtinute n urma unor sondaje de opinie etc.). Coleciile de date (BD sau fiiere) utilizate de sistemul informatic operaional au ca scop optimizarea i sigurana procesrii datelor. Datele dintr-un depozit de date sunt organizate ntr-o manier care s permit analizarea lor complex, deci extragerea semnificaiei economice pe care o poart. Depozitul de date este orientat pe subiectele importante ale procesului economic: clienii, furnizorii, produsele, activitile. De exemplu, o comand lansat de un client va aprea n sistemul operaional ca un set de nregistrri care vor conine date despre client, date despre produsele sau serviciile comandate, date despre modul de transport, date despre modul de plat. n sistemul operaional redundana este minimizat (de exemplu prin procesul de normalizare - proiectarea) pentru a evita anomaliile de actualizare. n depozitul de date redundana este creat n mod intenionat (prin denormalizare si sumarizare) pentru a permite un acces mai rapid i uor la date. Integrarea datelor reprezint un aspect important al depozitului de date i anume raiunea pentru care acesta este creat. Datele sunt adunate pentru a rspunde nevoilor informaionale ale ntregii organizaii, asigurnd faptul c rapoartele generate pentru diverse compartimente vor conine aceleai rezultate. Informaiile care au caracter istoric sunt eseniale, deoarece ele pun n evident tendine care reprezint fundamentul unei prognoze corecte. Depozitul de date este un istoric al sistemului operaional. Orizontul de timp pe care l acoper depozitul de date este de cel puin cinci ani, ajungnd uneori la zece ani, n funcie de dinamica evoluiei pieei i, deci, de relevana datelor cu caracter istoric pentru nevoile analizei. Din punctul de vedere tehnic, aceasta implic faptul c orice nregistrare din depozitul de date poate fi plasat n timp, orice cheie de acces cuprinde i o variabil de timp. Actualizarea la depozitele de date este foarte rar, ea se realizeaz doar prin adugarea periodic a unor date extrase din sistemele operative sau din alte surse de date (campanii). Din punctul de vedere al aplicaiilor care folosesc depozitul de date, accesul la date este doar pentru citire. Pentru a obine informaiile dorite, depozitele de date sunt supuse unor prelucrri complexe, cu ajutorul unor metode specifice, cum ar fi: analiza multidimensional a datelor, metode statistice superioare de prognoz, metode matematice aplicate unui volum foarte mare de date. Aceste metode presupun folosirea unui software specializat deosebit de complex, bazat pe noi tehnologii informatice: extrageri de date (data mining), OLAP, concentrri de date (data mart).

Concentrrile de date (data marts) pot fi construite s funcioneze pe configuraii mai modeste dect depozitele de date i sunt specifice unei anumite aplicaii. Depozitul de date conine informaii care pot fi utilizate pentru a rspunde oricrei ntrebri privind afacerile unei organizaii, iar concentrrile de date conin datele necesare unui anumit compartiment al organizaiei. Conectnd mpreun concentrrile de date aferente diferitelor compartimente ale organizaiei, formnd astfel o infrastructur specific, departamentele pot folosi n comun datele lor i se poate crea astfel un sistem de suport al deciziei mai uor de construit i mai flexibil. Interfeele OLAP se bazeaz pe reprezentarea multidimensional a datelor (cub de date) i permite analiza interactiv i rapid a datelor prin operaiuni specifice. Utilizatorul poate obine rezultate immediate parcurgnd dinamic dimensiunile cubului de date, lucrnd cu niveluri diferite de sintez/detaliere. Interfeele de tip Data Mining asigur extragerea i transformarea datelor n cunotine. Se utilizeaz tehnici ale analizei statistice superioare i de inteligen artificial care permit descoperirea de corelaii, reguli, cunotiine utile sprijinirii deciziilor.

METADATELE
Metadatele sunt informaii despre datele existente n depozite, care descriu structura (coninutul) depozitului i furnizeaz referine directe la date. Ele sunt folosite pentru administrarea depozitului de date, deoarece conin informaii despre: sursa datelor, algoritmii de sumarizare, statisticile de utilizare etc. Metadatele sunt create pentru toate numele de date i definiiile din depozit. Metadate adiionale sunt create pentru a asocia intervale de timp la datele extrase i alte cmpuri care vor fi adugate prin filtrarea datelor sau prin procesele de integrare. Metadatele unui depozit de date conin urmtoarele informaii: o descriere a structurii de date din depozit, care include schema depozitului, dimensiunile, ierarhiile, definiiile datelor derivate; metadatele operaionale, care includ: date privind evoluia n timp (istoricul datelor i secvena de transformare aplicat asupra lor), circulaia datelor (active, arhivate, terse) i informaii de monitorizare (statistici privind utilizarea depozitului de date, rapoarte de erori etc.); algoritmii utilizai pentru sumarizare, care includ: msura i dimensiunea algoritmilor definii, date despre granularitate, partiii, arii de subiecte, agregri, sumarizri, rapoarte i filtre predefinite; maprile (transformrile) de la mediul operaional la depozitul de date care includ: bazele de date surs i coninutul lor, descrierile interfeelor (gateways), partiionarea datelor, extragerea datelor, filtrarea datelor, regulile de ntreinere, securitate a datelor; 9

date referitoare la performanele sistemului care include indici i profiluri care mbuntesc accesul la date i performanele de cutare; metadatele economice (business metadata), care includ termenii economici i definiiile aferente.

ORACLE PENTRU DEPOZITE DE DATE

Oracle a fost printre primele sisteme care au inclus funcionaliti pentru implementarea depozitelor de date. ncepnd cu versiunea 7.3, au fost posibile interogri paralele, managementul paralel al datelor, optimizri bazate pe interogri, indexuri bitmap, etc. Oracle8 a mbuntit aceste funcionaliti i conectnd serverul cu unelete ca Oracle Discoverer i Oracle Express, a devenit cea mai bun alegere n construirea i ntreinerea unui depozit de date. Mai mult, sistemul este mereu actualizat pentru a face fa noilor cerine ce apar n legtur cu depozitele de date. Arhitectura este ilustrat n figura 4 i mprit n 3 straturi: Stratul 1 - accesarea datelor: datele pot fi accesate de la surse multiple iar transferul este asigurat de utilitare ca SQL*Loader, scheme Oracle export/import. SQL Stored Procedures. Stratul 2 Serverul depozitului de date: serverul poate fi de tip RDBMS (Relation Database) sau MDD (Multi-Dimensional Database), Oracle prevznd soluii pentru amndou. Pentru MDD, se folosete Oracle Express Server iar pentru RDBMS Oracle7, Oracle8 sau Oracle8i. Stratul 3 Sistemul de decizie : conine DSS i OLAP. Cu utilitarele Oracle Reports, Oracle Discoverer i Oracle Express, utilizatorul poate avea oricnd i oricum acces la datele depozitului.
SQL*Loader Export/Import DSS Oracle Discoverer

Sistem operaional

Sisteme Oracle

Proceduri stocate Oracle Transparent Gateway

Server al depozitului de date

OLAP Oracle Express

Sisteme legacy

DSS

Oracle Reports

10

BIBLIOGRAFIE
1. Oracle Database, Data Warehousing Guide, 11g Release 1, September 2007 2. F. Ionescu, note de curs 3. Muhammad Ahmad Shazad, Data Warehousing with Oracle, Oracular 5.http://www.oracle.com/webfolder/technetwork/tutorials/obe/db/11g/r1/owb/owb11g_update_g etting_started_intro/lesson1/less1_start.htm

11

ANEXA APLICAIE: ORACLE WAREHOUSE BUILDER

Aplicaia a fost dezvoltat n Oracle Warehouse Builder, un utilitar inclus n pachetul Oracle Database 11gR1. Oracle Warehouse Builder (OWB) permite proiectarea i construirea depozitelor de date, a centrelor de date (data mart) i a aplicaiilor BI (Business Intelligence). Conine un set de instrumente grafice care asist utilizatorul n proiectare, pentru crearea obiectelor memorate ntr-un spaiu de lucru (workspace) memorat n baza de date Oracle: Toolset-ul Design Center permite importul obiectelor surs i proiectarea proceselor ETL i a obiectelor de coresponden (mapping). Un mapping (mapare) definete un flux de date de la surs la depozitul int (target warehouse) iar OWB genereaz codul pentru extragerea, transferul i ncrcarea datelor (procesul ETL). Toolset-ul Repository Browser asigur o interfa Web pentru inspectarea metadata din depozit. Control Center Service controleaz deploymentul bazei de date target.

Figura A1 Diagram ce ilustreaz interaciunea dintre componentele principale ale OWB

12

PASUL 1: CONFIGURAREA MEDIULUI ORACLE WAREHOUSE BUILDER

Se pornete Repository Assistant. Se creeaza un nou user i se realizeaz accesul la centrul de control (control center).

13

14

Pentru a obine accesul, n command window se introduce: C:> sqlplus sql> username: sys as sysba password: password Iar pentru OWBSYS, se vor introduce: sql> alter user owbsys identified by password account unlock;

15

PASUL 2 GENERAREA SURSELOR DE DATE

Dup crearea coenxiunii, inainte de a ne loga cu userul nou creat, se vor rula nite scripturi pentru generarea unor tabele, mapri, cuburi, etc. Acestea se gsesc n <path>newowdemo.

16

Ne vom loga din cmd din nou la sqlplus i vom genera comanda: Sql> @d:\newowbdemo\create_users.sql; Se vor crea doi useri: xsales i eul_from_owb.

17

Se editeaz fiierul owbdemoinit.tcl cu valorile corespunztoare mediului creat prin Repository Assistant.

#define global variables used in procedures global debug global iconlocation global owbclient global owbclientpwd global host global port global service global udoappdefname global themodule #Set all common variables set owbclient rep_owner set owbclientpwd rep_owner set sysuser sys set syspwd orcl set host localhost set port 1521 set service orcl set project OWB_DEMO set sourcedir d:/newowbdemo set dataspace USERS set indexspace USERS set tempspace TEMP set snapspace USERS set sqlpath C:\app\Illy\product\11.1.0\db_1\BIN set sid orcl #set the workspace info set workspaceOwner rep_owner set workspaceName my_workspace

18

Apoi, n OMB Plus (Start > Programs > [Oracle - OWB11gR1clientHome] > Warehouse Builder > OMB Plus) se introduc comenzile: cd d:\\newowbdemo\\ source owbdemoinit.tcl source loadall.tcl

19

PASUL 3 VIZUALIZAREA DEPOZITULUI

La pornirea WarehouseBuilder->Design Center, prin logarea cu userul i parola aferente, vom observa c n fereastra Explorer s-a generat un model nou OWB_Demo. SALES_WH conine tabelele de date, cuburile i maprile.

20