Referat

Depozite de date procesare in-memory

Autor: Badescu Viorel Grupa 1068 An II ASE - Masterat Informatica Economica Aprofundare

Cuprins

Aspecte fundamentale ale depozitelor de date ....................................................... 3 Organizarea datelor in depozitele de date ...............................................................3 Facilitati ale depozitelor de date ...............................................................................5 Arhitectura pe componente a depozitelor de date ................................................. 5 Realizarea depozitelor de date ................................................................................. !roduse soft"are pentru lucrul cu depozite de date............................................... # !rocesarea in-memory ...............................................................................................$ !rocesarea in-memory pentru depozite de date .................................................... %% Concluzii ................................................................................................................... %& 'i(liografie ............................................................................................................... %5

Aspecte fundamentale ale depozitelor de date epo!itele de ate " ata #are$ouse% repre!inta re!ultatul interferentei mediului economic si al te$nolo&iilor informatice a'ansate( Mediul economic este tot mai competiti'e) tinde spre &lo*ali!are) de'ine tot mai comple+ si solicita informatii ela*orate pentru spri,inirea deci!iilor strate&ice( E'olutia te$nolo&iilor informatice ofera solutii eficiente de &estionare a unor 'olume foarte mari de date inte&rate " de ordinal -B% asi&urand ni'eluri de sinte!a si detaliere adec'ate( .ostul reali!arii unui depo!it de date este foarte mare si recuperarea se face in timp indelun&at( intre aceste costuri) 1/0 se c$eltuiesc cu soft1are necasar) 1/0 cu $ard1are si 1/0 cu ser'icii profesionale( epo!itele de date furni!ea!a ar$itecturi si interfete utile conducerii e+ecuti'e prin or&ani!area sistematica) intele&erea si utli!area datelor in luarea deci!iilor strate&ice) intr-un mediu economic competiti' si in rapida e'olutie( Mana&erii au inteles ca date stocate de sistemele informatice operationale) in fisiere sau *a!e de date) repre!inta o mina de aur informational care se cere e+ploatata( .ele mai importante domenii in care se pretea!a *ine aplicarea depo!itelor de date sunt: *ancile) asi&urarile) telecomunicatiile) $ipermar2eturile) transporturile etc( In aceste domenii) au o foarta mare importanta datele istorice din ultimii cinci-!ece ani( 3arintele necontestat al te$nolo&iei depo!itelor de date este #illiam Inmon) iar 'i!iunea sa se concentrea!a asupra rolului acestora ca *a!a informationala a deci!iei mana&eriale) pastrand un ni'el inalt de &eneralitate si permitand unor multiple implementari sa inte in sfera acestei notiuni( epo!itul de date este un ansam*lu de colectii de date de dimensiuni foarte mari) care este intretinuta separat de *a!ele de date operationale ale unei or&ani!atii si care este construita din date pro'enite din sistemele sursa) prin operatii de e+tra&ere) filtrare) transformare si stocare) in depo!ite speciale) in scopul spri,inirii proceselor deci!ionale( Organizarea datelor in depozitele de date Sursele de date pentru depo!itul de date pro'in) in special) din datele importate din sistemul informatic operational) dar mai pot pro'eni si din datele de ar$i'a perecum si din sursele e+terne " date pu*lice) date demo&rafice) date statistice) date o*tinute in urma unor sonda,e de opinie etc(%( Informatiile sunt or&ani!ate in depo!itele de date intr-o maniera care sa permita anali!area lor comple+a) deci e+tra&erea semnificatiei economice pe care o poarte( atele operationale "B sau fisiere% sunt orientate pe aplicatii) in sensul ca or&ani!area lor este optimi!ata pentru a ser'i procesului tran!actional) dinamicii sistemului( e e+emplu) o comanda lansata de un client 'a aparea in sistemul operational ca un set de inre&istrari care 'or contine date despre client) despre produsele sau ser'iciile comandate) despre modul de transport si despre modul de plata(

epo!itul de date este orientat pe su*iectele importante alea procesului economic: clientii) furni!orii) produsele) acti'itatile etc( Inte&rarea datelor repre!inta un aspect important al depo!itului de date si anume ratiunea pentru care acesta este creat( atele sunt adunate pentru a raspunde ne'oilor informationale ale intre&ii or&ani!atii) asi&urand faptul ca rapoartele &enerate pentru di'erse compartimente 'or contine aceleasi re!ultate( Sistemul operational este format din mai multe su*sisteme) relati' independente) create la momente diferite) de ec$ipe diferite) in maniere diferite) ceea ce face &reoaie folosirea unui astfel de sistem pentru anali!a( Inte&rarea datelor pro'enind din sistemul operational si din alte surse se refera la urmatoarele aspecte: - modalitatile unice de codificare 4 e+ista nenumarate 'ariante de a codifica un camp) insa o aplicatie pentru anali!a datelor 'a tre*ui sa se *a!e!e pe o codificare unica - sistemul de unitati de masura unitar - unitatile de masura pentru diferitele campuri tre*uie e+primate intr-un sistem unic " de e+emplu metrul% - sistemul sta*il de repre!entare fi!ica a datelor 4 in aplicatiile tran!actionate este posi*il ca aceleasi date sa fie memorate in moduri de or&ani!are diferite( Acestea tre*uie sta*ili!ate dupa anumite re&uli precise) sta*ilite la proiectare( - con'entiile standard pri'ind modul de repre!entare a datelor - datele calendaristice) campurile care definesct timpul5 tre*uie sa respecte con'entiile internationale5 - con'entiile unice pri'ind denumirile campurilor de date 4 in sistemul operational acestea pot sa difere de la o aplicatie la alta) iar in depo!itele de date ele tre*uie sa fie unice) datorita necesitatii lucrului in ec$ipa( Sistemul operational al unei or&ani!atii tinde mereu sa reflecte!e realitatea curenta( Astfel) el se afla intr-o continua e'olutie) iar datele pe care le contine sunt rele'ante doar pentru momentul in care acestea sunt accesate( 6ri!ontul de timp pe care il acopera este de re&ula !ile sau luni) deoarece dupa acest inter'al tran!actiile efectuate sunt ar$i'ate) fiind considerate de,a de domeniul istoriei) deci neinteresante din perspecti'a operati'a( 3entru reali!area unei anali!e economice este ne'oie de date cu caracter istoric( Acestea sunt esentiale deoarece pun in e'identa fundamentul unei pro&no!e corecte( epo!itul de date este un istoric al sistemului operational( .a si ori!ont de timp) depo!itul de date este de cel putin cinci ani) putand sa a,un&a uneori c$iar la !ece sau cincispre!ece ani in functie de dinamica e'olutiei pietei si de rele'anta datelor( in punct de 'edere te$nic) anali!a economica implica faptul ca orice inre&istrare din depo!itul de date poate fi plasata in timp) iar orice c$eie de acces cuprinde si o 'aria*ila de timp( 7a depo!itele de date actuali!area este foarte rara) deci dinamica lipseste( Actuli!area se reali!ea!a doar prin adau&area periodica a unor date e+trase din alte surse de date sau sisteme operati'e prin utili!area unor campanii( In ca!ul depo!itelor de date mecanismele de inte&ritate sunt inutile) asfel ca &radul de li*ertate casti&at poate fi utili!at pentru utili!area accesului la date prin sumari!are) denormali!are) statistici ale accesarii datelor) reor&ani!are dinamica etc( 8n depo!it de date contine un 'olum foarte mare de date( 8nele dintre acestea pro'in din sursele or&ani!ationale ale or&ani!atiei) iar altele din surse e+terne(

Facilitati ale depozitelor de date .resterea 'olumului de date) precum si perfectionarea produselor soft1are de &estiune a acestuia) au condus la o noua calitate a utili!arii datelor prin anali!e care pot rele'a conducerii or&ani!atiei informatii &reu sau c$iar imposi*il de o*tinut pe alte cai( 3entru a o*tine informatiile dorite) depo!itele de date sunt supuse unor prelucrari comple+e) cu a,utorul unor metode specifice) cum ar fi: anali!a multidimensionala a datelor) metode statistice superioare de pro&no!a) metode matematice aplicate unui 'olum foarte mare de date( Aceste metode presupun folosirea unui soft1are speciali!at deose*it de comple+) *a!at pe noi te$nolo&ii informatice: e+tra&eri de date " data minin&%) 67A3) concentrari de date " data mart% etc( Arhitectura pe componente a depozitelor de date Ar$itectura pe componente a depo!itului de date e'identia!a elementele componente si anume: sursa de date " date e+terne) date interne si date ar$i'ate%) depo!itul de date " metadate) date a&re&ate si date detaliate% si interfetele de anali!a " ata Mart) ata Minin&) 67A3%( Metadatele descriu datele continute in depo!itul de date si modul in care ele sun o*tinute si stocate( Acestea preci!ea!a structura datelor) pro'enienta lor) re&ulile de transformare) de a&re&are si de calcul( atele a&re&ate) desi determina o crestere a redundantei datelor) sunt necesare in depo!itul de date deoarece in acest fel se poate asi&ura un timp mediu de raspuns cat mai redus( Aceste date presupun un &rad de prelucrare preala*ila) astfel incat sa fie pre&atite pentru ne'oile mana&ementului: consolidare) totali!are) sumari!are) impac$etare etc(

;i&ura 1: .omponentele soft1are ale depo!itelor de date atele detaliate sunt cele relati' recente) li'rate utili!atorilor) de re&ula la ni'el de e+ecutie( -ot aici se &asesc date a'end o anumita 'ec$ime) de cati'a ani) in forma detaliata( .onstruirea depo!itului de date) pornind de la sursele de date presupune parcur&erea urmatoarelor detalii: - e+tra&erea datelor din datele operationale si transformarea lor in formatul si structura datelor din depo!itul de date5 - filtrarea datelor) pentru 'erificarea corectitudinii datelor5 - incarcarea datelor corecte in depo!itul de date5 - a&re&area datelor: totaluri precalculate) su*totaluri) 'alori medii) care se preconi!ea!a ca 'or fi cerute de utili!atori( Realizarea depozitelor de date <eali!area unui depo!it de date presupune aplicarea unei sc$eme de anali!a economica pentru a determina masura inc are depo!itul de date este necesar si eficient: - tre*uie sa furni!ese a'anta,e competiti'e5 - poate determina cresterea producti'itatii5 - facilitea!a &estiunea relatiilor cu clientii5 - determina reducerea costurilor prin e'identierea tendintelor) directiilor si e+ceptiilor pe perioade lun&i de timp( In continuare sunt pre!entate cate'a 'i!iuni in ceea ce pri'este reali!area unui depo!it de date: - de sus in ,os " top 4 do1n 'ie1% permite selectarea informatiilor rele'ante necesare in depo!itul de date5 - datele sursa " data source 'ie1% e+prima informatiile culesa) stocate si &estionate de sistemele operationale( - depo!itele de date " data 1are$ous 'ie1% are in 'edere ta*ele de fapte si ta*ele dimensiune si repre!inta informatiile care sunt stocate in depo!itele de date) inclu!and contori!ari si totaluri precalculate) precum si informatii pri'itoare la sursa) data calendaristica) ori&ine) adau&ate pentru a furni!a conte+tul istoric5 - intero&are "*usiness =uer> 'ie1% ofera o perspecti'a din punctul de 'edere al utili!atorului5 .a si metodolo&ii de lucru in procesul de proiectare si implementare a sistemelor cu depo!ite de date cele mai utili!ate sunt: de sus in ,os " top - do1n% si de ,os in sus " *ottom- up%( Implementarea depo!itelor de date presupune parcur&erea mai multor etape: 1% definirea ariei de cuprindere5 2% crearea planului de implementare pentru 'ersiunea curenta5 0% implementarea propriu-!isa a depo!itului de date5 9% sta*ilirea sc$emei depo!itului de date5 :% construirea metadatelor depo!itului de date5 6% modul de acces la date ?% incarcarea depo!itului de date5

8% instruirea *eneficiarului5 @% testarea depo!itului de date5 !roduse soft"are pentru lucrul cu depozite de date Ma,oritatea firmelor producAtoare de soft1are pentru *a!e de date s-au orientat cAtre implementarea unui modul specific depo!itelor de date) BnsA Bn topul preferinCelor se aflA 6racle #are$ouse Builder) aparCinDnd companiei 6racle si SE7 Anal>sis Mana&er) produs de Microsoft( Aceste douA instrumente *eneficia!A de e+perienCa Fi puterea financiarA a companiilor producAtoare Fi au reuFit sA se impunA pe piaCA ca soluCii 'ia*ile( Modulele principale pe care le poate folosi de!'oltatorul Bn proiectarea depo!itului de date se referA la: - sta*ilirea surselor de date: *a!e de date de pe ser'erul compati*il sau dintr-o altA sursA a&reatA5 - sta*ilirea ta*elelor de fapte: cDmpuri) c$ei) mAsuri etc(5 - sta*ilirea dimensiunilor din depo!itul de date: ierar$ii) surse de date5 - sta*ilirea 'alorilor calculate Fi a a&re&Arilor5 - sta*ilirea drepturilor de utili!are Fi a politicilor de securitate pri'ind accesul( E'oluCia continuA a acestor produse soft1are se concreti!ea!A Bntr-o utili!are din ce Bn ce mai facilA5 de e+emplu) utili!atorul poate &estiona 'i!ual diferite elemente precum mAsuri) ierar$ii) dimensiuni) 'alori a&re&ate( e asemenea) aceste produse permit utili!atorului &estionarea facilA a metadatelor) orice modificare efectuatA asupra structurii depo!itului fiind reflectatA Bn cadrul secCiunii de metadate( 1% 6racle Business Intelli&ence isco'erer este o interfata interacti'a de intero&are) anali!a) raportare si de pu*licare #EB) care ofera utili!atorilor acces rapid la informatii( ;acilitatile oferite de 6racle BI isco'erer pot fi &rupate din doua puncte de 'edere: al afacerii si al te$nolo&iei utili!ate( in punct de 'edere al afacerii) interfata 6racle BI isco'erer ofera : - ascunde comple+itatea structurii datelor5 - a,uta utili!atorul sa se concentre!e pe re!ol'area pro*lemelor5 - ofera o solutie inte&rata si completa de Inteli&enta Afacerii5 in punctul de 'edere al te$nolo&iilor utili!ate) 6racle BI isco'erer permite: - re&asirea datelor intr-o *a!a de date relationala sau multidimensionala5 - accesarea datelor rapid si eficient) fara a fi necesara o cautare in toate *a!a de date5 - 'i!uali!are datelor intr-un format a&reat de utilia!atori5 - anali!a comple+a a datelor5 - cautarea datelor dupa anumite conditii simple sau comple+e5 - ordonarea datelor dupa anumite c$ei5 - construirea de rapoarte de diferite tipuri si afisarea lor5

parta,area datelor intre diferiti utili!atori sau intre diferite aplicatii informatice care rulea!a su* diferite sisteme5 2% 6racle #are$ouse Builder "6#B% - 6#B permite proiectarea Fi construirea depo!itelor de date) a centrelor de date "data mart% Fi a aplicaCiilor BI "Business Intelli&ence% - 6#B conCine un set de instrumente &rafice care asistA utili!atorul Bn proiectare) pentru crearea o*iectelor memorate Bntr-un spaCiu de lucru "1or2space% memorat Bn *a!a de date 6racle - -oolset-ul esi&n .enter permite importul o*iectelor sursA Fi proiectarea proceselor E-7 Fi a o*iectelor de corespondenCA "mappin&% - 8n mappin& "mapare% defineFte un flu+ de date de la sursA la depo!itul CintA "tar&et 1are$ouse% - 6#B &enerea!A codul pentru e+tra&erea) transferul Fi BncArcarea datelor "procesul E-7% --oolset-ul <epositor> Bro1ser asi&urA o interfaCA #e* pentru inspectarea metadata din depo!it - .ontrol .enter Ser'ice 4 controlea!A deplo>mentul *a!ei de date tar&et -Sc$ema depo!itului creat "target schema% conCine: codul &enerat) cu*urile) dimensiunile) ta*elele) 'ederile) mapArile Fi pac$etele care e+ecutA procesul E-7 0% Microsoft SE7 Ser'er 2000 Anal>sis Ser'ices include Anal>sis Mana&er) o aplicatie consola) care ofera o interfata utili!ator pentru accesarea ser'erelor de anali!a si re&istrele lor de metadate( Anal>sis Mana&er poate fi utili!at pentru: - administrarea ser'erelor de anali!a( Mai multi utili!atori pot administra un ser'er5 - crearea de *a!e de date si depo!ite de date din surse de date specifice5 - construirea si procesarea de cu*uri( .u*urile sunt descrise de dimensiuni Fi conCin mAsuri ale datelor care ne interesea!A( Gntr-o implementare relaCionalA cu*ul este reali!at ca o ta*elA relaCionala) Bn timp ce Bn mediul 67A3 cu*ul este creat ca o structurA separatA( - specificarea optiunilor de stocare si optimi!area performantei intero&arilor5 - mana&ementul securitatii5 - cauta surse de date) roluri de securitae si alte o*iecte( 6 comparaCie Bntre *a!ele de date Fi depo!itele de date pune Bn 'aloare rolul depo!itelor de date) ca model de or&ani!are Fi sursA suport de informaCii pentru fundamentarea deci!iei( Atat *a!ele de date cat Fi depo!itele de date sunt structuri lo&ice de or&ani!are de date) e+ploatea!A te$nolo&ii informatice de or&ani!are Fi &estiune de date diferite Fi Bnma&a!inea!A mari cantitACi de date( iferenCele semnificati'e Bntre cele douA modele de or&ani!are lo&icA de date pot fi structurate astfel: - Ba!ele de date din sistemele informatice conCin date curente) detaliate) care sunt actuali!ate Fi intero&ate Bn aceleaFi perioade cu cule&erea Fi procesarea lor Fi fac o*iectul sistemelor informatice de prelucrare a tran!acCiilor "-3S%( epo!itele de date sunt construite special ca sisteme suport de asistare a deci!iei Fi au ca o*iecti' re&ruparea Fi consolidarea

datelor) a&re&area Fi sinteti!area lor) reor&ani!area Fi stocarea informaCiilor pro'enite din surse di'erse Fi 'ariate de date inclusi' date multimedia) $ipermedia Fi de locali!are spaCialA Fi fac o*iectul sistemelor informatice inteli&ente 4 sisteme suport de asistare a deci!iei " SS%( Ele se aplicA asupra unor 'olume foarte mari de date) etero&ene) constituite ca depo!ite de istoric/ar$i'A de date Fi presupun calcule comple+e "anali!A de tendinCA) corelaCii Bntre e'enimente) asociaCii intre anumite fapte) sec'enCe) tipare de comportament) modele de cunoaFtere% 5 Sistemele de &estiune a *a!elor de date sunt adec'ate aplicaCiilor curente de &estiune Fi ser'esc la crearea Fi BntreCinerea sistemelor de *a!e de date tran!acCionale 67-3 "6n7ine -ransaction 3rocessin&% Fi au ca o*iecti' e+ecuCia Bn timp real a tran!acCiilor !ilnice "apro'i!ionare) 'Bn!ari) stocuri) producCie) decontAri) plAti) acti'itACi de mar2etin& Fi mana&ement) conta*ilitate% cDt Fi a procedurilor de intero&are "Euer>%( Sistemele de &estiune a depo!itelor de date) pe de altA parte) ser'esc top mana&erii) mana&erii) utili!atorii sau specialiFtii Bn domeniul anali!ei Fi fundamentArii deci!iei) fac o*iectul sistemelor informatice 67A3 "6n7ine Anal>tical 3rocessin&% Fi oferA te$nolo&ii de a&re&are a datelor stocate Bn depo!itele de date Bntro a*ordare multidimensionalA) cu acces rapid la informaCiile necesare) Bntro manierA consistentA) interacti'A Fi foarte fle+i*ilA5 8n sistem 67-3 este centrat pe client "customer oriented% Fi este utili!at pentru procesarea tran!acCiilor Fi intero&Arilor din *a!ele de date constituite operaCional) *a!e care pot oferi rAspunsuri la Bntre*Ari de tipul .ineH) .eH) 8ndeH) .DndH prin anali!a datelor de tip numeric sau statistic( 8n sistem 67A3 este orientat spre piaCA "ma2et oriented% Fi este utili!at de mana&eri) analiFti) specialiFti prin instrumente ;ASMI ";ast Anal>sis S$ared Multidimensional Information% de anali!a rapidA a informaCiei multidimensionale distri*uitA Bn locaCii multiple Fi accesi*ilA Bn acelaFi timp unui numAr mare de utili!atori pentru anali!e comple+e prin a&re&are) sinteti!are) consolidare Fi care permit construirea de scenarii) prin posi*ilitatea de a rAspunde la Bntre*Ari de tipul I.e ar fi dacAHJ pentru a descoperi Bntre e'enimente) asociaCii Bntre anumite fapte) sec'enCe Fi tipare de comportament5 -e$nolo&iile 67A3 utili!ea!A *a!ele de date multidimensionale) construite de re&ulA din date de istoric sau date care pro'in de la diferite or&ani!aCii )inte&rDnd informaCii din surse etero&ene) de tipuri Fi naturi diferite( -e$nolo&iile 67-3 utili!ea!A *a!e de date relaCionale) care sunt *idimensionale prin definiCie) fiind focali!ate pe datele curente dintro or&ani!aCie sau departament fArA a referi date istorice sau date din alte or&ani!aCii(

!rocesarea in-memory E+istenta *usiness-urilor care solicita accesul rapid si usor la informatii in scopul de a lua deci!ii corecte si rapide a dus la aparitia te$nolo&iei procesarii in-memor>) o

te$nolo&ie in curs de de!'oltare) dar care se *ucura de o atentie deose*ita( Aceasta te$nolo&ie permite utili!atorilor sa ai*a acces imediat la informatiile ce pro'in din diferite parti( In te$nolo&a Business Intelli&ence traditionala) datele sunt incarcate si sal'ate pe disc su* forma ta*elelor) *a!elor de date) depo!ite de date etc( iar apoi sunt procesate prin intero&ari( 8tili!area te$nolo&iei in-memor> presupune incarcarea datelor in <AM "<andom Access Memor>% in loc de $ard dis2 si) prin urmare timpul de procesare a datelor scade semnificati'( ;iecare calculator are doua tipuri de mecanisme de stocare a datelor 4 pe $ard dis2 si in memoria <AM( .omputerele moderne au un spatiu de sal'are pe disc mult mai mare decat in <AM) dar citirea datelor se face mult mai lent "de sute de ori mai incet% mai ales cand este 'or*a de citirea datelor de dimensiuni foarte mari) cum sunt depo!itele de date( -e$nolo&iile traditionale *a!ate pe lucrul cu $ard dis2ul sunt cunoscute si ca sisteme de mana&ement al *a!elor de date relational) cum ar fi SE7 Ser'er) M>SE7) 6racle si multe altele( < MS"<elational ata*a!e Mana&ement S>stems% sunt concepute sa pastre!e in memorie procesele tran!actionale( 7ucrand cu o *a!a de date care suporta atat adau&ari) modificari cat si a&re&ari de date) procese de ,onctiune toate acestea nu pot fi reali!ate simultan( e asemenea SE7"Structured Euer> 7an&ua&e% este conceput pentru a prelucra eficient randuri de date) in timp ce procesele de Business Intelli&ence implica prelucrarea partiala a unor date si efectuarea in acelasi timo de calcule &rele( Aparitia *a!elor de date centrate pe coloana a determinat stocarea mult mai eficienta a datelor) aparand astfel posi*ilitatea stocarii datelor in memoria <AM( .u *a!a de date in memorie) toate informatiile sunt incarcate initial in memorie( .ele mai multe instrumente de procesare in-memor> folosesc al&oritmi de compresie care reduc dimensiunea de datelor stocate( 8tili!atorii intero&$ea!a datele incarcate in memoria sistemuli) e'itandu-se astfel accesarea *a!ei de date care duce la in&reunarea procesului( Acest lucru este diferit de lucrul cu memoria cac$e) o metoda foarte utili!ata pe scara lar&a pentr a accelera performantele de intero&are) in care cac$eurile sunt !one de memorie in care sunt plasate su*seturi de date( 8tili!and instrumentele de procesare in-memor>) datele pentru anali!a pot fi foarte mari) or&ani!ate in depo!ite de date) concentrari de date sau depo!ite mai mici de date aflate in intre&ime in memorie( Aceste structuri de date pot fi accesate in termen de cate'a secunde de utili!atori concurenti pentru diferite intero&ari( -eoretic e+ista o crestere a 'ite!ei de acces la date de la 10(000 la 1(000(000 de ori fata de accesarea si procesarea datelor aflate pe disc( ;actori care au determinat aparitia produselor de procesare in-memor> sunt: - aparitia $ard1are-ului mai ieftin si cu performante ridicate( .onform le&ii lui Moore) puterea de calcul se du*lea!a la fiecare doi sau trei ani) in timp ce costurile scad( Ino'atiile $ard1are) cum ar fi ar$itectura multi-core) ser'ere de procesare paralela) capacitedea de procesare mai mare in memorie si aparitia soft1are-lui *a!at pe *a!e de date orientat pe coloane si te$nici de compresie si de manipulare a ta*elelor a&re&ate au condus la de!'oltarea tot mai accentuata a produselor de procesare in-memor>( - Sistemele de operare pe 69 *iti( Aparitia la scara tot mai lar&a a procesoarelor puternice si a sistemelor de operare pe 69 *iti a dus la de!'oltarea procesarii in-memor>( Sistemele de operare pe 69 *iti permit accesul mult mai mult la memoria <AM"pana la 100 GB <AM% fata de 2-9 GB <AM la sistemele pe 02 *iti(

10

Volumele mari de date nu mai pot fi sal'ate in depo!ite de date traditionale( 3rocesele E-7 care actuali!ea!a periodic depo!itele de date pot dura de la cate'a ore pana la saptamani pentru 'olume foarte mari de date( 3rocesarea in memorie facilitea!a accesul imediat la tera*>tes de date pentru raportarea in timp real( - .osturi reduse( 3rocesarea in-memor> este disponi*ila pentru preturi relati' mici) iar produsele pot fi usor instalate si intretinute in comparatie cu produsele traditionale de BI( .onform unui sonda, Gartner) implementarea solutiilor de BI traditionale poate dura 1? luni( Multi comercianti de produse pentru reali!area depo!itelor de date ale& implementarea procesarii inmemor> in sc$im*ul BI traditional pentru a diminua timpul de implementare( - .omerciantii de ser'icii de procesare in-memor> ofera posi*ilitatea conectarii la surse de date e+istente si pun la dispo!itie ta*louri de *ord interacti'e pentru utili!atori si analistii de *usiness( Ka'i&area usoara si posi*ilitatea reali!arii rapide a di'erselor intero&ari este un factor ce atra&e multi utili!atori( 8tili!and te$nolo&ia de procesare in-memor> sursa de date este accesata o sin&ura data in loc de accesarea acesteia la fiecare intero&are) reducandu-se astfel sarcinii ser'erelor de *a!e de date( Securitatea tre*uie sa fie tratata ca un punct foarte important in momentul implementarii unei solutii de procesare in-memor>) deoarece se e+pun cantitati imense de date utili!atorilor finali( -re*uie sa se ai*a &ri,a cine are acces la aceste date) unde si cum sunt aceste date stocate( 8tili!atorii finali descarca 'olume imense de date pe calculatoare proprii unde acestea pot fi modificate sau pierdute( -re*uie luate masuri pentru a asi&ura accesul la date doar pentru utili!atorii autori!ati( !rocesarea in-memory pentru depozite de date epo!itele de date sunt folosite pentru a stoca 'olume mari de date pentru anali!a( Acestea colectea!a date dintr-o 'arietate de surse si stoc$ea!a datele astfel incat sa fie disponi*ile pentru o mare 'arietate de intero&ari( 3otri'it unor ar$itecturi) imediat dupa ce datele sunt primite si prelucrate de un depo!it de date) acestea sunt stocate intr-un sistem de mana&ement al *a!elor de date( e e+emplu depo!itul de date poate fi o aplicatie soft1are care operea!a pe unul sau mai multe computere( 7a diferite puncte de timp in prelucrarea datelor) depo!itul de date poate interfera cu un sistem de mana&ement al *a!elor de date pentru a stoca date intr-o anumita ta*ela( -a*elele accesate de depo!itul de date in momentul unei cereri sunt o ta*ela acti'a si ta*ela de lo& a respecti'ei *a!e de date( -a*ela acti'a poate stoca 'alori de date) care sunt curente) la un anumit moment) pe cand) ta*ela de lo& stoc$ea!a modalitatea in care datele au fost sc$im*ate in timp( 6 pro*lema cu ar$itectura pre!entata o repre!inta inter*alul de timp asociat cu accesarea datelor stocate in ta*elele sistemului de *a!e de date( e fiecare data cand este primita o inre&istrare) datele sunt citite din ta*elul de date acti' in *a!a de date si incarcate in depo!itul de date ce face cererea( 3rocesarea in-memor> a depo!itelor de date presupune stocarea intr-o structura de *a!e de date a datelor din depo!ite de date) aceste *a!e de date aflandu-se in memoria <AM( atele primite de la depo!itul de date poti fi stocate intr-o coada si incarcate in

11

strucura de stocare a datelor in conformitate cu re&uli presta*ilite( atele stocate sunt asociate cu tran!actii in memorie) iar datele ce urmea!a a fi preluate sunt comparate cu datele care au fost de,a stocate( Se reali!ea!a astfel o mapare pentru asocierea cererilor aplicate de depo!itul de date cu tran!actiile de *a!e de date din memorie(

;i&ura 2: 3ocesarea in-memor> a depo!itelor de date ;i&ura ilustrea!a un depo!it de date si o *a!a de date in memorie( In acest e+emplu) o aplicatie cu depo!ite de date "001% depo!itea!a date de la o *a!a de date stocata in memorie "010%( -a*elul 1 pre!inta un e+emplu de trei inre&istrari de date de la "002% sursa de date care urmea!a sa fie stocata in *a!a de date din memorie"010%( <ecord num*er .ustomer Amount <ecord mode 1 A*c co 10 Ke1 2 L>! co : Ke1 0 Aaa co 6 Ke1 -a*elul 1 ;iecare inre&istrare de date contine un numar de inre&istrare) client) suma si mod de inre&istrare( 12

Aplicatia pentru depo!ite de date "001% poate stoca datele de la sursa de date"002% folosind unul sau mai multe cereri de date"000%( ;iecare cerere de stocare a datelor poate a'ea atri*uit un identificator unic"de e+emplu un numar% de catre aplicatia pentru depo!itul de date"001%( In acest e+emplu) in *a!a de date din memorie"010% sunt stocate datele din depo!itul de date al aplicatiei "001% intr-o structura de tip coada"009%( In acest e+emplu coada poate fi stocata ca o coloana din ta*ela) dar in alte e+emple pot fi folosite alte structuri pentru sal'area acesteia) cum ar fi ta*ele relationale sau o*iecte( 3rin urmare) cele trei inre&istrari din ta*ela 1 sunt stocate in coada de asteptare 009 dupa cum se arata in ta*elul 2) de mai ,os( -ransferul de date de la depo!itul de date al aplicatiei "001% la coada de mesa,e"009% poate fi efectual utili!and o sin&ura cerere de stocare a datelor sau mai multe( In e+emplul dat) cele trei inre&istrari sunt stocate in coada folosind o sin&ura cerere) careia ii este atri*uit un numar de cerere".E<E<E M1%( 3e masura ce fiecare inre&istrare din ta*ela este stocata in coada de asteptate) numarul de cerere care produce inre&istrarea se inre&istra!a in ta*elul 2( <e=uest <ecord num*er .ustomer Amount <ecort mode 1 1 A*c co 10 Ke1 1 2 L>! co : Ke1 1 0 Aaa co 6 Ke1 -a*elul 2( Ba!a de date din memorie"010% mai include o strucura de stocare a datelor"00:%( In acest e+emplu) aceasta structura de stocare"00:% este de asemenea un ta*el( -a*elul 0 arata sc$ema pentru strucutura de stocare 00:( 3entru moti'e ilustrati'e) ta*elul 0 este pre!entat initial ca fiind &ol: .ustomer Amount NcidOfromN NcidOtoN -a*elul 0( Structura de stocare 00: poate stoca 'alori de la inre&istrarile de date primite de la aplicatia pentru depo!itul de date"001%) de e+emplu coloanele client si suma au fost preluate( Inre&istrarile de date primite de la aplicatia pentru depo!itul de date pot fi de asemena manipulate folosinduse re&uli de codficare "0:1%( .ampul NcidOfromN din ta*elul 0 stoc$ea!a o 'aloare unica in *a!a de date din memorie"00:%( eoarece datele sunt stocate intr-o structura de date) numarul de tran!actie care a cau!at stocarea datelor 'a fi stocat in campul INcidOfromNJ( .ampul NcidOtoN sal'ea!a in ta*ela un identificator unic cau!at de modificarea in structura de stocare"00:% a datelor e+istente( Modificari pot sa apara cand noi 'alori pentru datele stocate e+istente sunt inre&istrat sau cand sunt sterse o parte din date( In consecinta) datele sunt 'alide la numarul de tran!actie din campul IfromJ pentru toate tran!actiile de *a!e de date din memorie) pana la numarul de tran!actie din campul ItoJ(Semnul N indica faptul ca aceste campuri poti fi ascune in unele implementari( Ba!a de date din memorie"010% include o structura de date de carto&rafiere) mapare"006% care poate fi repre!entata tot printr-o ta*ela -P ta*ela 9( <e=uest NcidOfromN -a*elul 9( Atunci cand datele sunt transferate de la coada"009% la structura de stocare"00:%) 006 asocia!a cererile reali!ate de aplicatia pentru depo!itul de date "001% cu tran!actiile reali!ate in *a!a de date stocata in memorie"00:%( In acest e+emplu) 006) mappin& include un camp Ire=uestJ si unul INcidOfromNJ( .ampul Ire=uestJretine Ire=uest

10

num*erJ din depo!itul de date asociat cu fiecare record din coada de mesa,e( Aceste informatii pot fi utili!ate pentru a furni!a depo!itului de date datele modificate( In unele implementari) datele poti fi transferate de la coada de asteptare "009% la structura de stocare"00:% ca raspuns la un semnal e+tern) cum ar fi semnalul de acti'are"0:0% care este primit in *a!a de date din memorie de la depo!itul de date al aplicatiei pentru a comite o cerere asupra datelor aflate in *a!a de date din memorie( <e=uest .ustomer Amount <ecord mode -a*elul :( .ustomer Amount NcidOfromN NcidOtoN IBM 10 ?:0 SA3 : ?:0 Q3 6 ?:0 -a*elul 6 <e=uest NcidOfromN 1 ?:0 -a*elul ? Asa cum am ilustrat in ta*lul 6) dupa acti'are) datele de la coada"009% sunt incarcate in structura de stocare"00:%) coada poate sa fie &olita si se reali!ea!a o mapare pentru asocierile dintre tran!actii si cererile reali!ate de depo!itul de date) asocieri sal'ate in ta*elul de mapare( <e&ulile pre!entate mai sus sunt doar cate'a e+emple cum depo!itele de date sunt procesate in memorie( 3entru recuprarea datelor) aplicatia pentru depo!itul de date"001% poate &enerea si trimite o cerere de recuperare a datelor "00@% catre *a!a de date din memorie"010%( <ecuperarea datelor"00@% poate fi folosita pentru a e+tra&e datele din *a!a de date inmemor>"010% intr-un format de date acceptat de depo!itul de date( In acest e+emplu) aplicatia pentru depo!itul de date"001% foloseste o 'i!iune"008% care poate declansa o sc$im*are a calculului 'alorilor din *a!a de date pe *a!a unui script rulat tot inmemor>"00?%( Scriptul de calcul citeste datele acti'e stocate in *a!a de date inmemor>"00:%) calculea!a 'alorile corespun!atoare si intoarce 'alorile catre 'i!iune"008%( Concluzii 3e *a!a articolelor parcurse in reali!area acestui referat consider ca te$nolo&ia de procesare a depo!itelor de date in-memor> repre!inta un mare pro&res te$nolo&ic in domeniul informaticii si fiind o solutie relati' noua permite di'erse a*ordari si posi*ilitatea aparitiei de im*unatatiri( 3lusul adus de aceasta te$nolo&ie domeniului Iconsta in reducerea timpului de prelucrare a cantitatilor mari de date ceea ce duce la usurarea muncii depuse de an&a,ati si o*tinerea re!ultatelor necesare in timp record( omeniul inteli&entei afacerilor este un domeniu care are ne'oie de sisteme care sa reali!e!e rapid intero&ari si sa raspunda cerintelor comple+e in timpi redusi fiind un domeniu in care timpul este foarte important( Astfel de sisteme sunt cele *a!ate pe procesarea in-memor> a datelor) *a!ate pe aducerea cat mai aproape de unitatea centrala de procesare a datelor ce tre*uiesc prelucrate( <ecorn num*er

19

'i(liografie

$ttp://111(accenture(com/us-en/*lo&s/anal>tics/arc$i'e/2012/11/01/$o1-t$e-data1are$ouse-e'ol'ed-into-in-memor>-$ana(asp+ $ttp://en(1i2ipedia(or&/1i2i/In-Memor>O3rocessin& $ttp://111(freepatentsonline(com/201202:@80@(pdf $ttp://111(freepatentsonline(com/>2012/02:@80@($tml $ttp://111(editurauranus(ro/mar2etin&-online/12/pdf/9(pdf $ttp://111(cio(com(au/article/0?0@9:/in-memor>Ocomputin&/

andrei.clubcisco.ro/.../f/f.../Depozite_de_date.ppt

$ttp://111:9(sap(com/solutions/tec$/data-1are$ousin&/soft1are/net1ea'er-*usiness1are$ouse/inde+($tml $ttp://msdn(microsoft(com/en-us/li*rar>/aa1?8261"'Ms=l(80%(asp+

1: