Fluxuri de date folosind sistemul OLAP

(Procesare analitică online)

Creșterea explozivă a surselor de date în timp real, așa-numitele „fluxuri de date” (sau
doar „fluxuri”) și creșterea mandatelor pentru analiza în timp real a fluxurilor dau naștere la
analiza în timp real a acestora. Cu toate acestea, dezvoltarea de sisteme personalizate pentru
astfel de aplicații nu este întotdeauna de dorit din cauza costurilor de dezvoltare ridicate și a
perioadelor lungi de dezvoltare. Permite utilizatorilor să efectueze o analiză OLAP pe fluxuri
pentru ultima perioadă de timp, numită Interval de interes (IoI). Sistemul între timp
procesează mai multe interogări de tip interogare continuă care corespund diferitelor niveluri
de agregare în rețea. Pentru a acoperi nivelurile de agregare arbitrare, folosind memoria
sistemului limitat, se propune sa se implementeze parțial interogări SQL pentru cele cu
frecvențe de referință mai mari, în timp ce rezultatele sunt calculate dinamic folosind
rezultatele agregării existente cu ajutorul motorului OLAP. Pentru implementarea optimă a
interogărilor SQL, se propune o metodă de optimizare bazată pe cost care să maximizeze
performanța. Rezultatele experimentale arată că arhitectura propusă este suficient de fezabilă
pentru a realiza fluxul OLAP combinând un SPE și un motor de cautare OLAP.
OLAP (procesare analitică online) este o metodă de calcul care permite utilizatorilor
să extragă și să interogheze cu ușurință și selectiv date pentru a le analiza din diferite puncte
de vedere. Interogarile despre informații de afaceri OLAP ajută adesea la analiza tendințelor,
raportare financiară, previziune de vânzări, bugetare și alte scopuri de planificare.
De exemplu, un utilizator poate solicita ca datele să fie analizate pentru a afișa o foaie
de calcul care arată toate biciceltele unei companii vândute în Cluj-Napoca în luna aprilie, să
compare cifrele de venit cu cele pentru aceleași produse în septembrie și apoi să vadă o
comparație cu alte vânzări de produse în Cluj-Napoca în aceeași perioadă de timp.
 Introducere

Datorită proliferării rapide a dispozitivelor mici, ieftine și ieftine, atașate la rețea, a

devenit ușor să obțineți informații din lumea reală în timp real din diferite tipuri de surse de
informație. De asemenea, a devenit posibilă informația de pe internet și de la diverse servicii
de rețele sociale în timp real. O astfel de apariție a fluxurilor de date a dat naștere unui nou
paradigm de interogare fluxuri de date de interzicere a interogărilor, iar prelucrarea datelor de
flux a fost studiată pe larg în ultimul deceniu.
Între timp, în multe aplicații, incluzând inteligența de afaceri, monitorizarea rețelei
etc., a devenit din ce în ce mai important să le permită utilizatorilor să ia decizii instantanee
care să utilizeze cele mai noi informații pentru îmbunătățirea profitului, permițând creșterea
timpurie și așa mai departe. În acest scop, trebuie să integrăm informațiile din informații
eterogene și dinamice și să le agregăm la diferite niveluri de detalii din perspective diferite.
Din păcate, acest lucru nu poate fi realizat prin procesarea simplă a interogărilor basic, în
lipsa de capacitate a fluxurilor date. În schimb, avem nevoie de o metodă mai sofisticată
pentru analiza fluxurilor.
O abordare posibilă pentru acest tip de analiză este aceea de a aplica OLAP, un bine-
cunoscut analizator multidimensional, pentru a face posibila analiza pe fluxuri. Din acest
motiv, cercetătorii s-au adresat analizei OLAP pe fluxuri (denumite în continuare OLAP). În
mod specific, nu putem pur și simplu să aplicăm sistemele OLAP existente la fluxuri în
funcție de caracteristicile fluxurilor, adică fluxurile nelimitate de tupluri ajung în mod
continuu (posibil) la venituri mari, iar sistemul trebuie să calculeze agregările la
granularitățile cu varfuri multiple. Prin urmare, trebuie să dezvoltăm sisteme dedicate pentru
fluxul OLAP.
Totuși, dezvoltând un sistem la comandă, în costuri de dezvoltare ridicate, precum și
în perioada de dezvoltare îndelungată, ceea ce este dificil în multe cazuri. Între timp, până în
prezent, diverse produse software off-raft au fost eliberate pentru procesarea fluxurilor. În
plus, OLAP-ul convențional pentru date statice a fost studiat intens în documente, și există
multe produse de la principalii furnizori de baze de date, de exemplu, Microsoft, Oracle, IBM
și Teradata, precum și produse open source precum Mondrian1. În mod evident, este de
preferat dacă putem construi un flux OLAP care exploatează parțial produsele software
existente ca componente. Această abordare este benefică în multe feluri: 1) putem economisi
timp și costuri pentru dezvoltarea de software, reducând la minimum volumul de coduri de
dezvoltat; 2) ne putem bucura de tehnici / algoritmi sofisticate ca părți ale proiectelor
existente, care de obicei sunt greu de programat; și 3) putem încerca diferite combinații de
componente, ținând cont de caracteristicile produselor.

Cum functioneaza sistemele OLAP

Pentru a facilita acest tip de analiză, datele sunt colectate din mai multe surse de date
și stocate în depozite de date, apoi curățate și organizate în cuburi de date. Fiecare cub OLAP
conține date clasificate pe dimensiuni (cum ar fi clienții, regiunea de vânzare geografică și
perioada de timp) derivate de tabele dimensionale în depozitele de date. Dimensiunile sunt
apoi populate de membri (cum ar fi numele clienților, țări și luni) care sunt organizate
ierarhic. Cuburile OLAP sunt deseori rezumate pe dimensiuni pentru a îmbunătăți drastic
timpul de interogare în baza de date relaționale.

Analiștii pot efectua apoi cinci tipuri de operații analitice OLAP pe baza acestor baze
de date multidimensionale:

 Roll-up (Rulează) - Cunoscută și sub denumirea de consolidare sau perfecționare,

această operație rezumă datele de-a lungul dimensiunii.
 Drill-down - Acest lucru le permite analiștilor să navigheze mai adânc printre
dimensiunile datelor, de exemplu, de la „perioada de timp” la „ani” și „luni” pentru a
afisa grafic creșterea vânzărilor pentru un produs.
 Slice (Felie) - Acest lucru permite unui analist să ia un nivel de informații pentru
afișare, cum ar fi „vânzări în 2019”.
 Dice (Zaruri) - Acest lucru permite unui analist să selecteze date din dimensiuni
multiple pentru a fi analizate, cum ar fi „vânzările de biciclete montain în Cluj-
Napoca în 2019”.
 Pivot (Pivot) - Analistii pot obține o vizualizare nouă a datelor prin rotirea axelor de
date ale cubului.

Software-ul OLAP localizează apoi intersecția de dimensiuni, cum ar fi toate

produsele vândute în regiunea de est peste un anumit preț într-o anumită perioadă de
timp și le afișează. Rezultatul este „măsura”; fiecare cub OLAP are cel puțin una până
 la sute de măsuri, care provin din informațiile stocate în tabelele de fapt în depozitul
de date.

Fig.1 (Procesele OLAP)

Dupa cum se poate observa in Fig.1, OLAP începe cu date acumulate din mai multe
surse și stocate într-un depozit de date. Datele sunt apoi curățate și stocate în cuburi OLAP,
cu care utilizatorii execută interogări.

Tipuri de sisteme OLAP

Sistemele OLAP (procesare analitică online) se încadrează de obicei într-unul din cele
trei tipuri:
  OLAP multidimensional (MOLAP) este OLAP care se indexează direct într-o bază de
date multidimensională.

 Relațional OLAP (ROLAP) este OLAP care realizează o analiză multidimensională

dinamică a datelor stocate într-o bază de date relațională.

 OLAP hibrid (HOLAP) este o combinație de ROLAP și MOLAP. HOLAP a fost

dezvoltat pentru a combina capacitatea mai mare de date a ROLAP cu capacitatea
superioară de procesare a MOLAP.

In concluzie, procesarea analitică online (OLAP) este o tehnică care permite analiza
interactivă asupra datelor multidimensionale facilitand astfel utilizatorilor sa execute
interogari intr-un mod mai eficient si mai rapid avand acces la un numar vast de fluxuri de
date.