Documente Academic
Documente Profesional
Documente Cultură
LABORATOR NR.2
RAPORT
La disciplina: MBDC
Chișinău 2021
Cuprins:
2.1. Formularea sarcinii si scopului Proiectului pentru crearea unui SI a sarcinii abordate.
Formularea cerințelor de bază...................................................................................................3
2.5. Concluzii...........................................................................................................................16
Bibliografie..............................................................................................................................17
Capitolul 2. Proiectarea și crearea unui Depozit de Date
În acest capitol vor fi descrise etapele de conceptualizare, creare și modelarea a unei
baze de date operaționale, care, în continuare, va simplifica procesul de creare a unui depozit
de date. Astfel încât având drept punct de pornire o bază de date, poate constitui un bun start
pentru creare unui depozit. De asemenea această metamorfoză va permite înțelegerea mai
bună a unor diferențe dintre aceste două formate de stocare a datelor.
Tema proiectului fiind compania internațională de transport de mărfuri, scopul și
sarcina acestuia vor fi concepute în corespondență cu necesitățile acestui domeniu. Pașii
principali pentru proiectare sunt modelarea conceptuală, logică și fizică. Aceștia definesc
cursul viitor al proiectului.
Instrumentul informatic precum baza de date poate servi benefic pentru a întreprinde
primii pași spre găsirea soluției de transport de mărfuri la nivel internațional, care pare să
devină una dintre cele mai proeminente probleme ale întreprinderilor de producere și export.
Astfel, cu ajutorul instrumentelor inovative, va fi posibilă stocarea eficientă şi structurată a
datelor, după care urmează prelucrarea lor în dependență de cerințele stabilite. O bază de date
permite ca accesul la date să fi efectuat solicitând cost minim de la utilizatori/administratori,
în schimb oferind maximă informație. Crearea unei baze de date trebuie să aibă premise şi
sarcini clar stabilite. Pentru a implementa BD în domeniul solicitat studiului este nevoie să se
stabilească schema BD.
Model ER este reprezentarea într-o formă grafică a entităților care sunt conectate
prin relații și care exprimă asocierile și dependențele dintre entități. Entitățile pot fi
caracterizate nu numai prin relații, ci și prin proprietăți suplimentare (atribute), care includ
identificatori numiți „chei primare”. Diagramele create pentru a reprezenta atribute, precum
și entități și relații pot fi numite diagrame entitate-atribut-relație, mai degrabă decât modele
entitate-relație.
În figura 2.3 este prezentată diagrama ER a companiei internaționale de transport de
mărfuri. Aceasta cuprinde 6 tabele (Producători, Transportatori, Unitate de transport,
Comenzi, Marfă și Traseu). Fiecare tabel are un identificator unic care este numit cheie
primară, de asemenea fiecare tabel cuprinde mai multe atribute specifice acelei entități dar și
atribute care fac parte din tabele străine altfel numite chei străine. De exemplu, pentru
entitatea Comenzi au fost folosit atribute din alte entități precum: id_transportator din
entitatea Transport, id_marfă din entitatea Marfă, id_unit_transport din entitatea Unitate
transport, id_traseu din entitatea Traseu. Aceste atribute străine formează o viziune mai clara
și completă asupra informațiilor din entitatea părinte. Relațiile dintre entități sau format in
dependență atributele necesare acesteia, de obicei acestea fiind alese in dependență de
cerințele informaționale din entitatea părinte.
2.3. Elaborarea Proiectului DWH pentru sarcina abordată
Reieșind din baza de date operațională conceptualizată și creată în paragrafele
precedent urmează să fie elaborat depozitul de date. La rândul său, procesul de creare a
depozitul de date poate fi împărțit în etape. Aceste etape vor fi descrise mai jos. De asemenea
va fi oferită o prezentare referitor la tipul schemei depozitului. Și în cele din urmă, vor fi
descrise tabelele de dimensiuni și de fapte.
Tabelul de fapte conține câmpurile cantitative preț marfă, preț livrare, suma totală și
timpul de zile pentru livrare.
2.4. Procesul ETL în cadrul unui DWH
Depozitele de date și instrumentele ETL au fost create pentru a obține informații
utile din toate datele de afaceri. În prezent, pe piață există mai multe instrumente ETL care au
funcționalități extinse pentru curățarea datelor, profilarea datelor, procesarea datelor mari,
managementul datelor de bază, gestionarea datelor și integrarea aplicațiilor pentru
întreprinderi (EAI). Odată cu disponibilitatea datelor în depozit sau cubul de proces analitic
online (OLAP), un software de Business Intelligence (BI) este utilizat pentru a le vizualiza și
analiza. Acest software ajută la raportare, descoperirea datelor, minerit și îmbarcare.
Procesul de extragere și organizare a datelor brute, de transformare pentru a le face
ușor de înțeles și de încărcare a acestora într-un depozit de date pentru a le accesa și analiza
cu ușurință, este cunoscut ca proces ETL. Pe scurt, este o componentă esențială a
ecosistemului de date al oricărei afaceri contemporane.
Deoarece datele care provin din diverse surse au o structură distinctă, fiecare set de
date trebuie transformat diferit înainte de a-l utiliza pentru inteligență și analiză de afaceri. De
exemplu, dacă organizați date din sisteme sursă precum Google Analytics și Amazon
Redshift, aceste două surse ar trebui tratate separat cu întregul proces ETL.
Pasul de extragere cuprinde extragerea datelor din sistemul sursă în zona de
pregătire. Orice transformare se poate face in zona de staging fără a degrada performantele
sistemului sursa. De asemenea, la copierea oricăror date corupte direct din sursă în baza de
date a depozitului de date, restaurarea ar putea fi o provocare. Utilizatorii pot valida datele
extrase în zona de pregătire înainte de a le muta în depozitul de date.
Depozitele de date ar trebui să îmbine sistemele cu hardware, DBMS, OS și
protocoale de comunicare. Sursele includ aplicații vechi, cum ar fi aplicații personalizate,
mainframe, dispozitive POC, cum ar fi comutatoare de apel, ATM, fișiere text, ERP, foi de
calcul, date de la parteneri și furnizori.
Există trei metode de extragere a datelor:
- Extracție completă,
- Extracție parțială- cu notificare,
- Extracție parțială - fără notificare.
În ciuda metodei utilizate, extragerea datelor nu ar trebui să aibă niciun impact
asupra performanței și timpului de răspuns al sistemelor sursă care sunt baza de date de
producție live.
Datele care sunt extrase de pe serverul sursă sunt incomplete și nu pot fi utilizate în
forma sa originală. Din acest motiv, trebuie să fie curățate, mapate și transformate. Acesta
este cel mai important pas în care procesul ETL îmbunătățește și modifică datele pentru a
genera rapoarte BI intuitive.
Există, de asemenea, unele probleme în integritatea datelor:
- Ortografii diferite ale două persoane care au același nume,
- Diferite moduri de a desemna numele unei companii,
- Utilizarea numelor diferitelor locuri,
- Generarea de numere de cont diferite pentru același client printr-o aplicație,
- Colectarea de produse nevalide la punctul de vânzare din cauza unei greșeli
la o introducere manuală,
Ultimul pas al procesului ETL include încărcarea datelor în baza de date țintă a
depozitului de date. Într-un depozit de date standard, volume mari de date trebuie să fie
încărcate într-o perioadă relativ scurtă. Ca urmare, procesul de încărcare trebuie simplificat
pentru performanță.
2.5. Concluzii
Subiectul implementării unui sistem informațional unic de gestiune a transportului
internațional de mărfuri devine una tot mai des discutată. Cauza constă în faptul că ratele
moderne de dezvoltare afacerilor de transport subliniază necesitatea introducerii active a unor
noi metode de lucru care să răspundă nevoilor crescute ale consumatorilor.
Utilizatorul final dorește să obțină un singur sistem de informații, ceea ce i-ar
permite să găsească compania care se potrivește pentru toate sau majoritatea cerințelor sale
de transport internațional de mărfuri.
Acest capitol a avut drept scop proiectarea și crearea unui depozit de date prin
prisma modelării conceptuale, logice și fizice. Aceste etape au fost implementate pe parcursul
lucrării accentuând astfel importanța creării unei baze de date. Instrumentul informatic numit
baza de date poate fi benefic pentru a întreprinde primii pași spre găsirea soluției de transport
de mărfuri la nivel internațional, iar pentru elaborarea unui plan strategic efectiv, au fost
stabilite etapele procesului de modelare si creare a unui DWH pentru sarcina abordată.
Procesul de modelare a avut loc structurat în 5 pași care au stabilit parametrii logici și fizici
ce au generat schema ER.
În continuare, a fost descris procesul de creare a unui DWH și a instrumentului ETL,
ce arată relațiile ca seturi de entități stocate într-un depozit de date. O entitate în acest
context este un obiect, o componentă a datelor. Un set de entități este o colecție de entități
similare.
Bibliografie
1. «Базы данных в Интернете», Resursă electrpnică – [Mod de acces]
https://sites.google.com/site/bazydannyhvinternete/
2. Kapterev A.I. «Электронный учебник по информатике», Resursă electrpnică
– [Mod de acces] http://www.mediagnosis.ru/Autorun/Page6/10_5_.htm
3. Taylor David „What is Dimensional Modeling in Data Warehouse?”, Resursă
electronică – [Mod de acces] https://www.guru99.com/dimensional-model-data-
warehouse.html
4. „Star Schema”, Resursă electronică – [Mod de acces]
https://searchdatamanagement.techtarget.com/definition/star-schema
5. “Fact Table and its Types in Data Warehousing”, Resursă electronică – [Mod de
acces]https://www.edureka.co/blog/fact-table-and-its-types-in-data-warehousing/
6. “How to implement the ETL steps for your data warehouse?”, Resursă
electronică – [Mod de acces] https://www.cloudmoyo.com/blog/data-
architecture/how-to-implement-the-etl-steps-into-the-data-warehouse/