Big Data și

Securitate Cibernetică
 Structură curs

Cursul nr. Componentă

1, 2, 3 Big Data - Scraping

4, 5, 6 Securitate Cibernetică

7 Predare proiect

7 Examen final
 Punctaj

Punctaj Componentă

6 puncte Examen final tip grilă

4 puncte Proiect în echipe de

maxim 3 studenți
 Cuprins
1. Ce reprezintă Big Data?

2. Caracteristicile Big Data

3. Procesarea Big Data

4. Utilitatea Big Data

5. Scraping ca instrument Big Data

Introducere în

Big Data
Ce reprezintă
Big Data?
 Ce reprezintă Big Data
Descriere simplă

● Conceptul de Big Data se referă la volume mari de

date, care continuă sa se acumuleze în timp și care
provin din mai multe surse.
● Exemplu: Analiza percepției publicului asupra unui produs/serviciu

● În prezent, în fiecare zi sunt generate 2.5 exabytes

(2.5x260 bytes – 2.5 Milioane de Terrabytes) de date. Volumul de
date se dublează la aproximativ fiecare 3 ani, încă
din anii 1980.
 Ce reprezintă Big Data
Big Data: Volume mari de date
● Aceste volume imense de date sunt generate de diverse tipuri de dispozitive, precum

● PC-uri, Laptop-uri, Tablete sau Telefoane mobile

● Dispozitive IoT

● Camere și microfoane

● Sisteme de navigatie tip GPS

● Etc.
 Ce reprezintă Big Data
În prezent, termenul “Big Data” se referă la utilizarea
● analizei predictive
● analizei comportamentului utilizatorului

Analiza predictivă pornește de la situații anterioare sau prezente, construind predicții

referitoare la evenimente viitoare necunoscute.
● Aplicații de ride-sharing, pentru determinarea tarifului dinamic
● Aplicații de video-streaming, pentru oferirea recomandărilor
● Aplicații Social Media, pentru recomandări de conținut

Analiza comportamentului utilizatorilor este un proces cu implicații în domeniul securității

cibernetice, ce evaluează diverse tipare pentru a stabili potențialele fraude
● Aplicabilitate largă în sfera securității cibernetice
● Protejarea conturilor: detectarea loginurilor suspecte.
Caracteristicile
Big Data
 Caracteristicile Big Data

Volum Velocitate Varietate

Cantități foarte mari Acumularea rapidă Surse de date
de date de date noi diferite
 Caracteristicile Big Data
Pe lângă cele 3 caracteristici principale ale Big Data prezentate anterior,
mai amintim:

1. Veracitate (veridicitate)
• date ce reflectă situații reale
2. Valoare
• ce poate fi obținut cu seturile de date
3. Validitate
• corectitudinea datelor
4. Volatilitate
• Datele își pot pierde relevanța
 Big Data – Procesarea datelor
Pentru procesarea și analiza volumelor mari de date, se preferă modele de tip MapReduce,
în detrimentul tehnicilor clasice de procesare și analiză
pentru volume foarte mari de date.

MapReduce reprezintă un model de analiză a datelor ce utilizează procesarea paralelă pe

clustere de servere, de obicei Apache Hadoop clusters.

MapReduce facilitează procesarea concurentă a datelor, împărțind volumele mari de date

în subseturi de dimensiuni relativ reduse, ce vor fi procesate pe clusterele de servere
Apache Hadoop. În final, ulterior procesării, MapReduce colectează informațiile de la
fiecare server în parte, prezentând rezultatele consolidate și unificate.
 FS tradițional vs HDFS
File System tradițional Hadoop Distributed FS

Metodă de Datele sunt stocate într-un Datele sunt împărțite în multiple

stocare singur bloc, i.e. 1 fișier blocuri
Obținere Citirea volumelor mari de date Date sunt obținute foarte rapid
date este ineficientă (2GB/s/nod în cluster)
Costuri Costuri relativ reduse Costuri mai mari, întrucât datele
sunt replicate
Fiabilitate Fiabilitate în cote acceptabile Fiabilitate sporită, datorată
replicării datelor
Utilitatea
Big Data
 NETFLIX
Studiu de caz

Netflix are 150 milioane de utilizatori. Colectează numeroase statistici de la

aceștia, precum:
● Ce seriale urmăresc și pentru cât timp
● În cât timp termină un serial
● Dacă un film este revăzut
● Dacă se folosește subtitrare
● etc.

NETFLIX stochează informații inclusiv despre scenele pe care le

revedem, derulând înapoi.

Astfel, NETFLIX poate crea profile de utilizatori foarte concludente,

oferindu-le recomandările necesare și generând nou conținut targetat.
 WAZE
Studiu de caz

Sistemele tradiționale de navigare utilizau coordonate statice GPS pentru a

determina ruta optimă.

Aplicația de navigație GPS Waze, care este folistă în prezent de

aproximativ 90 milioane utilizatori, colectează de la toți utilizatorii săi
statistici precum
• Direcția de deplasare
• Viteza de deplasare
• Blocaje în trafic
• etc.
Aplicația analizează în timp real și actualizează ruta pe măsura ce noi date devin
disponibile, pentru a scurta timpul petrecut în trafic

FUN FACT: Waze & Costa Rica

 Scraping
pentru obținerea datelor
 Ce reprezintă Scraping-ul
Descriere simplă

● Conceptul de Scraping se referă la tehnica obținerii

de volume largi de date publice, direct de pe site-
urile web.
● Există controverse în jurul scraping-ului, unele site-
uri web interzicând preluarea automată de conținut
public de pe paginile lor.
● Platforme de eCommerce consacrate, precum eMag,
au dezvoltat sisteme anti-scraping.
 Cum funcționează un scraper?
Procesul de Scraping este compus în principal din 3 pași:
1. Obținerea structurii HTML a unei pagini

2. Analiza (parsing) acesteia și extragerea informațiilor necesare

3. Stocarea datelor

În mod programatic, cei 3 pași vor fi îndepliniți astfel:

4. Trimiterea unui request de tip HTTP către pagina web, pentru obținerea structurii HTML

5. Analiza structurii HTML și detectarea tiparelor pentru a stabili elementele HTML care conțin
informațiile dorite

6. Utilizarea stocării în fișiere locale, de tip JSON/CSV sau în cadrul unei baze de date (preferabil
NoSQL)
 Scraping
Avantaje pentru Big Data

Automat Precis
Procesul nu are nevoie de Elimină eroarea umană
intervenție umană din ecuație

Rapid Economic
Volume mari de date pot Cosuri extrem de reduse,
fi obținute în secunde adesea gratis