Tehnologii big data. Apache Kafka.

Apache
Hadoop.
Nume_student
Universitea Politehnica,Timișoara, România
xyz@yahoo.com

Abstract—Una dintre problemele majore ale sistemelor

actuale de procesare a cantităților mari de date este
scalabilitatea. Într-un sistem clasic, nevoia de putere de
procesare și spațiu de stocare se asigură prin adăugarea de
resurse în mașina fizică (RAM, HDD), însa există o limită
până la care se poate scala un sistem în acest fel. Apache
Kafka înlocuiește configurația clasică cu un sistem format
din mai multe noduri, numărul nodurilor putând fi scalat în
funcție de cerințele aplicației software. De asemenea
disponibilitatea sistemlui format este foarte mare din cauza
numărului mare de noduri și a replicării datelor în multiple
noduri.
Figura 1 Producătorii trimit mesaje catre clusterul Kafka, iar apoi
I. INTRODUCERE acestea sunt citite de către consumatori[1]

LTE(Long Term Evolution) este un standard de

comunicare fără fir, de o viteză ridicată, folosit în
principal de telefoane mobile dar și de alte dispozitive și
terminale. O rețea LTE este formată dintr-un număr mare
de antene numite eNBuri interconectate între ele și
conectate cu nucleul rețelei. Nucleul rețelei este
responsabil pentru toate operațiunile și serviciile oferite de
o rețea. Aici sunt prezente două componente folosite în
prototipul descris în această lucrare: SAM și NPO.
SAM este serverul pe care rulează o aplicație în care
este declarată topologia rețelei LTE(eNBuri, celule și
relațiile dintre ele). Cu ajutorul SAMului putem adăuga
echipamente noi în rețea sau putem modifica parametrii
echipamentelor funcționale.
NPO este de asemenea un server pe care rulează o serie
de aplicații menite să ajute procesul de optimizare al
rețelei. Acesta colectează contori și indicatori de la SAM
și generează statistici și rapoarte pe baza cărora operatorul
rețelei poate decide modificarea unor parametrii pentru a
obține o rețea cât mai optimizată din punct de vedere al
vitezei sau al acoperirii.
Această lucrare iși propune să descrie un prototip
Kafka care listează și procesează contorii și indicatorii
unei rețele LTE.
Fiecare eNB generează date care sunt preluate de către
SAM. Toate aceste date sunt mai apoi colectate de către
serverul NPO. Din 15 în 15 minute contorii și indicatorii
sunt stocati într-o bază de date Oracle, iar valorile lor sunt
consolidate în fiecare noapte. Însă din cauza mărimii
rețelei, baza de date poate avem dimensiuni uriașe. Din
aceast motiv, NPOul este limitat în ceea ce privește
numărul maxim de celule suportate, 48.000, respectiv
numărul maxim de eNBuri, 8.000.
Prin înlocuirea Oracle cu perechea Kafka – Hadoop se
dorește creșterea numărului de celule suportate la
100.000. Configurarea sistemului în funcție de mărirea
rețelei fiecărui client se va face prin adăugarea de noi
clustere (noduri) până la satisfacerea puterii de procesare
necesare.
II. TEHNOLOGII BIG DATA
A. Kafka
Kafka este un sistem distribuit, partiționat și replicat
care oferă funcționalitatea unui sistem de mesagerie.[2]
Arhitectura Kafka permite unui singur cluster să aibă
rol de nod central într-o configurație mare. Sistemul poate
fi extins cu ușurință, adăugarea de noi clustere făcându-se
fără pierderi de date sau fără ca sistemul să fie oprit.
Fluxurile de date sunt partiționate și sunt distribuite în
mai multe clustere. În acest fel pot fi gestionate fluxuri
foarte mari de date care nu pot fi procesate de un sistem
classic într-un timp scurt.
Fiecare flux de date este persistat pe disc, acesta fiind
replicat în diferite clustere pentru a prevenii eventuale
pierderi. Un sistem Kafka rulează pe unul sau mai multe
servere, fiecare dintre acestea purtând numele de broker.
Fiecare broker Kafka poate procesa în fiecare secundă
sute de megabytes de date produse de operații de scriere
și citire a mii de clienți.
Kafka clasifică fluxurile de date în categorii numite
topicuri. Procesele care publică aceste fluxuri de date
într-un topic se numesc producătoare, iar procesele care
sunt înregistrate la topicuri și consumă aceste mesaje se
numesc consumatoare. [3]
Mesajele fiecărui topic Kafka sunt persistate în partiții.
Fiecare partiție conține mesajele ordonate dupa momentul
în care au fost scrise în topic, acceptând în continuu
mesaje noi. Serverul Kafka persistă toate mesajele
publicate într-un topic pentru o perioadă configurabilă de
timp, chiar dacă aceste mesaje au fost consumate deja de
către un consumator.
 Există o variabilă numită offset în care se păstrează
valoarea poziției mesajului curent citit de către fiecare
consumator. Offsetul este controlat de către consumator.
Fiecare partiție este replicată pe un număr configurabil de
servere. Acest lucru este util în cazul în care unul din
serverele folosite are o problemă (hardware sau
software). Producătorul este responsabil de alegerea
partiției în care va persista mesajul nou publicat. [4]
Figura 2 Partițiile unui topic Kafka
http://sookocheff.com/post/kafka/kafka-in-a-nutshell/
Replicarea Kafka: motivul pentru care s-a introdus
replicarea Kafka este pentru a avea o disponibilitate mai
mare a datelor. Kafka garantează că orice mesaj publicat
cu succes nu se va pierde și va fi consumat, chiar și în
cazul pierderii unor servere. [5]
Avantajele utilizării Kafka:
- producătorul Kafka nu trebuie să aștepte ca mesajul
trimis să fie consumat din broker, ci trimite mesajele in
masura în care brokerul le poate procesa.
- ori de căte ori consumarea mesajului nu se face cu
success, consumatorul poate cere recitirea acelui mesaj.
- consumatorul citește mesajele cu viteza proprie,
nedepinzând de producator sau de broker.
- Kafka poate fi folosit ca o coadă de mesaje,
mărimea fluxului de mesaje fiind foarte mare.
- prin folosirea brokerilor Kafka, procesul de
distribuire a mesajelor poate fi paralelizat. Producătorii și
consumatorii sunt independenți, sistemul devenind
flexibil și ușor adaptabil unor schimbări.
- pentru că mesajele nu sunt trimise direct
consumatorilor, aceștia pot ține evidența clară a ultimelor
mesaje citite. Acest fapt permite consumatorilor Kafka să
consume mesajele în timp real, dar și periodic un grup de
mesaje colectate într-un anumit interval de timp.
Kafka a fost dezvoltat de către compania LinkedIn
începând cu anul 2010, Kafka fiind la baza aplicației
companiei. Cei 1400 brokeri folosiți procesează peste
2000 TB de informații în fiecare săptămână. [6]
B. Hadoop
Biblioteca software Apache Hadoop este un mediu de
lucru care permite procesarea distribuită a unor seturi
largi de date. Acest lucru se realizează cu ajutorul
clusterelor (unul sau mai multe servere, până la cateva
mii), fiecare dintre ele oferind putere de procesare și de
stocare a datelor. Acest sistem are proprietatea de a fi
operațional în orice moment prin detectarea și rezolvarea
ușoară a situaților în care un server se defectează.[7]
Hadoop conține următoarele module incluse:
 Hadoop Common: Pachet cu utilități comune
folosit de alte module Hadoop.
 Hadoop Distributed File System (HDFS):
Sistem distribuit de fișiere care permite stocarea
și accesarea unor fișiere persistate pe disc.
 Hadoop YARN: Folosit pentru managementul
resurselor clusterelor și pentru programarea
lansării automate a unor procese.
 Hadoop MapReduce: Sistem care are la bază
YARN, folosit pentru paralelizarea procesării
unor seturi mari de date.[8]
HDFS este un sistem distribuit de fișiere folosit de
Hadoop. Unul din avantajele majore ale acestuia este
scalabilitatea. Pentru comunicație acesta folosește
protocolul TCP/IP. Una din limitările HDFS este
imposibiliatea accesării fișierelor direct din sistemul de
operare. Pentru aceast lucru, Hadoop pune la dispoziție
API Java, Trift API(C++, Java, Phyton, Php ), linie de
comandă dar și o aplicație web a sistemului.
YARN (Yet Another Resource Negotiator) este o
prerechizită pentru Hadoop, acesta oferind gestionarea
resurselor și o platformă software centralizată pentru
securitate și diverse operații.[9]
Hadoop MapReduce este un modul software folosit la
scrierea de aplicații care procesează cantități mari de date
(de ordinul Terabytes) în paralel în cadrul unor clustere
mari, fiecare cluster având până la câteva sute de mii de
noduri. De cele mai multe ori nodurile folosite pentru
procesare sunt aceleași cu cele folosite pentru persistarea
datelor în Hadoop Distributed File System(HDFS). [10]
Avantajele utilizării HADOOP[11]:
- HADOOP poate persista cantități mari de date
- HDFS este scalabil și permite accesul rapid la
informații, poate deservii un număr mare de clienți prin
simpla adăugare a unor noi mașini virtuale sau fizice în
cluster.
- implementarea simplă; trebuie implementate numai
procesele map-reduce, felul în care se persisită datele pe
disc este realizate de HADOOP.
- procesele MapReduce se pot executa local pe aceeași
mașină, acest lucru ducând la reducerea utilizari rețelei.
- portabilitate între multiple platforme hardware și
sisteme de operare.
- menținerea mai multor copii ale datelor și realocarea
acestora în mod automat în cazul unor defecțiuni.
- HDFS este un sistem de fișiere bazat pe blocuri de
date. Fiecare fișier este împărțit în blocuri cu o
dimensiune fixă și persistat în cluster în una sau mai
multe mașini care au capacitate de stocare.
 - programele MapReduce pot fi scrise în Java folosind
API corespunzător pus la dispoziție de HADOOP.
- poate paraleliza procese astfel o cantitate mai mare
de date sunt procesate.
III. PROTOTIP KAFKA
A. Intro
În cadrul acestei lucrări s-a realizat un prototip care
folosește Kafka. Acesta a fost scris în Java folosind
bibliotecile puse la dispoziție de Apache și are două
componente majore:
- listarea celor mai noi fișiere PM generate de SAM
- analizarea fiecărui fișier și extragerea valorilor
indicatorilor pentru fiecare tip de dată (celulă, eNB, X2 și
relație între celule).
Atât prima cât și a doua parte este formată din
producători și consumatori.
Primul producător se contectează la SAM printr-o
conexiune de tip SFTP, și listează toate fișierele dintr-o
locație specifică. Numele fiecărui fișier este de forma
<nume_eNB_dataora>.tar.gz și conține un fișier .xml cu
toate valorile contorilor și indicatorilor din ultimul interval
de timp de 15 minute.
Figura 3 Arhitectura Kafka [12]
Scopul primului producător este să identifice fișierele
noi apărute și să adauge numele fiecăruia într-un topic
Kafka. Aceste nume de fișiere vor fi citite de către
consumatorul acestui topic și vor fi trimise ca parametru
unui apel de metoda care va analiza și extrage valorile
contorilor și ale indicatorilor fiecărui eNB. Obiectele
relevante prototipului sunt: eNBuri, celule, relații între
celule și X2(relații între două eNBuri).
Acest consumator descris mai sus are și rol de
producător, deoarece acesta extrage valorile indicatorilor
pentru cele 4 tipuri de obiecte și le publică în mai multe
topicuri. Există câte un topic pentru fiecare tip de obiect.
În acest fel vor fi colectate valorile aceluiaș tip de obiect
pentru a putea fi folosite mai ușor.
Fiecare topic va fi consumat de către un consumator
dedicat, în funcție de tipurile de obiecte persistate în topic.
B. Instalare
Mașina fizică folosită pentru acest prototip este un HP
DL380 cu 2.4 Tb spațiu pe disc, 128 Gb RAM și 2 CPU
E5-2670 2.66 Ghz. Pe această mașină s-a instalat ESXI5.5
pentru a crea mai multe mașini virtuale(250 Gb spațiu pe
disc și RAM partajat) pe care se vor instala serverele de
Kafka, Hadoop și Zookeeper.
Pe fiecare mașina virtuală s-a instalat sistemul de
operare RedHat 6.5. Pentru a facilita instalarea și folosirea
tehnologiilor Big data s-a folosit Cloudera, o platformă
software care aduce la un loc toate modulele și aplicațiile
folosite [13]. De asemenea aceasta asigură instalarea,
configurarea și rularea aplicaților necesare.
C. Configurarea serverului Kafka
Pentru a porni serverul Kafka, este nevoie să
configurăm o serie de parametrii. Cei mai importanți sunt
următorii:
- log.dirs (locația de pe disc în care se vor salva logurile
aplicației Kafka)
- log.retention.hours(numărul minim de ore în care
logurile trebuie să fie persistate)
- num.partitions (numărul de partiții create pentru
fiecare topic. Pentru a paraleliza procesul de consumare,
acest număr poate să crească. Valoarea inițială standard
este 1)
- zookeeper.connect=localhost:2181 (adresa în rețea a
serverului și portul zookeeper folosit)
Dupa ce serverul Kafka este pornit, se poate începe
crearea topicurilor în care producătorul Kafka va scrie
mesajele. Comanda cu care putem face acest lucru este:
#kafka-topics --create --zookeeper localhost:2181
--replication-factor 1 --partitions 1 --topic testTopic ,
considerând numele topicului testTopic, factorul de
replicare = 1 și numărul de partiții al acestui topic = 1. De
asemenea serverul de zookeeper trebuie specificat.
Pentru a lista toate topicurile Kafka existente, se poate
folosi comanda următoare:
#kafka-topics --list --zookeeper localhost:2181
Având serverul Kafka corect configurat și pornit și
topicurile create, putem să pornim procesele java din
prototip, producătoarele și consumatoarele.
Primul producator are rolul de a se conecta la SAM și a
lista toate fișierele PM nou apărute. Pornirea procesului
java al producatorului de listare se face prin specificarea
următorilor parametri:
- producer.topic=topicListingProducer (numele topicului
folosit de către producătorul de listare)
- pm.hostname=135.247.174.111 (IPul SAMului pe care
se va face listarea fișierelor PM)
- pm.username=root (numele utilizatorului, folosit la
autentificare)
- pm.password=password (parola folosită la autentificare)
- pm.path=/opt/PM/ (calea către locația de pe serverul
SAM unde sunt generate fișierele PM la fiecare 15
minute)
- initial.delay=300000 (numărul de milisecunde de
așteptare înainte ca procesul să scrie mesajele în topic.
Acesta este folosit pentru a avea acces la monitorizare în
timp real cu diverse unelte software de profil. Pentru acest
prototip s-a folosit JVM Monitor ).
- bootstrap.servers=135.247.174.105:9092 (IPul și portul
serverului pe care este instalat Kafka)
- key.serializer=
org.apache.kafka.common.serialization.StringSerializer
- value.serializer=
org.apache.kafka.common.serialization.StringSerializer.
Urmează pornirea celui de-al doilea proces . Acesta
este unul hibrid, producător - consumator. El citește
mesajele scrise în topicul topicListingProducer de către
primul producător. Aceste mesaje sunt de fapt URLurile
fișierelor PM listate în SAM. Aceste fișiere sunt copiate
pe mașina virtuală pe care rulează Kakfa și mai apoi sunt
analizate și interpretate cu ajutorul unei librării interne
Nokia. Astfel sunt extrase informațiile referitoare la
topologia rețelei și valorile indicatorilor și contorilor
acesteia. Toate informațiile sunt ordonate dupa tipul de
obiect de care aparțin. Astfel se pot extrage ușor datele
relevante pentru acest prototip (celule, eNBuri, relații de
vecinătete între celule și X2).
Aici apare cel de-al doilea producător care scrie aceste
date în topicul recordsTopic. Mesajele sunt grupate în
funcție tipul obiectului. Pentru ca mărimea acestor mesaje
să nu fie prea mare se folosește procesul de comprimare.
Cu parametrul compression.type (poate avea una din
următoarele valori: none, gzip, snappy, sau lz4) obținem
comprimarea realizată direct de către procesul Kafka.
Mărimea unui mesaj corespunzător unui obiect este în
medie 30-40 Kb, dar poate să ajungă și la 100Kb. La un
număr de 8000 eNBuri maxim suportate într-o rețea,
numărul de mesaje este foarte mare:
- 8.000 eNBuri
- 48.000 celule
- 4.600.000 relatii de vecinatate
- ~500.000 X2,
toate aceste mesaje fiind generate din 15 în 15 minute.
- group.id=kafka-proto (numele grupului Kafka)
- key.deserializer=
org.apache.kafka.common.serialization.StringDeserializer
- value.deserializer=
org.apache.kafka.common.serialization.StringDeserializer
- block.on.buffer.full=true(în cazul în care bufferul se
umple, există posibilitatea să oprim citirea de noi mesaje
sau să generăm erori. Valoarea implicită este true).
D. Distribuirea încărcării serverului
Kafka este optimizat pentru mesaje de dimensiuni
mici, cea mai bună performanță fiind înregistrată la
mesaje de 1Kb. Mesaje mai mari de 10Mb pot duce la
funcționarea necorespunzătoare a sistemului. De aceea se
pot folosi mai mulți brokeri Kafka, adică mai multe
instanțe ale aceluiași tip de proces pornit pe mai multe
servere. Fiecare broker alocă spațiul bufferului de
replica.fetch.max.bytes pentru fiecare partiție replicată.
Putem considera ca exemplu
replica.fetch.max.bytes=1Mb și numărul de partiții =
1000. În acest caz avem nevoie de 1Gb RAM disponibil.
Generalizând obținem următoarea formulă de calcul a
distribuției:
Numărul de partiții * max_message_size < memoria
RAM disponibilă
Cu cât dimensiunea mesajelor este mai mare, există
două posibile cazuri:
- creștem RAM disponibil pe server
- micșorăm numărul de partiții
IV. CONCLUZII
Apache Kafka s-a dovedit a fi potrivit pentru ceea ce
se dorea și anume creșterea numărului de eNBuri și celule
suportate într-o rețea LTE.
Acest prototip va sta la baza dezvoltării următoarei
versiuni ai aplicației NPO, scalabilitatea fiind avantajul
major al utilizării Kafka.

BIBLIOGRAFIE

[1] http://kafka.apache.org
Figura 4 Arhitectura prototipului de listare + parsare fișiere PM [2] Nishant Garg, Apache Kafka, Packt Publishing, 25 Oct 2013
[3] Nishant Garg, Learning Apache Kafka – Second Edition, Packt
Publishing, 2015
Ultima componentă a prototipului este cosumatorul care [4] http://kafka.apache.org/documentation.html#gettingStarted
consumă toate mesajele din topicul recordsTopic . Acest [5] https://cwiki.apache.org/confluence/display/KAFKA/
proces este pornit cu următorii parametrii: [6] https://engineering.linkedin.com/blog/2016/04/kafka-ecosystem-
- consumer.topic=recordsTopic (numele topicului din care at-linkedin
se vor consuma mesajele) [7] Tom White, Hadoop: The Definitive Guide, O`Reilly Media, Mai
2009
- consumer.name=ConsumerProto2 (numele
[8] http://hadoop.apache.org
consumatorului) [9] http://hortonworks.com/apache/yarn/
- consumer.sleeptime=4000 [10] Tanmay Deshpande, Hadoop Real-World Solutions Cookbook-
- initial.delay=300000 (numărul de secunde de așteptare Second Edition, Packt Publishing, Mar 2016
înainte ca procesul să citească mesajele din topic) [11] http://www.j2eebrain.com/java-J2ee-hadoop-advantages-and-
- bootstrap.servers=135.247.174.105:9092 (IPul și portul disadvantages.html
serverului pe care este instalat Kafka) [12] https://www.infoq.com/articles/apache-kafka
[13] http://www.cloudera.com/about-cloudera/faqs.html