Retele decalculatoare

Introducere inGridComputing
SabinCorneliu Buraga
http://www.infoiasi.ro/~busaco

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Asuccessfultoolisonethatwasusedtodo
somethingundreamtofbyitsauthor.
StephenC.Johnson

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Cuprins

Punerea problemei
Istoric
Arhitectura *
Tipuri deGrid
Implementari
Initiative&aplicatii
* Multumiri Lenutei Alboaie

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Introducere
Termenul Grid aaparut inanii 90
analogie curetelele electrice (powergrids)
Propunerepentruoinfrastructuradecalcul
distribuitdestinatainitialproiectelorstiintifice
siindustriale
Oferasuportpentrucautareasiregasirea
informatiilor,indiferentdelocalizarea lor fizica
Permite executarea detaskuri pe mai multe
masini,privite cauncalculatorunic
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Scopuri
Partajareaflexibila,sigura & coordonata
aresurselorintre colectiidinamicedeindivizi,
institutiisiresurse
Abilitateadeaformaorganizatiicolaborative
virtuale(virtualorganizations) eventual,
constituite dinamic partajind aplicatii& date
intrun mediudeschissieterogen
pentruarezolvamutualdiverseprobleme
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Scopuri
Abilitateadeaagregaunvolumconsiderabilde
resursecomputationale dispersategeografic
invederea solutionarii unor probleme complexe
Oinfrastructura hardware& softwarecareofera
accespermanent,ieftin,deoriunde,
inmaniera consistenta,laresursedecalcul
Omodalitatedeaprocesainmaniera distribuita
informatiiledisponibilein Internet
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Caracterizare
Tehnologii inrudite:
Peertopeer(P2P)
Clustercomputing
Internetcomputing
Webcomputing
Cloudcomputing

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Caracterizare
Resursa:
Entitate partajabila,existenta incadrulunuiGrid
Tipuri deresurse:
Decalcul:PDA,PC,statie delucru,server,cluster
Destocare:harddisk,RAID,SAN,
DetipI/O:senzori,retele,imprimante etc.
Logice:utilizatori,contoare detimp,
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Istoric
Generatia 1 proiectul Globus (Goble&Foster)
Aplicatii necesitind putere maredecalcul
Includeprotocoale (X.509,LDAP,FTP)si instrumente
dedezvoltare eterogene
Suport pentru accesul la&transferul defisiere
Foloseste tehnologiile Internet,dar ignora Webul
Dezvoltare inmedii academice
Partajarea resurselor serealizeaza viaGridFTP
Urmat deLegion,Condor,Unicore,
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Istoric
Generatia 2 OGSA
(OpenGridServicesArchitecture)
Aplicatii necesitind prelucrarea unor cantitati
mari dedate(dataintensive knowledgeintensive)
Locul centraleste luat deserviciile Web
GGF (GridGlobalForum)
Dezvoltare inmedii preponderent industriale
Numeroase implementari,inclusiv Globus Toolkit

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Istoric
Generatia 3 prezent &viitor
Oferirea deservicii specifice
pentru aplicatii bazate pe arhitectura Grid
Integrare deparadigme si tehnologii
privitoare lacalcul distribuit si paralel:
Agenti software
Servicii Web
Peertopeer
Wireless
Cloudcomputing
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Istoric
Generatia 3 prezent &viitor
Domenii deinteres:
Infrastructura
Arhitectura
Middleware
Programare
Aplicatii
Proiecte

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Arhitectura
Arhitecturile Gridutilizeaza simultanunnumar
marederesurse(hardware,software,logice)

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Arhitectura
Aspecte privind partajarea resurselor Grid:
Identitate& autentificare
Autorizare& asocieri depoliticideacces(policy)
Descoperirearesurselor
Caracterizarearesurselor
Alocarearesurselor
Managementulresurselor
Contorizare,plata(billing),contracteprivitoare
laserviciileoferite ServiceLevel Agreement (SLA)
Securitate
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Arhitectura
Aspecte deinteres:
Interoperabilitatea
Oferirea unor servici debaza
punerea ladispozitie deservicii denivel inalt

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Arhitectura
Interoperabilitatea
Recurgerea laprotocoale generice
Arhitectura Grid arhitectura protocolului
Arhitectura Grideste oarhitectura a
serviciilor utilizate,independenta deAPI
punct devedere impartasit deSOA
(ServiceOrientedArchitecture)

Inprezent,seapeleaza laservicii Web

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Arhitectura
Ce servicii debaza trebuie oferite?
Numire (Naming)
Autorizare (Authorization)
Securitate (Security)
Confidentialitate (Privacy)

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Arhitectura
Ce servicii denivelinalttrebuieoferite?
Controlul activitatilor
fluxuri delucru (Workflows)
Tranzactii (Transactions)
Data/relationmining
Descoperirea cunostintelor
(Knowledgediscovery)

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Arhitectura
Necesitatea unei arhitecturi stratificate:

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Arhitectura
Fabric
Furnizeaza resurse (decalcul,destocare,
cataloage,retea,)pentru careaccesul partajat
este mediat deprotocoalele Gridului
Ofera componente careimplementeaza
operatiile locale, specifice fiecarui tip
deresursa
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Arhitectura
Connectivity
Nucleualprotocoalelordecomunicaresi
deautentificarepentrutranzactiilederetea
Servicii minimale pentru comunicare:
transport,dirijare si numire
Moduri deautentificare:
inscriere singulara (usersubscribe),delegare,
integrarea cusolutii desecuritate locala,
relatii bazate pe incredere (trust)
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Arhitectura
Resource
Scop:definireadeprotocoale(+API/SDK)
pentrunegocierisigure,monitorizare,control,
contabilitatesiplataaoperatiilordepartajare
aresurselorindividuale
Protocoalele seconcentreaza asupra
resurselorindividuale,iarproblemelelegate
destareaglobalasuntignoratelaacestnivel
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Arhitectura
Resource continuare
Utilizarea deprotocoale deinformare
Obtinerea informatiilor despre structura
si starea unei resurse:
configuratie,
incarcare,
politica deutilizare
...
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Arhitectura
Resource continuare
Protocoale deadministrare
Negocierea accesului laresursele partajate:
solicitari
(e.g.,calitatea serviciilor QoS,rezervare)
operatii
(e.g.,creare,accesare dedate,)
Instanierea relatiilor departajare
Monitorizarea/controlul starii unei operatii
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Arhitectura
Collective
Ofera protocoale si servicii careprivesc global
resursele Gridului
e.g.,faciliteaza interactiunile dintre seturi deresurse
Poate implementa servicii departajare aresurselor:
Catalogare(directory)
Coalocare,planificare si intermediere
Monitorizare si diagnosticare
Replicare si descoperire
Colaborare

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Arhitectura
Application
Cuprinde aplicatiileutilizator careopereaza
pe baza arhitecturii Grid
Mediideprogramare+
bibliotecidenivelinalt
Exploatareasinergiei
dintreebusiness siserviciiGrid

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Protocoale &APIuri
Nivelulfabric includeprotocoalele&APIurile oferind
acceslaresurselepartajate
Viziune logica asupraresurselorsinuunafizica
Connectivity layer definesteprotocoaledebaza
pentru tranzactiidereteaspecificeGridului
ProtocoaleleInternetstandard
Protocoalevizindsecuritatea:
Grid Security Infrastructure (GSI)
autentificare,autorizare &protejare
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Protocoale &APIuri
Resource layer protocoalepentruinitierea
& controlulpartajarii resurselorlocale
Managementulalocarii resurselorGridului:
Grid Resource Allocation Management(GRAM)
alocarea,rezervarea,monitorizarea&
controluldeladistanta aleresurselor
GridFTP acces &transporteficient aldatelor
ServiciuldeinformareprivindresurseleGrid:
Grid Resource Information Service (GRIS)
acceslastructurasistarea unui nodalGridului
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Protocoale &APIuri
Nivelul collectivespecifica protocoaleoferind
serviciilaniveldesistempentruexploatarea
pescara larga aunuisistemGrid
Servicii deindexaresimetacatalogare
pentrustructurareasiaccesarearesurselor
Brokeri deresursepentru descoperirea si
alocarea resurselor conformcerintelor
aplicatiilor
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Arhitectura

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
Tipuri deGrid lanivelul localizarii
GlobalGrid
EnterpriseGrid
ClusterGrid

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
GlobalGrid
ReprezintaocolectiedeGriduri
detipenterprise sicluster,
plusalteresursedistribuitegeografic
peoarielarga continentsauplaneta
Politicadeutilizareglobala
Protocoalegeneraledepartajarearesurselor

Numitsiintergrid (IBM)
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
EnterpriseGrid
Faciliteaza partajarea deresurse
intre maimultedepartamentesi colective
dincadruluneiorganizatii (virtuale)
Politici demanagementaresurselor

Numit si intragrid oricampusgrid

Incontextulextranet:ExtrapriseGrid
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
ClusterGrid
Reprezinta ocolectiedecalculatoareinterconectate
folosite(si vazute)caoresursa unica lanivelde
departament/grup
departmentalgrid(Sun)/infragrid (IBM)

Faceposibila utilizarealamaximaresurselorcolectiei
decalculatoare
(mainframeuri,PCuri,laptopuri,smartphoneuri,)
Cluster ansamblu decalculatoare dintrunLAN
careformeaza oresursa unica decalcul
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
ClusterGrid
Alternative:
NOW(NetworksofWorkstations),
COW(ClustersofNetworksWorkstations)

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
Categoriideclustere:
Clusterededicate
Constituite dinnoduri omogene
(procesor,OS,) rack deplaci debaza

Clustere deintreprindere
Eterogene,distribuite geografic,
controllimitat
Activitatile localeauprioritatemaimare
decatcelealeintreprinderii
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
Categoriideclustere(continuare)
Clusterecyclesharing
Partajeazaciclurileprocesoarelor

Clustereadhoc
Create inmoddinamicpentrurezolvarea
unorproblemetranzitorii

Clustere mobile
Pur mobile(dispozitive mobile:telefon,
smartphone,laptop,palmtop,consola dejocuri,)
sau mixte (mobile+fixe)
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
Arhitectura unui cluster:

SSI=SingleSystemImage
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
Aplicatii specifice clustercomputing:
Procesari intensive
(HPC HighPerformanceComputing):
calcul numeric
grafica computationala 2D/3D
(rendering e.g.,raytracing,shading,),
simulari (biocomputing,domeniul militar,)
clusterraytracing
lucrare delicenta:Silviu Homoceanu,2006
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
Aplicatii specifice clustercomputing:
Cautarea distribuita deresurse
Aplicatii critice rulind intimpreal
Stocare distribuita aunui volum marededate+
depozite dedate(warehouses)
Divertisment deexemplu:jocuri online

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
Implementare:Beowulf (aparut in2003)
Suport pentru constituirea declase declustere
(lowend/highend)
Calculatoarele potfi adaugate dinamic
Comunicare viaMPI(MessagePassingInterface)
Modeldeprogramare independentdeinfrastructura,
detehnologiile deretea sau decomponente
Noduri detipmaster(coordonatori)
si slave/worker (procesatori)
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
Tipuri deGrid lanivelul logic
ComputationalGrid
InformationGrid
KnowledgeGrid

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
ComputationalGrid
Niveldebaza,axatpeoferirea
deserviciidecalculsidatelascaralarga
Necesitateauneiinfrastructuri
pentrumonitorizareasicontrolul
resurselorvazutecaunansamblu

Rafinari:desktop grid,servergrid &

highperformance/clustergrid
Exemple:procesari grafice intensive
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
InformationGrid
Permiteaccesuluniformlasurseeterogene
deinformatiisioferaserviciipublicedebaza
rulindperesursecomputationaledistribuite
Resurselecomputationalepotvaria
delasimpleinvocaridemetodeladistanta
panalaaplicatiisofisticate
Exemple:griduriindomeniulbioinformaticii
saustiintelorpamintului
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
KnowledgeGrid
Nivelsuperioroferind(meta)servicii
specializatepentrudescoperireaderesurse
stocateindepozitedistribuite
sipentrumanagementulserviciilor
informationale
Metaserviciilepotficompusedinalteservicii

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri
Conformspecificuluiaplicatiilordisponibile
intrunGrid:
Arhitecturi multistrat (Ntiered)

Aplicatii rolebased
Aplicatii bazate pe servicii
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Tipuri

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Implementari
OpenGridServiceArchitecture (OGSA)
extindeserviciileWeb
Controlul instantelor serviciilor Web
tranzitorii
Serviciile Websunt dependente destare
Managementul timpului deviata
aserviciilor (lifetimemanagement)
Existenta unei infrastructuri deschise:
OGSI (OpenGridServiceInfrastructure)

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Implementari
ServiciileGridconstituitetrebuiesafie:
Dinamice si volatile multimi deservicii compuse
create,invocatesi eliminatedinzbor
Adhoc nuexista locatie centrala ori controlcentral;
nuexista relatii deincredere
Pe scara larga orchestrarea unui numar mare
deservicii (>100)trebuie realizata oricind
Disponibile,potential,pe termen lung
(e.g.,osimulare poate dura saptamini)
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Implementari

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Implementari
Specificatiitehnice:
OpenGridServicesInfrastructure (OGSI)
Securitate,acces ladate,Javabindingetc.
Standardizate deGlobalGrid Forum

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Implementari
Globus Toolkit4
implementare dereferinta bazata pe OGSA
www.globus.org
varianta minimala:Glite
JavaGridCommodityKit (CoG) dezvoltatorul poate
evita interactiunea directa cuserviciile Globus
(executia joburilor prin GRAM,transferviaGridFTP,
descoperirea caracteristicilor resurselor etc.)
pyGlobus implementare Python
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Implementari
Instrumente oferite deIBM,Microsoft,NEC,
Oraclesi altii pentru UNIX/Linuxsau Windows
Alte proiecte:
AppleXGrid
SunGridEngine

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Initiative
GridPP (UKComputingGridforParticlePhysics)
ParteintegrantaaceluimaimareGrid dinlume:
LCG (LHGComputingGrid),
undeLHG=LargeHadronCollider (CERN,din2007)
LCGestecompusdinpeste5200CPUuri,
4000TBmemorie,rulind>5000detaskurisimultan
FacepartedincadrulproiectuluiEuroGrid
www.gridpp.ac.uk
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Initiative
FraunhoferGridAlliance
Scop:oferireaunuiGridcomputationalpentruacces
facillaresurseleGriduluiviaunportalWeb
BazatpeGlobusToolkit
Functioneazainmediulacademic&industrial
www.fhrg.fhg.de

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Initiative
JGrid
Framework pentru Griduri compuse dincomponente
hardware/softwarevazute caservicii
Sebazeaza pe tehnologia Jini infrastructura &model
programatic pentru crearea desisteme distribuite
dinamice inJava
Aplicatiile JGrid potfi dezvoltate viaPGrade
(mediu dedezvoltare grafic)
http://jgrid.jini.org/
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Initiative
Alchemi
Sistem Grid bazat pe .NETFramework
asigura interoperabilitatea cualte sisteme Grid
viaGridbus GridServiceBroker
utilizat incadrul proiectului DisMy sistem Grid
semanticbazat pe modelul decoordonare Linda:
AndreiIacob lucrare delicenta,2008
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Initiative
Exempledeaplicatii:
Vizualizarea3Dfotorealistica
Renderizare prin POVRay,datedistribuite viaGrix

Chirurgie vasculara virtuala

CrossGrid componentacheie:MigratingDesktop
http://www.crossgrid.org/

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Initiative
Exempledeaplicatii:
Rezolvarea problemelor deoptimizare
Proiectul TRACER (foloseste arhitecturi
caGlobus,Condor,Legion,SunGridEngine)
http://neo.lcc.uma.es/

Monitorizarea resurselor dintrunGrid GriW

Bazata pe paradigma SOA
Implementare multiplatforma
(Java,.NET,C#,JavaScript,SVG)
Lucrare delicenta aAlinei Sirbu (2008)
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Inlocdeconcluzii
Gridulreprezintaoaplicatiereala,
implicindunsetlargderesurseeterogene,
cuscopuldearealizacalculdeinalta
performantasaudeaoferiaccestransparent
launvolummaredecunostinteindiferentde
localizarealorincadrulretelelor/Internetului
Tehnologiile&aplicatiilepentruGrid implica
rezolvareaunorproblemedescalabilitate,
flexibilitate,performantasisecuritate
Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Rezumat

Punerea problemei
Istoric
Arhitectura
Tipuri deGrid
Implementari
Initiative&aplicatii

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/

Intrebari?

Dr. Sabin-Corneliu Buraga www.infoiasi.ro/~busaco/