Introduo Grid e Cloud Computing

Alberto Krone-Martins I WCCA

Introduo Cloud Computing para astrnomos jovens (e nem to jovens assim)

Breve histrico da computao astronmica...

Breve histrico da computao astronmica...

Breve histrico da computao astronmica...

calculadoras...
5

Breve histrico da computao astronmica...

Terminal burro

Mainframe
6

Breve histrico da computao astronmica...

Breve histrico da computao astronmica...

LAN

LAN LAN

Breve histrico da computao astronmica...

Breve histrico da computao astronmica...

LAN

Cluster HPC

10

Breve histrico da computao astronmica...

LAN

Clusters HPC

11

Breve histrico da computao astronmica...

LAN

Clusters HPC

GRID
12

Breve histrico da computao astronmica...

CLOUD
13

Cluster/HPC? Grid? Cloud?

Do ponto de vista do utilizador: Cluster/HPC: vrios ns separados, conectados por rede rpida, sicamente instalados em um mesmo local. Grid: vrios ns separados, conectados por rede rpida ou lenta dependendo se esto ou no sicamente instalados em um mesmo local. Cloud: quem se importa? apenas faa o que eu estou mandando!

14

Usos em astronomia
Clusters: todo tipo de simulaes, surveys de ontem SDSS (~60 TB) Grids: BaSTI, surveys de hoje LSST: tamanho (~22 PB) Gaia: complexidade (~1 PB) E amanh? Clouds...

15

Grid

16

Componentes de um grid

3. Aplicativos 2. Middleware 1. Infraestrutura

17

Componentes de um grid

3. Aplicativos 2. Middleware

xgrid
1. Infraestrutura

18

Componentes de um grid

reduo de dados do LHC

3. Aplicativos 2. Middleware 1. Infraestrutura

vire-se!

19

Grids internacionais

20

21

Cloud

22

Cloud
Muitas (muitas) denies Mas o mais importante:

concentre-se no objetivo, terceirize os meios.

23

Componentes de uma Cloud

3. Aplicativos (SaaS) 2. Plataforma (PaaS) 1. Infraestrutura (IaaS)

24

Virtualizao

25

Virtualizao
Hardware de verdade: CPU, memria, disco, rede...

26

Virtualizao
Hardware de verdade: CPU, memria, disco, rede... Hypervisor: software de virtualizao

27

Virtualizao
Hardware de verdade: CPU, memria, disco, rede... Hypervisor: software de virtualizao Hardware virtualizado: VM

28

Virtualizao
Hardware de verdade: CPU, memria, disco, rede... Hypervisor: software de virtualizao Hardware virtualizado: VM Sistema operacional

29

Virtualizao
Hardware de verdade: CPU, memria, disco, rede... Hypervisor: software de virtualizao Hardware virtualizado: VM Sistema operacional Aplicaes

30

Virtualizao: alta-disponibilidade
Hardware de verdade Hypervisor VM OS Ap Hardware de verdade Hypervisor

31

Virtualizao: mltiplos SOs...

Hardware de verdade: CPU, memria, disco, rede... Hypervisor: software de virtualizao VM Linux Ap VM Win Ap VM Mac Ap VM BSD Ap VM ... Ap

32

Virtualizao: migrao
Hardware Hypervisor VM OS Ap

33

Virtualizao: migrao
Hardware Hypervisor VM OS Ap Hardware Hypervisor

34

Virtualizao: migrao
Hardware Hypervisor
VM S O p A

Hardware Hypervisor

35

Virtualizao: migrao
Hardware Hypervisor Hardware Hypervisor VM OS Ap

36

Virtualizao: migrao
Hardware Hypervisor Hardware Hypervisor VM OS Ap

37

Componentes de uma Cloud

3. Aplicativos (SaaS) 2. Plataforma (PaaS) 1. Infraestrutura (IaaS)

38

1. Infraestrutura (IaaS)

Hardware Hypervisor

Hardware Hypervisor

39

1. Infraestrutura (IaaS)

Hardware Hypervisor

Hardware Hypervisor

40

1. Infraestrutura (IaaS)

Hardware Hypervisor

Hardware Hypervisor

Conceito: voc ganha o processamento. Agora, vire-se!

41

2. Plataforma (PaaS)

VM OS bibliotecas linguagens congurao ...

42

2. Plataforma (PaaS)

VM OS bibliotecas linguagens congurao ...

43

2. Plataforma (PaaS)

VM OS bibliotecas linguagens congurao ...

44

2. Plataforma (PaaS)

VM OS bibliotecas linguagens congurao ...

Conceito: voc ganha o sistema congurado e as ferramentas de programao. Agora, vire-se!

45

3. Aplicativos (SaaS)

46

47

Tudo parece muito lindo, mas e a realidade?

48

49

Tanuki approximates #114 on the last 2010 Top 500

50

desde outubro/2010

51

A Global Processing Unit for the PNA?

desde outubro/2010

52

53

54

55

56

57

58

59

A situao do Brasil...

60

www.telegeography.com

61

Akamais The State of the Internet Q4 2010

62

Akamais The State of the Internet Q4 2010

63

Akamais The State of the Internet Q4 2010

64

Akamais The State of the Internet Q4 2010

65

Interesse mundial: Grid, Cloud, HPC

02/2007
66

Interesse mundial e Brasileiro: Grid, Cloud, HPC mundo 02/2007

Brasil

04/2008

67

Interesse nos BRICs: Grid, Cloud, HPC

Brasil 04/2008 Russia 09/2008

ndia

09/2007

China

09/2007

68

Interesse nos BRICs: demograa de HPC

Brasil Russia

ndia

China

69

Interesse nos BRICs: demograa de Grid

Brasil Russia

ndia

China

70

Interesse nos BRICs: demograa da Cloud

Brasil Russia

ndia

China

71

Fator novo...

72

A Cloud ser uma bolha?

Depende: Existir uma padronizao para a interoperabilidade entre Clouds? (problema chamado vendor lock-in)

73

A Cloud ser uma bolha?

Depende: Existir uma padronizao para a interoperabilidade entre Clouds? (problema chamado vendor lock-in) European Comission (consulta formal em Bruxelas dia 23 de maio!)
http://www.pcworld.com/businesscenter/article/223010/eu_puts_standardization_at_forefront_of_cloud_computing.html

IEEE (P2301 e P2302)

http://www.pcworld.com/businesscenter/article/224157/ieee_hopes_to_drive_cloud_computing_standards.html

74

A Cloud ser uma bolha?

Depende: Existir uma padronizao para a interoperabilidade entre Clouds? (problema chamado vendor lock-in) Problemas de infraestrutura de rede em alguns pases sero resolvidos? (quase non-issue nos EUA, Europa e Asia, mas um problema real por aqui) A Cloud ter acesso rpido aos dados? (I/O bottleneck)

75

Algumas mensagens
As Clouds foram criadas para facilitar a vida dos usurios. No mundo atual a Cloud inevitvel: ela j existe e j utilizada. Em Astronomia ela j est sendo adotada: Nasa & ESA j adotam.

76

77

Algumas mensagens
As Clouds existem para facilitar a vida dos usurios. No mundo atual a Cloud inevitvel: ela j existe e j utilizada. Em Astronomia ela j est sendo adotada: Nasa & ESA j adotam. O Brasil pode no ter infraestrutura para abrigar Clouds (especialmente cientcas). Rede hoje o principal gargalo, mas tambm falta um plano nacional consistente e de longo prazo em HPC (pelo menos para a Astronomia). A CLOUD UM PROJETO INTEGRADOR!

78

Obrigado!
http://en.wikipedia.org/wiki/Cloud_computing

79

1 iPhone Linpack (dp) pico : 38 MFlop/s mdio: 32 MFlop/s

80

1 iPhone Linpack (dp) pico : 38 MFlop/s mdio: 32 MFlop/s

~3x10^15 Flop/s ou... 3 Petaop/s em iPhones!

81

1 iPhone Linpack (dp) pico : 38 MFlop/s mdio: 32 MFlop/s

~3x10^15 Flop/s ou... 3 Petaop/s em iPhones! e o problema ... rede!

82

Obrigado!
http://en.wikipedia.org/wiki/Cloud_computing

83

1901
84

2009
85

Telgrafo

Internet

1901

2009
86

Exemplo de hardware de cloud...

87