Un Diluvio de Datos:

Realidades,Tendencias y
e-Iniciativas en Amrica Latina

Luis A. Nez
Escuela de Fsica
Universidad Industial de Santander, Bucaramanga-Colombia
Centro Nacional de Clculo Cientfico
Universidad de los Andes, Mrida-Venezuela
Gerencia de Relaciones Acadmicas RedCLARA

BIREDIAL 2011
11 mayo 2011
 qu es lo que viene ?

El Contexto general del diluvio

El diluvio en el mundo
E-Astronoma + E-Fsica Altas Energas
Algunas experiencias
Generalidades y Conclusiones
 Nuevos Paradigmas, Nuevas Realidades,
Una Revolucin Informacional.
Nuevo modo de produccin Capitalista
Cambio de los procesos implica cambios ms all de las TIC
De la Economa Industrial a la Economa Informacional
De los bienes materiales a los Servicios
El Conocimiento como Materia Prima para Producir nuevoConocimiento
La Economa Informacional
Global: Procesos de Escala Mundial en Tiempo Real.
Las economas nacionales se convierten en estrategia nacional.
Funciona en Red interdependiente
Requiere RR.HH. Altamente capacitados y creativos
Nueva Cultura Cientfica e-Investigacin
Teora - Experimentos - Simulacin
Multidisciplinaria & Colaboracin Remota
Data intensiva vs Cmputo Intensiva
Medicin y Minera de Datos.
Nueva forma de Comunicacin: preservacin-diseminacin del Conocimento
 Ciencia/Arte, Ciencia Industrial,
e-Ciencia/Ciencia 2.0
Ciencia Arte: Esfuerzo, ingenio y destrezas personales

Ciencia Industrial: Esfuerzo Colectivo, destrezas e ingenio

tecnolgico

e-Investigacin/Ciencia 2.0: Esfuerzo Global, destrezas e ingenio

informacional
Distribucin y penetracin de la electricidad en nuestras vidas replica el
proceso de distribucin y penetracin de las TIC

2100
2100 2100 2100

2100
Cluster Cluister
mono Memoria !"#$%&#'()*+,*

Paralelo Paralelo
,($-'./(00-/
*/(+((,(,1
-0((1 2#0.#$1
"/(3

Procesador Compart local

2100 2100 2100 2100

Universal

Iluminacin en el mundo Trfico Internet en el mundo

 Radio
Lejano Infrarojo
Visible

Polvo
Tsunami de Datos

Densidad Galactica

Visible + rayosX

De los datos al conocimiento ?

Simulaciones
Estructura del Universo
En los ltimos 5 aos de Astronoma
se han generado ms datos que en
SSimulaciones
toda su historia de Supernovas
La medicina y biologa contemporneas
tienen un alto contenido bioinformtico
El aumento exponencial de datos se va
originar en las redes inalmbricas de sensores
El aumento exponencial de datos se va
originar en las redes inalambricas de sensores
e-research
 Comb-e-Chem Project
Liz Lyon (2004) Realising the scholarly knowledge cycle http:// www.ukoln.ac.uk
Video
Simulation

Properties

Analysis
Diffractometer

Structures
Database

X-Ray Properties
e-Lab e-Lab

Grid Middleware
John R. Johnson, HPC for data intensive science,Pacific
Northwest National Laboratory
 Virtual Learning
Environment
Undergraduate
Digital Students
Library

Graduate
E-Scientists Students

Reprints E-Scientists

Peer-
Reviewed
Technical
Reports
Grid
Journal &
Conference Preprints &
Papers Metadata

Entire e-Science
E-Experimentation
Cycle
Institutional
Local Encompassing
Publisher Web
Holdings Archive
Certified
Experimental
Data, experimentation,
Metadata &
Results &
Analyses
Ontologies analysis, publication,
research, learning
Fuente: David De Roure (Univ. Southampton, UK)
 Descubrimiento. Soportes *sicos de
almacenamiento
archivos de medicin del instrumento Ciclo de vida
Cuaderno bitcora del inves9gador.
Recuperacin. Acceso y normalizacin en
de los datos
algn formato.
Anlisis. Mecanismos para procesar y analizar
los datos y construir informacin y,
posteriormente conocimiento
Resultados. A par9r de anlisis de los datos se
ob9enen los resultados, generando
informacin y conocimiento.
Almacenamiento. Los datos y los resultados
de sus anlisis son almacenados para luego ser
catalogados y diseminados.
Catalogacin y Publicacin. Parte/todos los
datos (medidos, simulados y procesados ) son
diseminados, u9lizado y reu9lizados por los
inves9gadores..
Microsoft Research ya propone un
cuarto paradigma cientfico

Jim Gray
El diluvio de datos no es solo ciencia
Distancia TempX TempY ! P IT AGOR IC .f9 0
0.0 53.15 53.15 !
! F UNCT IO NS:
0.01 54.00 54.00 ! PITA GOR IC - En try po
0.02 56.00 56.00 !

0.03 57.00 57.00 !** ** ** ** ** ** ** ** ** ** ** **

0.04 63.00 63.00 * ** ** ** ** ** ** ** ** ** ** ** **
!
0.05 67.00 67.00 ! P ROGR AM: PITA GORIC
!
0.06 73.00 73.00 ! P URP OSE : En try po in t for
0.07 70.00 70.00 !
!** ** ** ** ** ** ** ** ** ** ** **
0.08 78.00 78.00 * ** ** ** ** ** ** ** ** ** ** ** **
0.09 83.45 83.45
p ro gram PITAG ORIC
0.10 89.89 89.89
0.11 93.02 93.02 implicit no ne

0.12 95.00 95.00 ! Va riab les

integ er, pa ra mete r :: c atAfin
0.13 98,89 98,89 integ er a (ifin ), b (ifin ), c(ifi
0.15 101.00 101.00 integ er c atA, ca tB , h ip C, hi
!
0.16 120.00 120.00 ! Bo dy of P IT AGO RIC
0.17 150.00 150.00 c atA = 1 ; c atB = 2; hip C =
10 co ntin ue
0.18 156.89 156.89 h ip C2 = hipC ** 2
0.19 180.00 180.00 c p = c atA* *2 + ca tB ** 2
if hiptmp /= h ipC2 the n
0.20 199.00 199.00 if hiptmp > hipC 2 th
h ip C = h ip C + 1
e lseif hip C - ca tB =1

Artculos Interactivos c atA = c atA +

c atB = c atA + 1 ; hipC = hipB
e lse
c atB = c atB +

Grficos con Datos Asociados e lse

e nd if
e nd if

a (i) = ca tA; b (i) = ca tB;

Programas Ejecutables c atB = c atB + 1

h ip C = h ip C + 1
i = i + 1
e nd if

Distribuidos if ca tA < ca tA fin th en

g o to 10
e nd if
ite mp = i

Informacin Bibliohemerogrfica d o i = 1 , ite mp

p rint a (i), b (i), c (i)
e nd do
e nd

Tendencias en Publicaciones
Electrnicas 18
Puntos cruciales de los repositorios de datos
Generadores de creacin. Cada vez mas, la actividad de I+D de apoya,
con mayor nfasis, en reportes tcnicos que emergen del modelado y
remodelado datos. Las las publicaciones acabadas son vistas como un producto
final luego de varios de estos reportes. Esa situacin se nota con mayor frecuencia
en las grandes colaboraciones. Disponer de repositorios de datos que preserven
los distintos resultados del modelado se hace imprescindible
Conectores de Comunidades. Los ambientes de preservacin
reflejan el tipo de investigacin que se est desarrollando y los metadatos
informan sobre el tipo y calidad de las medidas. Cada vez mas la interrelacin
entre distintas fuentes de datos, proveniente de distintas disciplinas, se convierte en
el centro de la actividad para la produccin de conocimiento.
Curadura de Datos. Preservacin voltiles y frgiles bitcoras de laboratorios,
Archivos Medicin son transportados y clasificados a sistemas robustos
Pueden ser accedidos mucho tiempo despus de que el experimento haya finalizado
e, inclusive, de que el grupo de investigacin que lo gener se haya disuelto.

R.E Luce. No Brief Candle: Reconceiving Research Libraries for the 21st Century, volume 142, chapter A New
Value Equation Challenge: The Emergence of eResearch and Roles for Research Libraries,, pages 4251.
Council on Library and Information Resources, 2008.
http://sciencecommons.org/projects/publishing/open-access-data-protocol/
El conjunto completo de observaciones
astronmicas estarn accesibles en una red
de observatorios virtuales (IVOA)
VO: Arquitectura Conceptual

Usuarios Ambientes de descubrimiento

Ambientes de anlisis

Red Repositorios de Datos

 LHC Global Data Grid (2007+)
CMS Experiment 5000 physicists, 60 countries
10s of Petabytes/yr by 2008
Online 1000 Petabytes in < 10 yrs?
System
150 - 1500 MB/s CERN Computer
Tier 0 Center
10-40 Gb/s

Tier 1 Korea UK Russia USA

>10 Gb/s

Tier 2 U Florida Caltech UCSD

2.5-10 Gb/s

Tier 3 FIU Iowa Maryland

Tier 4 Physics caches PCs

La comunidad de
Fsica de Altas Energas
Muestra tendencias
 Fsica de Altas Energas
Costumbres de publicacin
From 2007 survey of 2,000 physicists by CERN, DESY, Fermilab and SLAC.
Gentil-Beccot et al, Information Resources in High-Energy Physics: Surveying the Present Landscape
and Charting the Future Course. J.Am.Soc.Inf.Sci.60:150-160,2009 arXiv:0804.2701
 . Y hacia el futuro
..
From 2007 survey of 2,000 physicists by CERN, DESY, Fermilab and
SLAC.
Gentil-Beccot et al, Information Resources in High-Energy Physics:
Surveying the Present Landscape and Charting the Future Course.
J.Am.Soc.Inf.Sci.60:150-160,2009 arXiv:0804.2701
El conocimiento, ms all de la mera Tcnica
 del Sur del Lago
Estaciones

de Maracaibo
Meteorolgicas

BioClim?ca
Informacin
(Mrida)
Estacin

Sistema de
Repetidora
Datos de
Satlites

CeCalCULA
(Procesamiento
de los datos)
Estaciones
Meteorolgicas
(Sur del Lago)

Internet

Investigadores,
Estaciones
Productores,
Receptoras
Usuarios
CIPLAT, Est. Chama
Datos de
Satlites

Productores
Mapas
Agricultores
Investigadores

Pueblo Nuevo CIPLAT-

Est. Chama
Grfic
os

El Moralito CeCalCULA

Boletine
s

Aroa Estaciones Intern

et
Meteorolgicas

Datos Numricos
HY Contreras, Z Mndez, R Torrns, y LA Nez. Desarrollo de la red bioclimtica
del estado mrida, venezuela: Estrategias de captura, manejo y preservacin de datos
ambientales. Interciencia, 33(11):795, 2008. http://www.saber.ula.ve
 VAMDC tiene como objetivo la construccin de una e-
infraestructura inter-operable para el intercambio de datos
atmicos y moleculares. Involucra 15 socios administrativos
que representan 24 grupos de investigacin de 6 pases de
la Unin Europea (UE), Serbia, la Federacin Rusa y
Venezuela.
VAMDC est patrocinado por la UE en el marco de la
iniciativa FP7 "Research Infrastructures - INFRA-2008-1.2.2 -
Scientific Data Infrastructures". Comenz el 01 de Julio 2009
con una duracin de 42 meses.
VAMDC aglutina a varios grupos de
investigacin de UE, EEUU y AL
UCL U Uppsala
U Cambridge
Open U
RAS
U Cologne RFNC

NIST

Queens U

CNRS U Vienna

IVIC
CeCalCULA
AO Belgrade

INA Italia
La interoperabilidad de las bases de datos y las
interfaces de acceso a datos es el centro de VAMDC
VAMDC se concibe como una warehouse
de datos A&M virtual distribuida
 Centro Virtual de Altos Estudios en Altas energas
cevale2
Fsica
BaBar (Colaboracin mundial, SLAC)
LAGO (Colaboracin, LA)
ATLAS (Colaboracin mundial, CERN)
TIC GridComputing/GridCollaboration
Estudios Sociales / Comunicacin Cientfica

VE:
Univ Los Andes
Univ Central de Venezuela
CO
Univ Industrial Santander
Univ Antonio Nario
Univ Tolima
Univ del Norte Barranquilla
 Binacional ?
Corredor Binacional de
Ciencia y Tecnologa

250 Km!!
~ 20 univs!
la frontera ms activa de Amrica Latina!
 LAGO: Large Aperture GRB Observatory!
Sierra Negra
4600 msnm!
Mrida !
4700 msnm!

Fisica Solar!

Chacaltaya 5300msnm!
Malargue!
1400 msnm!
GRB!
 LAGO Binacional
Superposicin de vista!
Distancias equivalentes a
otras intalaciones!
Inicio del Corredor de CyT!
Repostiorios de Datos LAGO: los destellos
gamma preservados y al alcance

WCD LAGO-DR
 Los destellos Gamma
detectados por observatorios
satelitales viven
el la web

http://grb.sonoma.edu/
 Acceso a Red de Repositorios de Datos
Anlisis y minera de datos
 Instalacin de DSpace

Cambi
Instalacin de LAGODatos o en el
cdigo
fuente
de
Dspac
e y de
su
instala
dor.
 INTERFAZ DE USUARIO - LAGODATOS

Se adapta la Interfaz
de DSpace para las
necesidades del
Grupo.
 Se implementa una rutina
en Java para optimizar la
visualizacin de la
jerarqua Comunidad
Coleccin.

Se implementa una rutina

en Java para optimizar la
seleccin de
Comunidades
Colecciones.
Datos LAGO se clasifican en tres tipos
Datos de calibracin del Instrumento
Medidas de los Instrumentos WCD
Datos Simulados
Cada archivo de datos est tipificado por un
modelo de metadatos adaptado a LAGO
El modelo de metadatos LAGOvirtual es una
adaptacin del CCLRC (Council for the
Central Laboratory of the Research
Councils. UK) y Dublin Core
Choron, 2nd EELA-2 Conference. 25-27 51
november 2009
 LAGOvirtual user interface

Item
Metadat
a

Item
archivos
asociado
s Choron, 2nd EELA-2 Conference. 25-27 52
november 2009
 LAGOvirtual user interface

Data file

Choron, 2nd EELA-2 Conference. 25-27 53

november 2009
LAGODATOS - AUTOINGESTIN
Rutina en Java para
Auto-ingestin de Datos.
Generacin
automtica del
formato Simple
Archive Format de
DSpace.

Generacin
automtica de
metadatos por
medio de la
cabecera de los
ARQUITECTURA DE LAGODATOS

Implementacin de LAGO en Nube

 Portal LAGO Virtual
Portal
AIRES (AIRshower Extended Simulations)

Acceso Datos Compartidos Ambiente de anlisis y

Base de
Conocimientos
Instrumentos Reales/Simulados simulacin en Lnea
instumental CORSIKA (COsmic Ray SImulations for KAscade)

LAGO Virtual
 Equipo LAGODatos
Rodrigo Torrns torrens@ula.ve
Luis A. Torres luis.torres@correo.uis.edu.co
Luis A. Nez lnunez@uis.edu.co y nunez@ula.ve

Gracias !
 Una estrategia Regional para comunidades
Apoyarnos en pases maduros (mx, br) para
promover comunidades en la regin
Das Virtuales Temticos
Eventos/Financiamientos conjuntos
Programas de Capacitacin Usuarios
Apoyarnos en pases maduros (co, cl) para
soporte tcnico de comunidades.
Centros de Soporte Tcnico Operaciones
Fuerzas de Tareas conjunta
Soporte a Usuarios para Aplicaciones Maduros

Apoyarnos en pases maduros (mx, br, co, cl)

Emergentes
programas financiamiento conjunto
Iniciados
Impulsar/Cooperar paises emergentes (pa, cr,
ec, ve cu)+(pe, ar, uy)
Foros/Talleres con personalidades de CyT
Capacitacin a Tcnico y Usuarios finales
Desarrollo de un plan de sustentabilidad e
inversiones Comunidades
Operacin
58
Serv
 1. Qu hace RedCLARA para las comunidades?

Identificar, construir, consolidar, apoyar

y buscar apoyo
Salud
Teconologa de Materiales Areas Temticas ISI de artculo
TIC (e-Gobierno) cientficos publicados por
TIC (Grids) investigadores
TIC (Biblitotecas Digitales) Latino-Americanos
Energas Renovables 2000-2008
Alimentos
Agua
Ciencias Sociales Opinin a las RNI
Biotecnogas Miembros de CLARA
Astronoma
Educacin Anlisis Comparativo de
Desastres Naturales 51 redes tematicas provenientes
Patrimonio Cultural (Arqueologa y
Patrimonio Inmaterial)
del Programa Ibero Americano de
CyT CYTED,
 Comunidades Emergentes RedCLARA
1. LACXSER(LAtinoamericanColaboratoryofeXp
erimentalSoftwareEngineeringResearch) 6
universidades.#
2. ReLANS (Red Latinoamericana de
Nanotecnologa y Sociedad) 18 research
institutions #
3. MAYA (Red de Microorganismos, Agricultura y
Alimentos) 5 research institutions#
4. MCISur (Manejo Costero Integrado del Cono
Sur) 7research institutions#
5. LAGO (Large Aperture Gamma Ray Burst
Observatory) 15 institutions#
6. MAPA D2 (Mapa e Programa de artes em danca
digital) 7 institutions#
7. LACLO (Latin American Community of Learning
Objects) 7 institutions#
8. CoLaBoRa (Comunidad Latinoamericana de
Bibliotecas y Repositorios Digitales) #
9. URDIMBRE (Research of the impact of TIC in 7.
#
education) 13 institution
1. LAGO (Large Aperture Gamma Ray Burst
Observatory) 15 institutions#
2. MAPA D2 (Mapa e Programa de artes em danca
digital) 7 institutions#
3. LACLO (Latin American Community of Learning
Objects) 7 institutions#
4. CoLaBoRa (Comunidad Latinoamericana de
Bibliotecas y Repositorios Digitales)
5. FLUCAP Programa de Influenza para
Centroamrica y Panam
6. TIC en FID Formacin Docente Inicial
ACHALAI Red internacional de recuperacin del
patrimonio inmaterial de tradiciones musicales
8. Grid Computacin Cientfica y de Alto
Rendimiento
9. ARCU-RED Comunidad de arte y cultura en la
red
10. IPOL-LA Image Processing Online Latin America
11. CLARISE Comunidad Latinoamericana Abierta
Regional de Investigacin Social y Educativa
12. Latin IDE Comunidad Latinoamericana de
Infraestructura de Datos Espaciales
13. CLIC Comunidad Latinoamericana de 60
Investigacin y Construccin de Conocimiento
 Gracias !