Infraestructura tecnológica de la organización

Andrés Danilo Vásquez Murcia

Instructor
Cesar Manuel Castillo Rodríguez
VALIDACIÓN DE TÉCNICAS DE MIGRACIÓN Y HERRAMIENTAS ETCL

Sena
Gestión y seguridad de bases de datos
Bogotá
Agosto de 2019
 Contenido

INTRODUCCIÓN......................................................................................................................
OBJETIVO................................................................................................................................
DESARROLLO..........................................................................................................................
1. CUADRO COMPARATIVO:...................................................................................................
2. HERRAMIENTAS ETCL.........................................................................................................
APLICACIONES:.......................................................................................................................
APLICACIÓN DE USO LIBRE: BENTL.........................................................................................
HERRAMIENTA SELECCIONADA: ORACLE11G........................................................................
SOFTWARE PROPIETARIO: DATA INTEGRATION HUB............................................................
BIBLIOGRAFIA.........................................................................................................................
 INTRODUCCIÓN

Cuando se encuentra ante el escenario de distintas maneras de disposición de la

información, se puede llegar a encontrar que esa información es ineficiente o no
sirve para nada, por ello, es importante que la información se encuentre disponible
para distintas plataformas y en todas signifique exactamente lo mismo.

Cuando migramos datos de un sistema a otro, existen muchos factores que se

deben tener en cuenta, por ejemplo: procesos de negocio, limpieza de datos,
fuentes de información, equipos de trabajo, herramientas a utilizar, planes de
pruebas, etc.

En este trabajo se pretende realizar una somera comparación entre las distintas
técnicas de migración y algunas aplicaciones útiles para la migración de datos.
 OBJETIVO

Caracterizar las diferentes técnicas de migración de datos.

Reconocer algunas aplicaciones para migración de datos, disponibles en el

mercado.
 DESARROLLO

1. CUADRO COMPARATIVO:

2. HERRAMIENTAS ETCL

Existen muchas herramientas de ETCL diferentes, como también hay infinidad de

bases de datos, sistemas y organizaciones distintas. En el momento de seleccionar
la que liderará la migración e integración de datos pueden tomarse en consideración
las recomendaciones de Gartner1 en cuanto a las cualidades que la herramienta ha
de presentar:

 Adaptabilidad a distintos sistemas operativos y plataformas hardware.

 Capacidades de gestión de datos: en cuanto a minería, perfilado y calidad.
 Habilidades para monitorizar, gestionar y controlar los procesos de
integración de datos: en lo relativo a gestión de errores, recolección de
estadísticas de ejecución, controles de seguridad, etc.
 Capacidades SOA.
 Capacidades de diseño y entorno de desarrollo: como soporte para test,
representaciones gráficas, modelos y flujos de datos y flujos de datos, etc.
 Cualidades de arquitectura e integración referidas al grado de
interoperabilidad, compactación y consistencia de los diferentes
componentes que la formen.
Aunque la elección de un software de ETCL no es sencilla, su repercusión en el
curso del proyecto es decisiva. Una decisión correcta pasa por la automatización y
en base a ella quedan garantizados:

 Un aumento en la velocidad de desarrollo del proyecto.

 La descentralización del control de la ejecución y de todos los procesos.
 Una mayor agilidad en el negocio.
 Mayor precisión.
 Minimización de errores.

APLICACIONES:

APLICACIÓN DE USO LIBRE: BENTL

Es una herramienta ETL de uso libre, desarrollado entre los años 2007 – 2014,
hecha en java y trabaja con base a lenguajes de base de datos PostgreSQL o
MySQL.

Esta herramienta se creó para facilitar el trabajo con archivos TXT, CSV o archivos
de fuente de datos XML. Para recuperar los datos que tendrán que definir un dato
de tiempo y una entidad, que está representado por datos a calcular o para mostrar.
Todos los objetos útiles serán creados por Benetl dentro de una base de datos
MySQL o PostgreSQL. La aplicación también es capaz de recuperar
automáticamente los datos mediante el uso de diversas tareas planificadas de su
sistema.

Mediante el uso de Benetl podrá se ha podido recuperar fácilmente la información

de los archivos de datos planos, la organización y el filtrado de acuerdo con su dato
de tiempo y entidad.
CARACTERISTICAS BENTL

 Java 7 update 80
 PostgreSQL 9.5.0
 MySQL 5.6 con función de OLD_PASSWORD de inicio de sesión de usuario
(para controlador suministrado)
 Con Windows (se utiliza "tareas programadas")
 Benetl 4.7 funciona en Linux.

REQUERIMIENTOS TECNICOS:

 ejecución de Java (JRE) 1.7

 base de datos PostgreSQL 9.5
 base de datos de MySQL 5.6 con OLD_PASSWORD la función de inicio de
sesión de usuario o el controlador oficial de MySQL (no incluido)
 Probado en sistemas de 64 bits.

Ejemplo: Nombre EtlTool… Definir Nombre, Este nombre es también el nombre de

la tabla de PostgreSQL o tabla de MySQL donde se almacenan las líneas de datos.

Un archivo llamado "EtlTool.bat" se creará en la carpeta de origen de datos.

HERRAMIENTA SELECCIONADA: ORACLE 11G

Herramienta Oracle Database 11g: Oracle Warehouse Builder Enterprise etl Option

Características:

 La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder

es una opción que puede ser adquirida con Oracle Warehouse Builder como
parte de la edición empresarial del motor de base de datos.
 Permite ejecutar cargas de datos usando métodos rápidos y eficientes tales
como el Oracle Data Pump y transportable tablespaces.
 Permite prever el efecto que puedan tener los cambios que se hagan
encualquier lugar de los metadatos del sistema ETL
  Es posible generar un modelo para configurar los ambientes de desarrollo,
pruebas y producción a niveles separados.

Oracle Warehouse Builder 11g Release 1 es una completa herramienta para todos
los aspectos de administración de datos y metadatos. Esta brinda características
para asegurar la calidad de datos, que integran el modelado relacional y
multidimensional y que permiten la administración de todo el ciclo de vida de datos
y metadatos.

Enterprise ETL Option. La opción empresarial ETL (Enterprise ETL Option) para
Warehouse Builder es una opción que puede ser adquirida con Oracle Warehouse
Builder como parte de la edición empresarial del motor de base de datos (Oracle DB
Enterprise Edition).

Una de las características más interesantes del nuevo rendimiento de Oracle

Database 11g son vistas materializadas basadas en OLAP. Los métodos
convencionales para el ajuste del desempeño para esquemas de estrella dentro de
los almacenes de datos han implicado durante mucho tiempo el uso de tablas de
resumen (o vistas materializadas).

Con este enfoque, el rendimiento de las consultas se ve mejorado al calcular

previamente uno o más resúmenes y al almacenar esos resúmenes en el almacén
de datos.

El tamaño de los almacenes de datos más grandes está creciendo

exponencialmente. En la actualidad, cada vez más procesos de negocios se vuelven
completamente automatizados y se recopilan más datos con mayores niveles de
detalle, de manera que estos aumentos en el volumen de datos no muestren signos
de reducción. Oracle Database 11g ofrece cuatro capacidades clave para permitir
la escalabilidad: Particionamiento, compresión, agrupamiento en clusters y
paralelismo.
SOFTWARE PROPIETARIO: DATA INTEGRATION HUB

La solución Data Integration Hub proporciona excelentes resultados en la

integración de datos complejos, algo necesario ya en muchas empresas puesto que,
incluso los entornos de integración de datos empresariales a gran escala mejor
administrados aumentan de complejidad con el tiempo, dificultando la tarea de
descubrir errores e inconsistencias. Aspecto crítico en cualquier migración de datos
que se planee llevar a cabo si se quiere garantizar la solidez y calidad en los
resultados.

Los beneficios que esta solución de integración, indispensable en cualquier

herramienta de migración de bases de datos, aporta son de gran valor para el
negocio:

 Garantía de independencia en las aplicaciones: que consigue que

operaciones como una migración de datos, su actualización o su traslado a
la nube-todo se tornen mucho más simples, disminuyendo drásticamente la
tasa de errores y el tiempo empleado para su consecución.
 Aumento sustancial de los niveles de productividad de TI: llegando a
alcanzar cifras de hasta un setenta por ciento menos de interfaces en
grandes implementaciones.
 Aseguramiento del control total: tanto sobre el linaje de los datos, como
sobre su trazabilidad y seguridad.
 Dirección efectiva del negocio: capacidad de tomar posesión de la lógica de
negocio sin la necesidad de esperar a las respuestas o soluciones por parte
de TI.
 Habilitación TI: la solución aporta la capacidad para diseñar y gestionar el
flujo y consumo de información de forma que se traduzca inmediatamente
en ventaja competitiva distintiva de las empresas que saben tomar acción
con agilidad.

Data Integration Hub se diferencia de otras herramientas de migración de bases de

datos del mercado por su flexibilidad y su coherencia. Permite, además, disminuir
la complejidad general de una operación de migración de datos y garantizar agilidad
en los procesos.
 BIBLIOGRAFIA

http://blog.powerdata.es/el-valor-de-la-gestion-de-datos/bid/353132/ETL-t-
cnicasdemigraci-n-y-tipos-de-software

https://platzi.com/blog/que-es-postgresql/

http://www.oracle.com/technology/products/warehouse/11gr1/datasheets/warehou
sebuilder-11g-etldatasheet.pdf