AA5-Ev1-Validación de técnicas de migración y herramientas ETCL

para la Alcaldía de San Antonio del Sena

ACTIVIDAD FASE 3 PLANEACIÓN - EVIDENCIA AA5-Ev1

ESPECIALIZACIÓN TECNOLÓGICA EN GESTIÓN Y

SEGURIDAD DE BASES DE DATOS.

Néstor Alfredo Sánchez Hernández.

Instructora de curso.
BELKIS MILENA GUELL MUÑOZ

Octubre 2019.

Centro Nacional Colombo Alemán SENA (Virtual) Regional Atlántico.

SERVICIO NACIONAL DE APRENDIZAJE SENA
COLOMBIA
2019
 Tabla de Contenido

Introducción…………………………………………………………………………………………………………………………. 3

1. Objetivos generales…………………………………………………………………………………………………………. 3

1.1 Objetivos Específicos …………………………………………………………………………………………………. 3

2. Cuadro comparativo de las diferentes técnicas de migración de datos ………………………….... 4

3. Herramientas ETCL ………………………………………………………………………………………………. 5,6,7 y 8

4. Conclusiones ………………………………………………………………………………………………………...………… 9
 Introducción
Cuando migramos datos de un sistema a otro, existen muchos factores que se deben tener en
cuenta, por ejemplo: procesos de negocio, limpieza de datos, fuentes de información, equipos de
trabajo, herramientas a utilizar, planes de pruebas, etc.

Cuando se encuentra ante el escenario de distintas maneras de disposición de la información, se

puede llegar a encontrar que esa información es ineficiente o no sirve para nada, por ello, es
importante que la información se encuentre disponible para distintas plataformas y en todas
signifique exactamente lo mismo.

En este trabajo se pretende realizar una comparación entre las distintas técnicas de migración y
algunas aplicaciones útiles para la migración de datos.

1. Objetivos Generales
Caracterizar las diferentes técnicas de migración de datos que permitan visualizar y ordenar la
información de manera tal que sea de fácil acceso, garantizando el desempeño optimo del software
y facilitando la labor de las personas que integran la alcaldía de Sanantonio del Sena.

1.1 Objetivos específicos

 Acceso eficiente a la información (fácil y rápido).

 Confiabilidad y eficiencia.
 Reconocer algunas aplicaciones para migración de datos, disponibles en el mercado.
2. Cuadro comparativo de las diferentes técnicas de migración de datos.
Tiempo Facilidad para
Requerimientos Ventajas y aproximado la limpieza y
Técnica técnicos para su desventajas para la transformación Costos
utilización. realización de datos
del proceso
Se copian datos y Nos permite
metadatos de una BD olvidarnos de los
origen a BD destino ficheros que Copia tal cual, Es Los costos
mediante una forman la base varían
herramienta 2 a 6 meses muy fácil realizar dependiendo
de datos.
SINCRONIZACIÒN
tecnológica la limpieza y la de la
Utiliza mucho la transformación complejidad
memoria RAM de datos. de la base
de datos.
para las
instalaciones y
utilización de
software
Utiliza archivos Los archivos de
planos. Los sistemas texto Deben
de codificación más tener formato Depende Es muy fácil Los costos
comunes para estos delimitado del complejo realizar la varían
CVS O XML
archivos son: ASCII, usando coma de la base limpieza y la dependiendo
ISO- 8859-1 o Latín- 1 (,), Punto y de datos, de transformación de la
y Unicode. coma (;). 2a6 de datos. complejidad
meses. de la base
Codificación. de datos.
Accesibilidad a
los datos.
Permiten realizar Varia
copias de dependiendo
seguridad, Bastante de la
pruebas y complejo. complejidad
creación o
Genera scripts SQL actualización de
de la base
que permiten realizar dato. Hasta un de datos,
DML migraciones de bases año De fácil limpieza puede llegar
de datos existentes Lentitud para las hacer
escrituras. Los bastante
índices afectan el costoso.
rendimiento de
algunos
comandos.
se basa en el diseño y Es la forma Los costos
construcción de más fiel de Bastante varían
procedimientos realizar la complejo y De fácil limpieza, dependiendo
técnicos para realizar migración de depende de pero es muy de la
ETCL Extracción, datos. la BD dispendioso complejidad
Transformación, El proceso de Hasta un de la base
Limpieza y Cargue de limpieza año de datos.
Datos (ETCL). es muy
dispendioso.
3. En lo relacionado a herramientas ETCL, esta documentación debe incluir una aplicación de
uso libre, otra de software propietario y la que posee el SMBD seleccionado para sus
prácticas, donde se identifique los servicios asociados a migración de datos que ofrece,
teniendo en cuenta los siguientes aspectos:

Nombre del producto y Versión.

Benetl versión 4.9.1: Es una herramienta ETL de uso libre, desarrollada entre los años 2007 –
2014, hecha en java y trabaja con base a lenguajes de base de datos PostgreSQL o MySQL. Esta
herramienta se creó para facilitar el trabajo con archivos TXT, CSV o archivos de fuente de datos
XML. Para recuperar los datos que tendrán que definir un dato de tiempo y una entidad, que está
representado por datos a calcular o para mostrar. Todos los objetos útiles serán creados por Benetl
dentro de una base de datos MySQL o PostgreSQL. La aplicación también es capaz de recuperar
automáticamente los datos mediante el uso de diversas tareas planificadas de su sistema. Mediante
el uso de Benetl podrá se ha podido recuperar fácilmente la información de los archivos de datos
planos, la organización y el filtrado de acuerdo con su dato de tiempo y entidad.

Tareas de migración de datos que pueden ser cubiertas por la aplicación y cuáles no.

 recuperar una subcadena del valor del campo que lo usa, con una expresión regular
 recuperar una subcadena del nombre del archivo de origen de datos
 agregar cadenas al valor del campo
 usar valores de campos analizados previamente
 combinar funciones matemáticas junto con valores y / o valores de campos

En este ejemplo, estamos utilizando dos campos adicionales, una expresión regular y una condición
if (presentada por Benetl versión 3.5 ).
El objetivo es: si el valor1 del campo contiene la subcadena "asa", recuperamos el valor de este
campo excepto asa (valor value1 sin "asa").
De lo contrario (si value1 no contiene "asa", le damos el valor "rien" (nada en francés)).
El archivo de fuente de datos "test3.txt" es:
entidad; fecha;
valor1; valor2 guillaume; 16/04/2009; diasafi; sipo
ben; 15/03/2009; olasaps; iksipo
thom; 16/02/2009; pifo; ospo

Tiene 4 columnas, las dos últimas columnas contienen los valores.

Formatos de Archivos que manipula.

 Uso de línea de comandos, funciones especiales.
La interfaz (GUI) de Benetl proporciona una función llamada "visor de fórmulas parciales”.
Le ayuda a definir y probar su "fórmula de parte" al darle el resultado de acuerdo con la línea de
fuente de datos que se leerá.

El operador " parte " tiene una sintaxis especial:

Para recuperar una subcadena del valor del campo actual, puede usar la palabra " regex ".
Para recuperar una subcadena del nombre de archivo, puede usar la palabra " nombre de archivo ".
Para agregar una cadena al valor del campo actual, puede usar el carácter " . "
Si necesita usar un valor de un campo analizado previamente, puede usar la palabra " campo ".
Esta palabra es seguida por el número del campo.
Benetl admite 23 funciones matemáticas que puede usar y combinar en una misma parte " . " De su
"fórmula de parte" :
 inv
inv (campo) o inv
 abdominales
abs (campo) o abs
 min
min (campo1; campo2) o min (campo1; valor) o min (valor; campo1)
 max
max (campo1; campo2) o max (campo1; valor) o max (valor; campo1)
 promedio
avg (campo1; campo2) o avg (campo1; valor) o avg (valor; campo1)
 más
más (campo1; campo2) o más (campo1; valor) o más (valor; campo1)
 menos
menos (campo1; campo2) o menos (campo1; valor) o menos (valor; campo1)
  dividir
dividir (campo1; campo2) o dividir (campo1; valor) o dividir (valor; campo1)
 multiplicar
multiplicar (campo1; campo2) o multiplicar (campo1; valor) o multiplicar (valor; campo1)
 dist
dist (campo1; campo2) o dist (campo1; valor) o dist (valor; campo1)
 redondo
round (campo1) o round (valor)
 fortificar techo
ceil (campo1) o ceil (valor)
 suelo
piso (campo1) o piso (valor)
 cuadrado
cuadrado (campo1) o cuadrado (valor)
 pow
pow (campo1; campo2) o pow (campo1; valor) o pow (valor; campo2)
 Exp
exp (campo1) o exp (valor)
 Iniciar sesión
log (campo1) o log (valor)
 como en
asin (campo1) o asin (valor)
 pecado
sin (campo1) o sin (valor)
 acos
acos (campo1) o acos (valor)
 cos
cos (campo1) o cos (valor)
 un bronceado
atan (campo1) o atan (valor)
 bronceado
tan (campo1) o tan (valor)

Automatización de tareas
Estas funcionalidades matemáticas realizan algunas tareas automaticas (inv, abs, min, max, avg,
plus, minus, divide, multiplica, dist, round, ceil, floor, square, pow, exp, log, asin, sin, acos, cos, atan,
tan) no se puede usar con "regex" , "nombre de archivo" , "intervalo" , "minúscula" , "mayúscula" ,
"número_línea" dentro de una misma parte " . " de la "fórmula de parte" .

Benetl 2.7 agrega 4 nuevas funciones:

reemplazar
reemplazar (valor1; valor2) ya que la versión 2.9 separador es ";" para reemplazar la función
Benetl 2.8 agrega una nueva función:
substr
substr (campo1; valor1; valor2)
Ejemplo de uso substr:
substr (campo2; 0; 2)
Benetl 3.5 agrega una nueva función:
Si
if (fieldX == 4; ok; falso)
if (fieldX> = fieldY; ok; falso)
if (campo X <= 6.5; ok; falso)
if (fieldX == 5; ok; falso)
if (fieldX contiene ben; ben; fieldX)
Benetl 4.1 agrega a esta función:
if (fieldX> fieldY; ok; falso)
if (campo X <6.5; ok; falso)
El primer argumento es la condición. El segundo argumento se usa si la condición es verdadera. El
tercer argumento se usa si la condición es falsa. Puede usar la función "if" con las funciones
matemáticas descritas anteriormente.
Benetl 4.5 agrega función de hecho:
hecho (5)

Requerimientos técnicos para su utilización.

 ejecución de Java (JRE) 1.7

 base de datos PostgreSQL 9.5
 base de datos de MySQL 5.6 con OLD_PASSWORD la función de inicio de sesión de usuario
o el controlador oficial de MySQL (no incluido)
 Probado en sistemas de 64 bits.

Ejemplo: Nombre EtlTool… Definir Nombre, Este nombre es también el nombre de la tabla de
PostgreSQL o tabla de MySQL donde se almacenan las líneas de datos. Un archivo llamado
"EtlTool.bat" se creará en la carpeta de origen de datos.
 5. CONCLUSIONES

La migración de Datos puede ser abordado desde diferentes enfoques. Una alternativa es usar una
de las diferentes técnicas de migración de Datos a partir de la complejidad de la base de datos y del
SMBD que se esté usando. Un segundo enfoque es utilizar una de las diferentes técnicas de
migración teniendo en cuenta los recursos con los que se cuentan, como lo son; el recurso humano
(los ingenieros que realizarían la migración), el recurso tecnológico (equipo de cómputo y software),
esto permite mejorar la estrategia de negocio mediante el diseño de tácticas que generen ventajas
competitivas en el mercado.