Documente Academic
Documente Profesional
Documente Cultură
Presentado por:
TÉCNICAS EXISTENTES
Existen varias técnicas relacionadas con los procesos de migración de datos, a continuación se
relacionan las más utilizadas en los procesos actuales.
Es una técnica muy utilizada en procesos de migración de datos, consiste en hacer que dos bases de
datos sean equivalentes en el mismo tiempo.
Se logra mediante la copia de datos y metadatos de una base de datos origen a una base de datos
destino mediante una herramienta tecnológica. Los asistentes de sincronización de los SMBD son
configurados con las bases de datos origen y la base de datos destino, parametrizando la ubicación
de particiones y métodos de seguridad.
Para las actividades de migración de datos es muy común utilizar archivos para el movimiento de
los datos. Se pueden utilizar diferentes tipos de archivos, pero los formatos más usados son los
archivos de texto, llamados archivos planos, que guardan la información sin formato usando solo
caracteres.
Los sistemas de codificación más comunes para estos archivos son: ASCII, ISO-8859-1 o Latín-1 y
Unicode.
Los archivos de texto pueden tener formato delimitado utilizando coma (,), punto y coma (;) o
Tabulaciones para delimitar los campos definiendo de esa forma columnas y filas. También pueden
tener formato de ancho fijo para los campos, que se utiliza para delimitar columnas y filas.
Otro formato útil para la migración de datos es el “.XML” (eXtensible Marckup Language), que utiliza
un metalenguaje extensible de etiquetas las cuales sirven como estándar para intercambio de
información estructurada entre distintas plataformas.
SENTENCIAS DML
Una posibilidad de los SMBD es la utilización de sentencias DML para generar scripts SQL que
permiten realizar migraciones de bases de datos existentes.
Copia de seguridad para creación de todos los usuarios, grupos, inicios de sesión y permisos.
Creación o actualización de código para la implementación de una base de datos.
Creación de un entorno de pruebas.
Los procesos se orientan al uso de las sentencias DML, para realizar el paso de datos de la base de
datos de origen a la base de datos destino, a través de los entornos administrativos de los SMBD.
Esta técnica se basa en el diseño y construcción de procedimientos técnicos para realizar Extracción,
Transformación, Limpieza y Cargue de Datos (ETCL). Los procedimientos o pasos necesarios para
el desarrollo de un proyecto de migración de datos utilizando la metodología ETCL son:
En todo proceso de migración, se ha de proceder a integrar dos o más sistemas por lo cual pueden
usarse diferentes técnicas, siendo las más comunes:
Perfilado de datos: Permite explorar los propios datos, agregando a los de origen las reglas
necesarias. Esta técnica hace posible también el obtener resultados acerca de duplicidades
o errores en los datos.
Limpieza de datos: Puede llevarse a cabo empleando para ello una herramienta de Data
Quality que ayude a eliminar errores, incorrecciones o duplicidades, entre otras
inconsistencias; y que, al mismo tiempo, enriquezca y homologue los datos, preparándolos
para el sistema de destino.
Conexión a distintas fuentes de datos: Técnica que precisa de una herramienta ad hoc que
garantice el hacerlo en condiciones de simultaneidad.
Las ventajas que proporciona el usar estas tecnologías se traducen en un aumento de la precisión,
reducción del índice de errores, mayor agilidad y optimización del tiempo; ya que su
automatización evita los procesos manuales, algo que supone su principal beneficio.
Existen muchas herramientas de ETL diferentes, como también hay infinidad de bases de datos,
sistemas y organizaciones distintas. En el momento de seleccionar la que liderará la migración e
integración de datos pueden tomarse en consideración las recomendaciones de Gartner en cuanto
a las cualidades que la herramienta ha de presentar:
Benetl: Es una herramienta ETL de uso libre, desarrollada entre los años 2007 – 2014, hecha en java
y trabaja con base a lenguajes de base de datos PostgreSQL o MySQL.
Esta herramienta se creó para facilitar el trabajo con archivos TXT, CSV o archivos de fuente de
datos XML. Para recuperar los datos que tendrán que definir un dato de tiempo y una entidad, que
está representado por datos a calcular o para mostrar. Todos los objetos útiles serán creados por
Benetl dentro de una base de datos MySQL o PostgreSQL. La aplicación también es capaz de
recuperar automáticamente los datos mediante el uso de diversas tareas planificadas de su sistema.
Mediante el uso de Benetl podrá se ha podido recuperar fácilmente la información de los archivos
de datos planos, la organización y el filtrado de acuerdo con su dato de tiempo y entidad.
Caracteristicas Benetl
Tecnologias:
Java 7 update 80
PostgreSQL 9.5.0 (con el apoyo plpgsql)
MySQL 5.6 con función de OLD_PASSWORD de inicio de sesión de usuario (para
controlador suministrado)
Con Windows (se utiliza "tareas programadas")
Benetl 4.7 funciona en Linux.
Requerimientos Tecnicos:
ejecución de Java (JRE) 1.7
base de datos PostgreSQL 9.5 con soporte plpgsql
base de datos de MySQL 5.6 con OLD_PASSWORD la función de inicio de sesión de
usuario o el controlador oficial de MySQL (no incluido)
Probado en sistemas de 64 bits
Ejemplo: Nombre EtlTool… Definir Nombre, Este nombre es también el nombre de la tabla
de PostgreSQL o tabla de MySQL donde se almacenan las líneas de datos.
Un archivo llamado "EtlTool.bat" se creará en la carpeta de origen de datos.
Debe presionar enter para validar su nombre EtlTool, y luego se pueden guardar los
parámetros.
Los paquetes pueden funcionar en solitario o junto con otros paquetes para hacer frente a las
complejas necesidades de la empresa. Integration Services puede extraer y transformar datos de
diversos orígenes como archivos de datos XML, archivos planos y orígenes de datos relacionales y,
después, cargar los datos en uno o varios destinos.
También se puede programar el amplio modelo de objetos de Integration Services para crear
paquetes mediante programación y codificar tareas personalizadas y otros objetos de paquete.
El SSIS Import/Export Wizard permite mover datos de origen a destino sin modificar los datos del
origen y permitiendo hacer iteraciones y cambios de información antes de llegar al destino dentro
de tablas de ETL. Se pueden importar datos de fuentes diferentes a SQL Server.
Caracteristicas SSIS
Es una complete herramienta para todos los aspectos de administración de datos y metadatos. Esta
brinda características para asegurar la calidad de datos, que integran el modelado relacional y
multidimensional y que permiten la administración de todo el ciclo de vida de datos y metadatos
La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una opción que puede
ser adquirida con Oracle Warehouse Builder como parte de la edición empresarial del motor de
base de datos (Oracle DB Enterprise Edition).
Figura 1 Opciones de Warehouse Builder.
Este resumen ejecutivo cubre únicamente la ETL Enterprise Option como se muestra en la figura 1.
En grandes implementaciones, más y más procesos se ejecutan en paralelo, agotando los recursos
debido a las grandes cantidades de datos que participan en la carga.
Como parte de la Enterprise ETL Option, Warehouse Builder permite ejecutar cargas de datos
usando métodos rápidos y eficientes tales como el Oracle Data Pump y transportable tablespaces.
Esta es una aproximación completamente diferente al movimiento de datos que se realiza por
medio de conjuntos de datos controlados por el motor de base de datos. Los incrementos en
velocidad de carga se deben entonces a la omisión de las capas SQL tradicionales.
Una vez, los usuarios de negocio han decidido que atributos son importantes, el modelador de
datos diseña la dimensión. Con los pasos de ETL el desarrollador ve esta dimensión como cualquier
otra. El siguiente paso es definir cómo efectuar los cambios y actualizaciones en la dimensión.
Warehouse Builder automatiza esto basado en la definición de la dimensión. La combinación entre
estos pasos, el diseño y la estandarización hacen que los procesos relacionados con dimensiones
lentamente cambiantes presente un alto desempeño en su ejecución.
Por primera vez, tendrá la posibilidad de administrar los cambios de su sistema de manera
proactiva. Como un ejemplo (Figura 3), usted puede propagar los cambios a través de su sistema
haciendo uso el Mapping Editor.
Tener que mover sistemas o aplicaciones de un ambiente a otro (por ejemplo de desarrollo a
producción) es un problema frecuente.
Con la Enterprise ETL Option de Warehouse Builder, es posible generar un modelo para configurar
los ambientes de desarrollo, pruebas y producción a niveles separados. Para mover los cambios
desde el ambiente de desarrollo a producción, el código generado en desarrollo es modificado en
producción solo en áreas específicas. Por ejemplo, la información sobre las conexiones es
substituida por la definida en desarrollo.
Conluciones:
http://www.oracle.com/us/corporate/pricing/price-lists/business-intelligence-price-list-
071347.pdf
BIBLIOGRAFIA.
http://blog.powerdata.es/el-valor-de-la-gestion-de-datos/bid/353132/ETL-t-cnicas-de-migraci-n-y-
tipos-de-software
https://platzi.com/blog/que-es-postgresql/
http://www.oracle.com/technology/products/warehouse/11gr1/datasheets/warehouse-builder-
11g-etldatasheet.pdf