Documente Academic
Documente Profesional
Documente Cultură
CURSO
APRENDIZ
AA5-Ev1
TUTOR
Camilo Andres Gutierrez Oviedo
SERVICIOS FINANANCIERO
TÉCNICAS EXISTENTES
Existen varias técnicas relacionadas con los procesos de migración de datos, a continuación se
relacionan las más utilizadas en los procesos actuales.
SINCRONIZACIÓN DE BASE DE DATOS
Es una técnica muy utilizada en procesos de migración de datos, consiste en hacer que dos bases
de datos sean equivalentes en el mismo tiempo.
Se logra mediante la copia de datos y metadatos de una base de datos origen a una base de datos
destino mediante una herramienta tecnológica. Los asistentes de sincronización de los SMBD
son configurados con las bases de datos origen y la base de datos destino, parametrizando la
ubicación de particiones y métodos de seguridad.
En todo proceso de migración, se ha de proceder a integrar dos o más sistemas por lo cual
pueden usarse diferentes técnicas, siendo las más comunes:
Perfilado de datos: Permite explorar los propios datos, agregando a los de origen las
reglas necesarias. Esta técnica hace posible también el obtener resultados acerca de
duplicidades o errores en los datos.
Limpieza de datos: Puede llevarse a cabo empleando para ello una herramienta de
Data Quality que ayude a eliminar errores, incorrecciones o duplicidades, entre otras
inconsistencias; y que, al mismo tiempo, enriquezca y homologue los datos,
preparándolos para el sistema de destino.
Conexión a distintas fuentes de datos: Técnica que precisa de una herramienta ad
hoc que garantice el hacerlo en condiciones de simultaneidad.
Las ventajas que proporciona el usar estas tecnologías se traducen en un aumento de la
precisión, reducción del índice de errores, mayor agilidad y optimización del tiempo; ya que su
automatización evita los procesos manuales, algo que supone su principal beneficio.
QUÉ SE DEBE TENER EN CUENTA PARA LA ELECCIÓN DEL SOFTWARE DE ETL
Existen muchas herramientas de ETL diferentes, como también hay infinidad de bases de datos,
sistemas y organizaciones distintas. En el momento de seleccionar la que liderará la migración e
integración de datos pueden tomarse en consideración las recomendaciones de Gartner en
cuanto a las cualidades que la herramienta ha de presentar:
Adaptabilidad a distintos sistemas operativos y plataformas hardware.
Capacidades de gestión de datos: en cuanto a minería, perfilado y calidad.
AA5-Ev1
Habilidades para monitorizar, gestionar y controlar los procesos de integración de datos:
en lo relativo a gestión de errores, recolección de estadísticas de ejecución, controles de
seguridad, etc.
Capacidades SOA.
Capacidades de diseño y entorno de desarrollo: como soporte para test, representaciones
gráficas, modelos y flujos de datos y flujos de datos, etc.
Cualidades de arquitectura e integración referidas al grado de interoperabilidad,
compactación y consistencia de los diferentes componentes que la formen.
Aunque la elección de un software de ETL no es sencilla, su repercusión en el curso del proyecto
es decisiva. Una decisión correcta pasa por la automatización y en base a ella quedan
garantizados:
Un aumento en la velocidad de desarrollo del proyecto.
La descentralización del control de la ejecución y de todos los procesos.
Una mayor agilidad en el negocio.
Mayor precisión.
Minimización de errores.
HERRAMIENTAS ETCL
AA5-Ev1
APLICACIÓN DE USO LIBRE
Benetl: Es una herramienta ETL de uso libre, desarrollada entre los años 2007 – 2014, hecha
en java y trabaja con base a lenguajes de base de datos PostgreSQL o MySQL.
Esta herramienta se creó para facilitar el trabajo con archivos TXT, CSV o archivos de fuente de
datos XML. Para recuperar los datos que tendrán que definir un dato de tiempo y una entidad,
que está representado por datos a calcular o para mostrar. Todos los objetos útiles serán
creados por Benetl dentro de una base de datos MySQL o PostgreSQL. La aplicación también es
capaz de recuperar automáticamente los datos mediante el uso de diversas tareas planificadas
de su sistema.Mediante el uso de Benetl podrá se ha podido recuperar fácilmente la información
de los archivos de datos planos, la organización y el filtrado de acuerdo con su dato de tiempo y
entidad.
Caracteristicas Benetl
Tecnologias:
Java 7 update 80
PostgreSQL 9.5.0 (con el apoyo plpgsql)
MySQL 5.6 con función de OLD_PASSWORD de inicio de sesión de usuario
(para controlador suministrado)
Con Windows (se utiliza "tareas programadas")
Benetl 4.7 funciona en Linux.
Requerimientos Tecnicos:
ejecución de Java (JRE) 1.7
base de datos PostgreSQL 9.5 con soporte plpgsql
base de datos de MySQL 5.6 con OLD_PASSWORD la función de inicio de sesión
de usuario o el controlador oficial de MySQL (no incluido)
Probado en sistemas de 64 bits
Ejemplo: Nombre EtlTool… Definir Nombre, Este nombre es también el nombre de la
tabla de PostgreSQL o tabla de MySQL donde se almacenan las líneas de datos.
Un archivo llamado "EtlTool.bat" se creará en la carpeta de origen de datos.
Debe presionar enter para validar su nombre EtlTool, y luego se pueden guardar los parámetros.
AA5-Ev1
La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una opción que
puede ser adquirida con Oracle Warehouse Builder como parte de la edición empresarial del
motor de base de datos (Oracle DB Enterprise Edition).
Como parte de la Enterprise ETL Option, Warehouse Builder permite ejecutar cargas de datos
usando métodos rápidos y eficientes tales como el Oracle Data Pump y transportable
tablespaces. Esta es una aproximación completamente diferente al movimiento de datos que se
realiza por medio de conjuntos de datos controlados por el motor de base de datos. Los
incrementos en velocidad de carga se deben entonces a la omisión de las capas SQL
tradicionales.
AA5-Ev1
Soporte a Dimensiones Lentamente Cambiantes Integrado
Una vez, los usuarios de negocio han decidido que atributos son importantes, el modelador de
datos diseña la dimensión. Con los pasos de ETL el desarrollador ve esta dimensión como
cualquier otra. El siguiente paso es definir cómo efectuar los cambios y actualizaciones en la
dimensión. Warehouse Builder automatiza esto basado en la definición de la dimensión. La
combinación entre estos pasos, el diseño y la estandarización hacen que los procesos
relacionados con dimensiones lentamente cambiantes presente un alto desempeño en su
ejecución.
Traza Lineal de Principio a Fin
Por primera vez, tendrá la posibilidad de administrar los cambios de su sistema de manera
proactiva. Como un ejemplo (Figura 3), usted puede propagar los cambios a través de su
sistema haciendo uso el Mapping Editor.
Administración de Configuraciones Avanzadas
Tener que mover sistemas o aplicaciones de un ambiente a otro (por ejemplo de desarrollo a
producción) es un problema frecuente.
Con la Enterprise ETL Option de Warehouse Builder, es posible generar un modelo para
configurar los ambientes de desarrollo, pruebas y producción a niveles separados. Para mover
los cambios desde el ambiente de desarrollo a producción, el código generado en desarrollo es
modificado en producción solo en áreas específicas. Por ejemplo, la información sobre las
conexiones es substituida por la definida en desarrollo.
AA5-Ev1
VENTAJAS, DESVENTAJAS, TIEMPOS Y COSTO DE LAS HERRAMIENTAS.
Técnica Descripción
Es una técnica muy utilizada en procesos de migración de datos, consiste en hacer que dos
bases de datos sean equivalentes en el mismo tiempo.
Se logra mediante la copia de datos y metadatos de una base de datos origen a una base de
datos destino mediante una herramienta tecnológica. Los asistentes de sincronización de los
Sincronizació
SMBD son configurados con las bases de datos origen y la base de datos destino,
n de base de
parametrizando la ubicación de particiones y métodos de seguridad.
datos
Ediciones Precio de
Modelo de Disponibilidad de
de SQL Ideal para... Open NL
licencia canal
Server 2014 (USD)
Enterprise Rendimiento confiable y completo Por núcleo** Licencias por volumen, $16,256***
para satisfacer los requisitos de base hosting
de datos y de Business Intelligence
más exigentes. La edición
Enterprise proporciona los niveles
de servicio y rendimiento más altos
para las cargas de trabajo de nivel
1.*
Business Una plataforma amplia que permite Servidor + Licencias por volumen, $9,908***
Intelligence a las organizaciones compilar e CAL**** hosting
implementar soluciones de BI
seguras, escalables y administrables.
Standard Funcionalidad de Business Por núcleo** Licencias por volumen, $5,717***
Intelligence y administración de hosting
datos básica para cargas de trabajo
que no son críticas, con recursos de
TI mínimos.
Servidor + Licencias por volumen, $831***
CAL**** hosting, minorista
(FPP)
Developer Versión completamente funcional Por usuario Licencias por volumen, $38***
de SQL Server que permite a los minorista (FPP)
desarrolladores compilar, probar y
demostrar aplicaciones con software
de SQL Server de una manera
AA5-Ev1
rentable.