Las herramientas ETL son un componente esencial para data warehousing y analítica y se encargan de asegurar la integración de datos entre bases de datos y aplicaciones mediante tres fases:
·La fase de extracción consiste en la recuperación de información de varios sistemas de origen
la transformación involucra procesos para validar y transformar los datos extraídos en un formato útil y fácil de entender
la carga es la fase final en la cual los datos se cargan en un almacén de datos. Las fuentes de datos pueden ser muy variadas, como bases de datos relacionales o no relacionales, ficheros, aplicaciones SaaS, CRMs, ERPs, APIs, páginas web o sistemas de logs. Para realizar estas transformaciones, es frecuente apoyarse en un Data Warehouse que almacena datos con diversas características.
En los últimos años se han popularizado las herramientas ETL para tiempo real o streaming frente a los procesos de tipo Batch. Los casos de uso que requieren bajas latencias y obtener información de valor lo más rápido posible han aumentado mucho con los dispositivos IoT para Big Data y el enfoque hacia mejorar la experiencia de usuario.
Las herramientas ETL más utilizadas en la actualidad son Apache NiFi, Streamsets, Talend, y Microsoft SSIS. A continuación, se detallan los pros y contras de cada una de estas herramientas:
Apache NiFi es una herramienta gratuita y open source que permite definir flujos o topologías de una forma visual, intuitiva y flexible para ETLs.
Los procesadores son las unidades de procesamiento o carga de datos y se pueden extender con funcionalidad personalizada.
Una de las principales ventajas de esta herramienta es su licencia Apache 2.0, el concepto de programación de flujo de datos, integración con Data Provenance y auditoría, y la posibilidad de manejar datos binarios.
La interfaz de usuario es sencilla con grafos visuales y se puede gestionar la política de usuarios mediante LDAP.
Sin embargo, algunos de sus contras incluyen la falta de estadísticas por registro procesado y su consumo elevado de recursos.
StreamSets es una plataforma empresarial centrada en construir y ejecutar procesos batch y flujos de datos en streaming.
Se puede desplegar on premise y en cloud, y está preparada para escalar cómodamente.
Streamsets se divide en varios componentes que se pueden configurar y desplegar por separado.
Algunas de sus ventajas incluyen estadísticas individuales por registro, visualización pensada para realizar debugging, interfaz de usuario atractiva y facilidades para streaming.
Algunas de sus desventajas son la falta de configuración JDBC reutilizable y que los cambios de configuración en el procesador requieren detener todo el flujo de datos.
Talend es una herramienta ETL empresarial open source que ofrece integraciones listas para usar con numerosas herramientas y tecnologías en cloud y on-premise.
Además, cuenta con una versión de pago que ofrece componentes adicionales para el gobierno del dato, así como la monitorización de los procesos de integración del dato y ETL.
Esta herramienta también permite descubrir fácilmente datos y relaciones, lo que la convierte en una opción popular en el mercado.
Además, según el cuadrante de Gartner para herramientas de integración de datos, Talend es considerada una herramienta líder en su categoría.
Entre sus ventajas, podemos destacar su gran cantidad de integraciones con tecnologías externas listas para usar, una versión open source gratuita disponible, una interfaz sencilla con funcionalidad de arrastrar y soltar, y su fácil extensibilidad con scripts y librerías en Java.
Por otro lado, es posible que se requieran perfiles expertos en Java para crear elementos ad-hoc.
Talend Data Fabric es una plataforma de código abierto, perteneciente a Talend que ofrece un conjunto completo de herramientas para simplificar el procesamiento de datos.
La herramienta ofrece una variedad de características, incluyendo la capacidad de conectar diferentes fuentes de datos, realizar análisis avanzados, desarrollar y ejecutar flujos de trabajo, así como realizar el seguimiento de los datos.
Además, Talend es compatible con la mayoría de los sistemas operativos, incluidos Windows, Linux y Mac OS.
Informatica PowerCenter, esta herramienta ha sido desarrollada por la empresa Informatica y es una solución empresarial para la integración del dato que requiere una licencia comercial. Es compatible con clouds de AWS y Azure.
Entre sus ventajas, destaca la abundante documentación y formación, la facilidad de uso para gente no técnica ejecutando trabajos y su capacidad para integrar procesos de inteligencia artificial. También tiene una buena madurez y rendimiento.
Sin embargo, es importante tener en cuenta que el precio de la licencia comercial es elevado y la curva de aprendizaje es más elevada que otras herramientas de integración de datos. Si no estás dispuesto a pagar una licencia comercial y prefieres una curva de aprendizaje más suave, Talend puede ser una mejor opción para ti.
Apache Airflow es una plataforma gratuita y open source que te permite crear, programar y monitorizar flujos de trabajo.
Está basada en Python y es compatible con gestores de recursos como Mesos y Yarn.
Entre sus ventajas están la visualización clara para tener una vista general de tus flujos de trabajo y una interfaz fácil de usar para programar y modificar tus trabajos, escalabilidad para adaptarse a tus necesidades.
Entre sus contras destacamos que no es adecuado para streaming de datos y que tiene una cantidad de operadores que pueden ser insuficientes.
AWS Data Pipeline es la solución de Amazon Web Services para transferir y transformar datos en la nube. Aunque no es gratuita y Amazon cobra por uso, es una opción interesante si necesitas realizar transformaciones de datos sencillas y trabajar con las tecnologías y servicios de Amazon en la nube.
Entre sus ventajas destacan la facilidad de uso y su flexibilidad para integrarse con otros servicios de Amazon. Además tiene un precio razonable.
Pentaho es una herramienta desarrollada por Hitachi para llevar a cabo procesos empresariales ETL.
Incluye Pentaho Data Integration (PDI), también conocido como Kettle, que permite la transformación y migración de datos entre aplicaciones. Existen dos versiones: enterprise y open source (community edition). La versión enterprise ofrece componentes adicionales en su catálogo.
Entre sus ventajas destaca su interfaz gráfica intuitiva y fácil de usar, con la opción de arrastrar y soltar elementos. Y que tiene una versión gratuita disponible (community edition).
Por otra parte sus plantillas son limitadas.
Azure Data Factory es un servicio cloud para ETL en la nube de Azure. Proporciona una interfaz de usuario que permite la implementación de flujos de datos, ETL y ELT sin necesidad de programar.
Ventajas:
Oracle Data Integrator: Esta herramienta ofrece una solución completa para la integración de datos. Esta herramienta ofrece una plataforma de código abierto para el cumplimiento de la Ley de Protección de Datos. Esta herramienta también ofrece una plataforma de visualización de datos con capacidades de análisis avanzadas.
Microsoft SQL Server Integration Services (SSIS) ofrece un conjunto de herramientas para la integración de datos que satisfacen las necesidades de los usuarios de Big Data.
Entre sus ventajas destacamos que permite el procesamiento de datos de forma paralela y el análisis de datos de gran volumen.
IBM InfoSphere DataStage es una herramienta ETL para el procesamiento de grandes volúmenes de datos.
Esta herramienta ofrece una variedad de características, incluida la capacidad de administrar y monitorear la carga de trabajo, realizar análisis avanzados, desarrollar flujos de trabajo y ejecutarlos.
Además, infosphere es compatible con la mayoría de los sistemas operativos, incluidos Windows, Linux y Mac OS.
A continuación se presentan los parámetros clave que se deben considerar al elegir una herramienta ETL para Big Data.
¿Está la herramienta diseñada para manejar datos desde una única fuente o desde múltiples fuentes? Las herramientas utilizadas para la recuperación de datos de una sola fuente difieren de las diseñadas para la recuperación de datos de múltiples fuentes.
Los datos pueden ser estructurados y no estructurados, y pueden provenir de diversas fuentes. En algunos casos, los datos deben ser procesados en un formato uniforme y comprensible para las herramientas analíticas. También se debe verificar si la herramienta ETL tiene la capacidad de transformar un tipo particular de datos producidos por otras herramientas en la organización.
¿De qué sistemas se recuperarán los datos y dónde se entregarán? Es importante comprender el tipo de datos que se espera que la herramienta recupere y procese, así como el punto final de entrega para todo el proceso ETL.
Evaluar si es necesario extraer datos de fuentes no estructuradas como páginas web, correo electrónico, etc. Además, es importante considerar cómo manejar la pérdida o indisponibilidad de datos durante la extracción, los cambios en los formatos de datos y el aumento del volumen y la velocidad de los datos a lo largo del tiempo.
También se debe tener en cuenta el costo de la herramienta a largo plazo y la posibilidad de ampliaciones futuras.