Talend

Introducción a Jenkins como gestor de ejecuciones de job de Talend Talend Open Studio (TOS) TOS, sin llegar a ser tan potente como su hermano mayor Talend Studio, tiene una oferta de módulos importante que no supone mayor impedimento para al desarrollo de jobs muy potentes. En cambio, a la hora de ejecutar el paquete Java compilado, se echa de menos a la funcionalidad de planificación y seguimiento que ofrece el TAC (con licencias on-premise) o la TMC (en el caso de licencias Cloud). Planificador de tareas de Windows La solución en plataforma Windows, es el “viejo” planificador de tareas de Windows. Basta con unos cuantos jobs para llegar a un cierto nivel de caos. Hay que diseñar job específicamente con salida de consola a ficheros para poder saber lo que pasa en caso de fallo en la ejecución. No es muy posible gestionar ejecuciones en varias maquinas y menos ejecutar jobs en instancia de cloud. Jenkins al rescate Hemos estado buscando una solución para crear un marco de ejecución mas eficiente y con más flexibilidad para job de Talend. Proponemos el uso de Jenkins junto con Nexus, ambos de código libre y gratuitos. Jenkins es originalmente, una aplicación para desarrollo o integración continuo. Por lo tanto, está integrado con los repositorios comunes de manera nativa o mediante cienes de plugins. Jenkins un proyecto basado en Java, muy activo, lo que asegura una buena protección contra los fallos de sus bibliotecas y módulos. Hemos elegido asociarlo con Nexus y así tener un almacenamiento con versionado de los diferentes ejecutables compilados desde TOS. De paso, si es necesario, podemos ejecutar otros script tales como Python u cualquier otro si fuese necesario. Qué es y qué hace Jenkins? Jenkins es un servidor de automatización de código abierto que supervisa las ejecuciones de trabajos repetidos, como la construcción de proyectos de software y otras tareas repetitivas. Tiene una arquitectura de plugins que permite ampliarlo con nuevas funciones o personalizaciones. Jenkins admite varios lenguajes de programación y herramientas para integrarse con diversos sistemas de control de versiones. Jenkins proporciona servicios de integración continua en un servidor en el que los desarrolladores pueden enviar código para que se construya, pruebe y despliegue. Ofrece muchas funcionalidades listas para usar, como notificaciones por correo electrónico, varios complementos para la gestión del control de código fuente, etc. Jenkins viene con configuraciones predeterminadas para las herramientas de desarrollo más populares, como Java, C/C++, Python, Ruby y otras. Un usuario puede configurar estos ajustes de acuerdo con los requisitos de su proyecto. La función de integración continua (CI) permite a los desarrolladores automatizar el proceso de construcción mediante la integración de todas las actividades de desarrollo en un solo sistema, tales como pruebas unitarias automatizadas y análisis de código antes de confirmar los cambios en el repositorio de código fuente. La función CI asegura que cada vez que un desarrollador realiza un cambio en cualquier rama o sistema de control de versiones, se actualiza inmediatamente en Jenkins sin tener que reiniciar manualmente los trabajos una y otra vez cada vez que algo cambia en ellos. Una instalación típica de Jenkins, se compone de un controlador y de un nodo. El nodo puede ser la misma maquina que el controlador, pero no se aconseja para entorno de producción por razón de seguridad dado que Jenkins tiene muchos derechos. En cambio el agente, está diseñado para ejecutar las tareas mandadas por el controlador con el menor impacto posible en la maquinas huéspedes que pueden ser además tanto una maquinas física, una maquina virtual, un contenedor Docker o incluso una instancia de cloud. El agente ejecuta el código Java que le transmite el controlador, en nuestro caso eligiendo la versión adecuada en el repositorio de Nexus. Freestyle versus Pipeline En Jenkins, la unidad de código que se ejecuta se llama proyecto, los hay de varios tipos. Hemos elegido 2 tipos: Freestyle y Pipeline. Freestyle Un proyecto freestyle se configura seleccionando los pasos en una interfaz de menú que lista todas las posibilidades tanto como proceso antes de ejecución, de trigger o de tratamiento después de ejecución. Es fácil de realizar un proyecto pero solo se ve como un único bloque de ejecución. Además es tedioso copiarlo e usarlo como plantilla.   Pipeline Jenkins, da la posibilidad de escribir todos los pasos de un proyecto con lenguaje Groovy en un bloque de texto de tipo “Jenkins File”. Se copia fácilmente, puede incluir paso de ejecución condicional, lectura de fichero externos… Groovy está derivado de Java y tiene acceso a todas sus bibliotecas.   Como vamos a bajar un ejecutable desde un repositorio para poder ejecutarlo en un agente, puede haber fallos en diferentes etapas. La vista de ejecución permite identificar inmediatamente donde ocurrió el fallo y consultar el log del paso correspondiente. Plugins A la hora de elegir de instalar un plugin, hay que tomar en cuenta si el proyecto es suficiente activo para asegurar una reacción rápida en caso de fallo de seguridad. Hay plugins que cubren casi cualquier necesidad. Presentamos una lista de los que pueden ser útiles. Locale: Para cambiar el idioma de la aplicación diferente del navegador, aconsejado para seguir los tutoriales que son mayoritariamente en inglés. Nexus Platform: Permite la integración con Nexus, no sirve para cargar código en el repositorio. Job Configuration History: Guarda copia de todo los cambio de configuración y Job. Permite comparar y restaurar versión antigua de un elemento. Calendar View: Nos da una vista de calendario de los proyectos planificados incluyendo el resultado para el pasado. PowerShell plugin Version: En caso de usar powershell permite de disponer de sus funciones dentro de un proyecto. En plataforma windows permite de diseñar pipeline más eficientes. Role-based Authorization Strategy: Añade una gestión fina de los accesos y capacidades, necesario para un uso en producción. Versions Node Monitors plugin: Ayuda a asegurar que los nodos de ejecución tienen la versión de Java y del agente adecuada para correcta actuación del controlador. Blue Ocean: Nuevo interfaz pensada para

Entienda los pros y contras: ETL vs ELT Extract (Extraer): Este paso siempre es la primera tarea. Implica extraer datos estructurados y no estructurados de todos sus sistemas de origen, incluidos SaaS, web sites, datos locales etc. Una vez extraídos los datos, se trasladan al llamado stage area. Transform (Transformar): en este paso, los datos se limpian, procesan y transforman en un formato común, de modo que puedan ser consumidos por el destino (por ejemplo, almacén de datos, data lake o base de datos). Load (Carga): este paso implica cargar los datos formateados en el sistema de destino. A partir de ahí, los datos están listos para ser analizados. ETL ETL (Extract, Transform, Load) ha sido el enfoque estándar para recopilar, reformar e integrar datos durante décadas. Hoy en día, las empresas que necesitan sincronizar diferentes entornos de datos y migrar datos de sistemas heredados utilizan tareas ETL. Según se puede apreciar en el esquema anterior  la transformación de la información la  realiza una herramienta ETL en un servidor de ejecución de ETL’s, normalmente se utiliza una herramienta especializada en estas tareas, aunque realmente se podría utilizar un lenguaje de programación. Esta forma de trabajar, hace que se libere de procesamiento a la CPU el servidor de la base de datos final, lógico, ya que todo este procesamiento intermedio recae en  la CPU del servidor de ejecución de ETL’s. Dado que transforma los datos antes de cargarlos en el sistema de destino, ETL ayuda a reducir el volumen de datos que se almacenan en el almacén de datos final. También puede enmascarar, eliminar y codificar datos específicos para permitir que las empresas cumplan con las normas de privacidad de datos, como GDPR y CCPA. Sin embargo, ETL tiene algunas desventajas importantes. Los procesos ETL tradicionales suelen ser lentos y consumen muchos recursos. A menudo, es necesario esperar a que se completen todas las transformaciones antes de cargar los datos en el destino. Tampoco son muy flexibles y requieren un mantenimiento continuo. Por ejemplo, si sus fuentes de entrada y formatos cambian, debe configurar estas transformaciones y casos límite con anticipación. Finalmente, definir la lógica comercial y las transformaciones para su proceso ETL generalmente tiene un alto precio. ELT ELT (Extract, Load, Transform) es un enfoque más nuevo y ahora muy popular para la integración de datos. Intercambia los pasos segundo y tercero en el proceso de integración, de modo que los datos solo se transforman después de que se cargan en el sistema de destino.   En el proceso ELT, la transformación la realiza directamente el gestor de base de datos (con las operaciones que realiza el gestor de base de datos), por ello, la herramienta ETL únicamente se usa como traductor de operaciones de transformación sobre los datos a sentencias SQL interpretables por el motor donde se envían estas instrucciones. De esta forma, su tiempo de ejecución será menor que en su versión ETL, y la carga de procesamiento se le traspasa a la CPU de la base de datos. En un esquema ETL jamás se va a tardar menos en transformar la información que en la propia base de datos del gestor de base de datos, con lo que el rendimiento de este proceso será mayor que en su forma ELT. Como consecuencia de lo anterior se obtiene que no todas las transformaciones son posibles ELT, o al menos de una forma sencilla y práctica. En otro artículo hablaremos de las transformaciones que encajan en un esquema ETL y no en uno ELT. El auge de ELT se debe a la ubicuidad del almacenamiento en la nube. Hoy en día, las empresas pueden almacenar cantidades masivas de datos en la nube de manera potente y asequible, de esa manera se utiliza a las bases de datos para realizar las transformaciones. Como resultado, es mucho menos importante filtrar los datos y reducir los volúmenes de datos antes de transferirlos a los sistemas de destino. La otra razón principal por la elección de  ELT es porque las tareas de integración de datos no son adecuadas para procesar el creciente volumen de datos no estructurados generados por los sistemas basados en la nube. Como ya hemos dicho antes diferencia ELT es rápido, flexible y permite una fácil integración de fuentes de datos nuevas o diferentes. Dado que ELT está más automatizado, requiere un mantenimiento mínimo, y debido a la fácil escalabilidad de los servidores de base de datos en cloud, también es más fácilmente. Sin embargo, ELT también tiene sus propias desventajas. Primero, todavía es necesario transformar los datos, una vez que se mueven al lago de datos o a cualquier otro almacén de datos de destino. La transformación puede ser costosa, ya que los proveedores de almacenes y lagos de datos cobran a los clientes por procesar datos en el sistema. Además, el esfuerzo necesario para transformar, limpiar y preparar los datos pasó del ingeniero de datos al usuario de datos comerciales o al científico de datos, lo que genera cargas de trabajo adicionales que consumen mucho tiempo y una mayor latencia. Por otra parte, cargar todos los datos en los sistemas de destino antes de que se transformen da acceso a varios usuarios y aplicaciones a los mismos, lo que crea riesgos de seguridad y dificulta el cumplimiento de las normas de privacidad de datos. Como hemos visto todo tiene sus pros y contras, lo que sí que proponemos desde Modus es no tener posturas maximalistas de ante mano y ser flexibles para proporcionar la mejor solución técnica ante un determinado proyecto manejando la posibilidad de ambos enfoques. Blog Jenkins como gestor de ejecuciones de job de Talend Read More Talend Data Fabric Read More Módulos de Talend Read More ¿Qué es Talend ESB? Read More Integración de Datos y Aplicaciones Ofrecemos herramientas líderes en el sector, así como servicios y formación adaptados a tu empresa Productos Talend Rapidminer Modus integration Logistics Política de privacidad   Servicios Business Intelligence Data integration Data Science Data Warehouse Integración de Aplicaciones