Usaquen, Colombia | Publicado el 21/04/2025 Acerca de nosotros OSC es un Integrador Latinoamericano que ofrece soluciones en el Sector de Telecomunicaciones e IT. Con más de 25 años de experiencia y presencia en 16 países, cuenta con un talento humano de más de 1000 colaboradores. Descripción del empleo Trabajo: Ingeniero de Datos - Desarrollo de Proceso ETL en AWS Glue Objetivo del Proyecto Desarrollar una solución en AWS Glue para procesar huellas de consulta en el entorno de ingesta de datos. Las huellas serán procesadas con reglas de negocio y exportadas en formato JSON con extensión Parquet, para poblar un modelo en RedShift y optimizar el pipeline de datos. Responsabilidades 1. Desarrollar y ejecutar un flujo ETL usando AWS Glue para procesar huellas en un Bucket de S3. 2. Aplicar reglas de negocio predefinidas sobre las huellas para generar archivos en formato Parquet. 3. Asegurar compatibilidad del formato y datos con el modelo en RedShift. 4. Colaborar con el equipo de ingesta y expertos en Cobol para entender estructuras y requisitos. 5. Implementar validaciones y limpieza de datos antes de la transformación final. 6. Gestionar la integración entre el sistema de ingesta y el pipeline de AWS Glue. 7. Optimizar el rendimiento del proceso ETL, asegurando tiempos adecuados y minimizando costos en AWS. 8. Documentar código, procesos y flujos de trabajo para trazabilidad y mantenimiento. Requisitos - Experiencia con AWS Glue para flujos ETL en la nube. - Conocimiento práctico de Python para transformaciones de datos personalizadas. - Experiencia con S3 como fuente y destino de datos. - Conocimiento en formato Parquet y su uso en grandes volúmenes de datos. - Experiencia en creación de tablas y consultas en Amazon RedShift. - Familiaridad con procesamiento batch y optimización de ETL en grandes volúmenes. - Conocimiento en reglas de negocio y validación de datos estructurados y no estructurados. - Capacidad de trabajo en equipo con expertos en Cobol y en ingesta de datos. - Experiencia con herramientas de monitoreo y gestión de jobs en AWS Glue y S3. - Conocimiento en JSON y manipulación en flujos ETL. - Conocimiento de DevOps y automatización en la nube para pipelines ETL. - Familiaridad con AWS IAM para permisos y seguridad. #J-18808-Ljbffr