X327 | DATA ENGINEER - 194

Allius


Propósito: Desarrollar y mantener la infraestructura de datos de la empresa, incluyendo la creación y gestión de pipelines de datos, el diseño de almacenes de datos y la implementación de soluciones para el procesamiento y análisis de datos. Responsabilidades: 1. Diseñar, construir y mantener pipelines de datos para la ingestión, limpieza, transformación y carga (ETL) de datos desde diversas fuentes hacia almacenes de datos y sistemas analíticos. 2. Configurar y administrar sistemas de almacenamiento de datos, bases de datos y herramientas de procesamiento de datos, asegurando su escalabilidad, disponibilidad y rendimiento. 3. Identificar y resolver cuellos de botella de rendimiento en pipelines de datos y sistemas de almacenamiento, implementando soluciones para mejorar la eficiencia y la velocidad de procesamiento. 4. Desarrollar y mantener sistemas de gestión de metadatos para catalogar y documentar conjuntos de datos, pipelines de datos y procesos de transformación. 5. Implementar medidas de seguridad y cumplimiento para proteger la confidencialidad, integridad y disponibilidad de los datos de la empresa, incluyendo la encriptación, la autenticación y el control de acceso. 6. Trabajar en estrecha colaboración con equipos de ciencia de datos, desarrollo de productos, ingeniería de software y operaciones para asegurar la integración efectiva de sistemas de datos en los productos y servicios de la empresa. 7. Conocer a profundidad el negocio y sector, para hacer uso adecuado de los datos y que estos permitan la toma de decisiones. Conocimientos y Experiencia: - Profesional en Ingeniería informática, Ingeniería de software, ingeniería de datos o afines - Experiencia minina de 2 años en modelamiento de bases de datos relacionales y no relacionales. - Conocimientos Complementarios en: - SQL y manejo de sistemas de gestión de bases de datos como PostgreSQL, MySQL, entre otros. - Tecnologías de almacenamiento de datos, incluyendo data lakes y/o data warehouses (Redshift, BigQuery, Snowflake) - Diseño y desarrollo de pipelines de datos escalables (ETL). - Herramientas de orquestación de flujos de datos como Airflow o similares. - Dominio de Python. - Integración de datos desde múltiples fuentes: APIs, archivos planos, sistemas internos, entre otros. - Entornos de nube como AWS (S3, Redshift, Glue), GCP o Azure. - Manejo de Git y familiaridad con prácticas de CI/CD aplicadas a pipelines de datos. - Experiencia con herramientas de transformación como dbt. - Conocimiento de procesamiento distribuido con Apache Spark.

trabajosonline.net © 2017–2021
Más información