DATA ENGINEER - 194

40.000.000 - 80.000.000


Propósito
Desarrollar y mantener la infraestructura de datos de la empresa, incluyendo la creación y gestión de pipelines de datos, el diseño de almacenes de datos y la implementación de soluciones para el procesamiento y análisis de datos. Diseñar, construir y mantener pipelines de datos para la ingestión, limpieza, transformación y carga (ETL) de datos desde diversas fuentes hacia almacenes de datos y sistemas analíticos. Configurar y administrar sistemas de almacenamiento de datos, bases de datos y herramientas de procesamiento de datos, asegurando su escalabilidad, disponibilidad y rendimiento. Identificar y resolver cuellos de botella de rendimiento en pipelines de datos y sistemas de almacenamiento, implementando soluciones para mejorar la eficiencia y la velocidad de procesamiento. Desarrollar y mantener sistemas de gestión de metadatos para catalogar y documentar conjuntos de datos, pipelines de datos y procesos de transformación. Implementar medidas de seguridad y cumplimiento para proteger la confidencialidad, integridad y disponibilidad de los datos de la empresa, incluyendo la encriptación, la autenticación y el control de acceso. Trabajar en estrecha colaboración con equipos de ciencia de datos, desarrollo de productos, ingeniería de software y operaciones para asegurar la integración efectiva de sistemas de datos en los productos y servicios de la empresa. Conocer a profundidad el negocio y sector, para hacer uso adecuado de los datos y que estos permitan la toma de decisiones.
Propósito
Desarrollar y mantener la infraestructura de datos de la empresa, incluyendo la creación y gestión de pipelines de datos, el diseño de almacenes de datos y la implementación de soluciones para el procesamiento y análisis de datos. Responsabilidades
Diseñar, construir y mantener pipelines de datos para la ingestión, limpieza, transformación y carga (ETL) de datos desde diversas fuentes hacia almacenes de datos y sistemas analíticos. Configurar y administrar sistemas de almacenamiento de datos, bases de datos y herramientas de procesamiento de datos, asegurando su escalabilidad, disponibilidad y rendimiento. Identificar y resolver cuellos de botella de rendimiento en pipelines de datos y sistemas de almacenamiento, implementando soluciones para mejorar la eficiencia y la velocidad de procesamiento. Desarrollar y mantener sistemas de gestión de metadatos para catalogar y documentar conjuntos de datos, pipelines de datos y procesos de transformación. Implementar medidas de seguridad y cumplimiento para proteger la confidencialidad, integridad y disponibilidad de los datos de la empresa, incluyendo la encriptación, la autenticación y el control de acceso. Trabajar en estrecha colaboración con equipos de ciencia de datos, desarrollo de productos, ingeniería de software y operaciones para asegurar la integración efectiva de sistemas de datos en los productos y servicios de la empresa. Conocer a profundidad el negocio y sector, para hacer uso adecuado de los datos y que estos permitan la toma de decisiones.
Conocimientos y Experiencia Profesional en Ingeniería informática, Ingeniería de software, ingeniería de datos o afines Experiencia minina de 2 años en modelamiento de bases de datos relacionales y no relacionales. Conocimientos Complementarios en: SQL y manejo de sistemas de gestión de bases de datos como PostgreSQL, MySQL, entre otros. Tecnologías de almacenamiento de datos, incluyendo data lakes y/o data warehouses (Redshift, BigQuery, Snowflake) Diseño y desarrollo de pipelines de datos escalables (ETL). Herramientas de orquestación de flujos de datos como Airflow o similares. Dominio de Python. Integración de datos desde múltiples fuentes: APIs, archivos planos, sistemas internos, entre otros. Entornos de nube como AWS (S3, Redshift, Glue), GCP o Azure. Manejo de Git y familiaridad con prácticas de CI/CD aplicadas a pipelines de datos. Experiencia con herramientas de transformación como dbt. Conocimiento de procesamiento distribuido con Apache Spark. Analista de Datos - Analítica y Conocimiento del Cliente Data Acquisition Specialist (Colombia location) Analista de Procesos Data Center - Medellín #J-18808-Ljbffr

trabajosonline.net © 2017–2021
Más información