Habilitar y gobernar los datos requeridos por el proyecto, construyendo y ajustando pipelines de ingesta e integrándolos al Data Lake corporativo bajo los lineamientos y estándares de arquitectura vigentes.
Alcances / responsabilidades
• Evaluar las fuentes de datos del proyecto en calidad, completitud y consistencia.
• Construir y ajustar pipelines de ingesta, e integrar los datos al Data Lake corporativo bajo los estándares de arquitectura vigentes.
• Apoyar la gobernanza de datos (linaje, data agreements, diccionario de datos).
• Desplegar pipelines a producción y ejecutar el traspaso técnico a continuidad operacional.
Requisitos mínimos (obligatorios)
• Mínimo 4 años de experiencia práctica real en proyectos con Databricks y tecnologías cloud.
• Dominio de Databricks, SQL y Python; PySpark para procesamiento distribuido de datos.
• Delta Lake y Unity Catalog: modelamiento por capas (bronze / silver / gold), gestión de permisos y linaje.
• Creación, orquestación y monitoreo de pipelines productivos con Databricks Workflows, Delta Live Tables (DLT) o equivalentes (al menos 2 años).
• Azure Data Factory y Azure Data Lake Storage (integración, transformación y gestión de flujos de datos).
• Databricks Asset Bundles (DAB) para despliegue y productivización.
• Buenas prácticas de ingeniería de software (código modular, mantenible, con testing y documentación) y control de versiones con Git: ramas, pull requests y code review.
• Metodologías ágiles y Azure DevOps; buenas prácticas de calidad de datos (validaciones de completitud, duplicidad, rangos válidos y consistencia).
• Deseable: Databricks Certified Data Engineer Associate (valorada / diferenciador en postulación).
• Deseable: Databricks Certified Associate Developer for Apache Spark (valorada / diferenciador en postulación).
• Deseable: DP-750 — Azure Databricks Data Engineer Associate.
• Experiencia con fuentes de datos de entornos industriales: historiadores de proceso (PI System o equivalentes), LIMS, sistemas de despacho o ERP (suma como diferenciador).
• Deseable experiencia previa en proyectos de datos en la industria minera
Ingeniero de datos • San Bernardo, CL
Nos encontramos en búsqueda de un Auditor de Existencias y Procesos Logísticos para nuestro cliente del rubro industrial de alimentos del mar, para desempeñarse de manera presencial en la comuna de... Mostrar más
Este rol será clave para garantizar la calidad, disponibilidad y eficiencia de los datos en la organización.Optimizar el rendimiento de procesos y consultas en entornos distribuidos.Colaborar con e... Mostrar más
Cronoshare es una plataforma online para profesionales que quieren encontrar nuevos clientes.Buscamos Servicios de recuperación de archivos en Codegua y alrededores.Pertenecer a la red de profesion... Mostrar más
EEUU con múltiples sitios operativos.Este rol será un socio clave para impulsar la toma de decisiones basada en datos, la eficiencia operativa y la ejecución de proyectos en toda la organización.El... Mostrar más
El equipo de Data y Analytics trabaja en diferentes proyectos que combinan volúmenes de datos enormes e IA, como detectar y predecir fallas antes que ocurran, optimizar pricing, personalizar la exp... Mostrar más
En Ready Buscamos un(a) LT Data Integration Engineer con experiencia en el diseño, desarrollo y operación de soluciones de integración de datos empresariales utilizando Informatica Intelligent Data... Mostrar más
