Diseñar e implementar procesos ETL/ELT robustos utilizando PySpark, SQL y notebooks de Databricks.
Crear pipelines de alto rendimiento por lotes y streaming, alineados con los principios de la arquitectura Medallion.
Optimizar y solucionar problemas de los trabajos de Spark para garantizar la fiabilidad, la eficiencia y la escalabilidad.
Colaborar estrechamente con los arquitectos para comprender los diseños de las soluciones y convertirlos en implementaciones de alta calidad.
Garantizar el cumplimiento de las mejores prácticas de ingeniería, incluyendo pruebas unitarias, CI/CD, control de versiones y documentación.
Realizar revisiones de código entre pares, asesorar a ingenieros júnior y contribuir a las mejoras de procesos en todo el equipo.
Integrar servicios de Azure (Data Factory, Data Lake, Event Hub, Synapse) para dar soporte a soluciones de datos integrales.
Mantener estándares rigurosos de calidad, validación y gobernanza de datos.
Requirements
Sólida experiencia práctica con Databricks, optimización de Spark y programación en PySpark.
Sólidos conocimientos de los conceptos de almacenamiento de datos y arquitecturas de datos nativas de la nube.
Buenas habilidades de comunicación y capacidad para colaborar con equipos funcionales.
Inglés B2.
Se valorará positivamente el poseer certificado de discapacidad, en el marco de nuestra política de inclusión y diversidad.
Tech Stack
Azure
ETL
PySpark
Spark
SQL
Benefits
Un ambiente de trabajo único muy valorado por nuestros profesionales en las evaluaciones periódicas.
Wellbeing HUB
Incluye políticas y acciones para la salud física (Wellhub) y mental.
24 días de vacaciones + 2 asuntos propios + 24 y 31 de diciembre + opción a comprar hasta 7 días de vacaciones al año.
FlexAbroad: posibilidad de trabajar en remoto desde otro país durante 45 días.
Plan de Compensación Flexible (seguro médico, transporte, formación, tarjeta restaurante o subvención de comida, guardería…)
Formación continua, podrás disfrutar de Mylearning y de Capgemini University y de nuestros Campus Digitales y Comunidades profesionales. Tendrás acceso a plataformas como: Coursera, Udemy, Pluralsight, Harvard Manager Mentor, Education First para idiomas (inglés francés, alemán…) ¡entre otras!
Participación en Acciones de Voluntariado y Acción Social con nuestros Grupos de Sostenibilidad, Inclusión e Igualdad.
Acompañamiento en tus inicios con el programa de Buddies.