Guidare lo sviluppo di data pipelines end-to-end, dalla progettazione del data lakehouse all’orchestrazione di workload batch e streaming
Definire architetture per soluzioni data-intensive garantendo scalabilità, affidabilità e performance
Progettare e implementare data lakehouse architectures con table formats moderni (Delta Lake, Iceberg)
Sviluppare batch processing pipelines con Spark per elaborazione di grandi volumi di dati
Implementare real-time streaming pipelines con Kafka e Flink per analytics in tempo reale
Progettare data modeling (dimensional, star schema, data vault) per analytics workloads
Collaborare con Solution Architect e development teams per definire standard e best practices
Implementare pratiche DataOps (CI/CD for data pipelines, data testing, monitoring)
Assicurare data quality attraverso validation frameworks e data observability
Garantire conformità ai requisiti di data governance e security (lineage, cataloging, privacy)
Fornire mentoring tecnico a Data Engineer junior ed expert
Ottimizzare performance di data pipelines e gestire tuning di cluster distribuiti
Coordinare integration con ML platforms per feature engineering e model training

Laurea Magistrale in Ingegneria Informatica, Matematica, Statistica, Fisica o equivalente
Senior (più di 5 anni di esperienza nel ruolo o almeno 7 anni di esperienza in ruoli analoghi)
Data processing avanzato con Apache Spark (PySpark, Scala) per batch e streaming
Orchestration avanzata con Apache Airflow (DAG design, custom operators, sensors)
Data lakehouse architectures (Delta Lake, Apache Iceberg) con schema evolution e time travel
Stream processing con Apache Kafka e Apache Flink per real-time analytics
Data modeling avanzato (dimensional, data vault, graph) e schema design
Data quality frameworks e data observability (Great Expectations, dbt tests)
Data governance (data lineage, metadata management, data cataloging)
Certificazioni data engineering (Databricks, Snowflake, cloud platforms) sono titoli preferenziali
Esperienza in progetti big data su larga scala (petabyte-scale) è fortemente preferita
Competenze in ML e feature engineering è un plus
Background in data science o distributed systems è un plus
Disponibilità a ottenere clearance di sicurezza.

Data Engineer

Key skills