Progettazione e realizzazione di data pipeline batch e streaming su Google Cloud
Utilizzo di BigQuery per ottimizzazione delle performance e dei costi
Collaborazione con team per l’utilizzo di servizi GCP
Sviluppo applicazioni in Python e/o Java
Orchestrazione delle pipeline dati

Almeno 3 anni di esperienza
Esperienza nella progettazione e realizzazione di data pipeline batch e streaming su Google Cloud
Ottima conoscenza di BigQuery (modellazione, ottimizzazione performance/costi, partizionamento e clustering)
Esperienza con servizi GCP per l’ingestion e processing: Dataflow (Apache Beam), Pub/Sub, Cloud Storage, Dataproc (Spark)
Sviluppo in Python e/o Java e utilizzo di SQL avanzato
Orchestrazione e scheduling con Cloud Composer (Airflow) o strumenti equivalenti
Conoscenza di approcci ELT/ETL, data quality, data validation e gestione degli errori/ri-processamenti
Esperienza con CI/CD e versioning (Git), packaging e automazioni (es. Cloud Build o equivalenti)
Competenze su IAM, gestione permessi, service account e principi di security-by-design
Conoscenza di monitoring & logging (Cloud Monitoring/Logging) e pratiche di observability per pipeline dati
Familiarità con containerizzazione (Docker) e, preferibilmente, GKE

Data Engineer

Key skills