Key skills
AirflowBigQueryCloudETLGoogle Cloud PlatformPythonSQLELTData LakeAnalyticsBIGCPGoogle CloudPub/SubCloud Storagecomposer
About this role
Role Overview
- Desenvolver e otimizar pipelines de dados batch e streaming escaláveis
- Construir cargas ETL/ELT para processamento e transformação de dados
- Desenvolver ingestão de dados estruturados, semi-estruturados e não estruturados
- Atuar na modelagem e consolidação de dados para Analytics e BI
- Desenvolver integrações de dados em tempo real (streaming)
- Projetar e implementar arquiteturas de dados eficientes e escaláveis
- Replicar regras de negócio nas transformações de dados
- Criar e manter processos de Data Quality e Data Governance
- Garantir versionamento, linhagem e confiabilidade dos dados
- Atuar como referência técnica no time de Data & Analytics
Requirements
- Experiência sólida em Engenharia de Dados
- Experiência com construção de pipelines ETL/ELT
- Conhecimento avançado em SQL
- Experiência com Python para engenharia de dados
- Experiência com Google Cloud Platform (GCP)
- Vivência com BigQuery
- Experiência com Dataflow, Pub/Sub e Cloud Storage
- Experiência com orquestração (Airflow ou Cloud Composer)
- Experiência com modelagem de dados
- Conhecimento de arquitetura Data Lake e Data Warehouse
- Experiência com integração de múltiplas fontes de dados
Tech Stack
- Airflow
- BigQuery
- Cloud
- ETL
- Google Cloud Platform
- Python
- SQL
Benefits
- Capacitação constante