Projetar, desenvolver e manter pipelines de dados de ponta a ponta, garantindo escalabilidade, performance e confiabilidade.
Atuar em parceria com equipes de ciência de dados e áreas de negócio para compreender requisitos e traduzir necessidades analíticas em soluções técnicas eficientes.
Implementar e otimizar processos de ingestão, transformação e integração de dados provenientes de diversas fontes.
Desenvolver e manter soluções em ambientes de nuvem (preferencialmente Azure), utilizando frameworks e ferramentas modernas de processamento.
Contribuir para a governança e qualidade dos dados, promovendo boas práticas de versionamento, documentação e automação de pipelines.
Participar da definição de arquitetura de dados, incluindo modelagem, data lakes e data warehouses.
Apoiar a evolução contínua das práticas de engenharia de dados, fomentando inovação e melhoria de processos.
Requirements
Experiência avançada com ferramentas de processamento de dados como Spark, Databricks e PySpark.
Domínio em linguagens de programação Python e SQL.
Vivência com arquiteturas em nuvem (Azure preferencialmente) e orquestração de dados com Azure Data Factory.
Conhecimento sólido em modelagem de dados, data lakes e data warehouses.
Experiência com CI/CD e versionamento de código aplicados a pipelines de dados.
Capacidade de atuar de forma colaborativa em times multidisciplinares.