Key skills
AWSJavaKafkaPythonScalaSparkSQLCDatabricksLambdaS3IAMGlueKinesisCI/CD
About this role
Role Overview
- Definir e evoluir a arquitetura corporativa de Lakehouse, garantindo escalabilidade, segurança, governança e alta performance
- Atuar na criação de padrões, modelos e boas práticas para Data Mesh, suportando domínios na construção de produtos de dados
- Promover escolhas técnicas sólidas envolvendo Databricks, Delta Lake, Spark, AWS e ecossistemas de dados modernos
- Definir referências arquiteturais para pipelines batch e streaming, incluindo melhores práticas de orquestração, versionamento, monitoração, resiliência e otimização
- Guiar e orientar engenheiros de dados, influenciando decisões críticas e elevando o nível técnico da organização
- Conduzir revisões técnicas (arquitetura, código, padrões, design de pipelines)
- Atuar como consultor(a) interno(a) para unidades de negócio, garantindo o melhor entendimento das soluções
- Projetar e desenvolver pipelines robustos e escaláveis em Python, Scala, SQL ou Java dentro do ecossistema Databricks e/ou AWS
- Construir soluções de ingestão em tempo real usando Spark Structured Streaming, Delta Live Tables, Kafka/Kinesis ou ferramentas similares
- Garantir observabilidade (monitoramento, alertas e métricas) e qualidade dos dados em todas as etapas da cadeia
- Interagir com unidades de negócio, parceiros, fornecedores e terceiros
- Facilitar processos de discovery, design e suporte na implementação de produtos de dados
- Traduzir necessidades de negócio em soluções técnicas escaláveis e sustentáveis
- Disseminar conhecimento sobre Lakehouse, Data Mesh, pipelines batch e streaming
- Conduzir workshops, guias de referência, mentoria e comunidades técnicas internas
- Promover cultura de dados moderna e boas práticas de engenharia em toda a organização
Requirements
- Inglês avançado para contato com times de outros países do grupo
- Experiência sólida como engenheiro(a) de dados, arquiteto(a) ou tech lead em ambientes de grande escala
- Domínio de Databricks (Spark, Delta Lake, workflows, cluster management)
- Experiência prática com AWS (S3, IAM, Glue, Lambda, Lake Formation, entre outros)
- Forte conhecimento em Python, SQL , Scala e/ou Java
- Experiência em construção de pipelines batch e streaming
- Vivência com modelos de Data Mesh, Lakehouse, governança distribuída e produtos de dados
- Capacidade de liderança técnica, influência e comunicação clara
- Experiência com CI/CD, versionamento, arquitetura de dados e boas práticas de engenharia
Tech Stack
- AWS
- Java
- Kafka
- Python
- Scala
- Spark
- SQL
Benefits
- Programa de bem-estar
- Oportunidades de desenvolvimento profissional
- Cultura de trabalho inclusiva