Desenvolver e manter pipelines de transformação de dados utilizando Apache Spark.
Construir e manter modelos dimensionais e analíticos nas camadas Silver e Gold.
Desenvolver projetos de transformação e documentação utilizando dbt.
Trabalhar com ingestão e integração de dados oriundos de múltiplas fontes através do Airbyte.
Garantir qualidade, consistência e rastreabilidade dos dados.
Optimizar consultas, particionamento e processamento de grandes volumes de dados.
Implementar testes de qualidade e validações automatizadas.
Colaborar com times de Analytics, BI, Engenharia.
Participar da definição de padrões de arquitetura, governança e observabilidade de dados.
Apoiar processos de troubleshooting e resolução de incidentes em pipelines.

Linguagens: SQL avançado (fundamental).
Python para desenvolvimento de pipelines e transformações.
Conhecimento em PySpark.
Processamento de Dados Apache Spark.
Processamento batch de grandes volumes de dados.
Conhecimento de arquitetura Lakehouse ou Data Lake.
Modelagem de Dados Modelagem dimensional (Star Schema e Snowflake).
Data Warehouse.
Conceitos de camada Bronze, Silver e Gold.
Ferramentas dbt.
Airbyte.
Git e controle de versão.
Cloud AWS.
Experiência com serviços como: Amazon Web Services S3 Glue IAM Athena EMR (desejável) Lambda (desejável).
Experiência com pelo menos alguns dos seguintes PostgreSQL SQL Server Amazon Redshift.

Ajuda de custo em caso de Home-Office;
Vale-Refeição ou Vale-Alimentação: disponível através do cartão Flash, para utilizar da forma que preferir;
Vale-Transporte ou combustível (de acordo com a sua necessidade);
Contamos com a ajuda dos nossos arquitetos para auxiliar no seu desenvolvimento profissional;
Convênio de descontos com escolas de idiomas;
Convênio de descontos com instituições de ensino superior;
PLR;
Wellhub: para manter corpo e mente saudáveis, extensivo a dependentes também;
Vale Presente e Day Off no dia do aniversário;
Seguro de vida;
Plano de saúde e odontológico;
Premiação por indicação: adoramos as indicações do nosso time!
Parceria com o Sesc, com descontos em serviços de cultura, esporte, turismo, lazer e assistência, entre outros.

Engenheiro de Dados Sênior – Camadas Silver e Gold

Key skills