Atuar no levantamento e diagnóstico de processos existentes no Databricks que utilizam estruturas legadas baseadas em Hive Metastore.
Realizar o mapeamento completo de tabelas utilizadas e não utilizadas, identificando impactos técnicos e oportunidades de melhoria.
Definir, em conjunto com o time de Engenharia de Dados, estratégias de migração, reorganização ou descontinuação de ativos de dados.
Desenvolver novos processos de ingestão e transformação de dados para camadas modernas de arquitetura, como bronze, silver e gold.
Adequar pipelines existentes para consumo das novas tabelas e estruturas governadas.
Executar processos de limpeza e exclusão definitiva de tabelas obsoletas ou sem uso.
Garantir boas práticas de versionamento, automação de deploy e integração contínua.
Participar de cerimônias ágeis e colaborar com squads multidisciplinares em metodologia Scrum.
Contribuir para evolução da governança, qualidade e padronização do ambiente analítico.

Experiência sólida como Data Engineer em ambientes modernos de dados.
Domínio de Databricks, com atuação prática em notebooks, workflows e administração de ambientes.
Conhecimento avançado em Python para engenharia de dados e automação de processos.
Experiência com Apache Spark para processamento distribuído e grandes volumes de dados.
Vivência com CI/CD, versionamento e deploy automatizado de pipelines.
Conhecimento em Unity Catalog e conceitos de governança de dados no ecossistema Databricks.
Experiência com arquitetura em camadas (Bronze / Silver / Gold).
Conhecimentos sólidos em SQL e modelagem de dados.
Vivência em times ágeis utilizando Scrum.

Diferenciais

Cartão Flex para suas Refeições: Use o Cartão Flex para comer onde quiser, sem preocupações.
Saúde Completa, Sorriso em Dia: Tenha cobertura completa para saúde e dentes, sem dores de cabeça.
Bem-estar com o Wellhub: Acesse academias, estúdios e atividades físicas para manter corpo e mente em equilíbrio.
Apoio para os Pequenos: Conte com o Auxílio Creche para ajudar nos cuidados com seu filho.
Licença Parental Estendida: Mais tempo para aproveitar e cuidar da sua família nos momentos mais importantes.
Conforto para quem trabalha remoto: Receba o Auxílio Home Office para apoiar nas despesas extras.
Presente no Seu Dia: Ganhe um Vale Presente no seu aniversário para celebrar do jeito que preferir!
Vá e Volte sem Estresse: O Vale Transporte vai te levar e trazer de volta, fácil e sem complicações.
Cresça com Parcerias Top: Aproveite nossas parcerias com gigantes como Google, Microsoft, BSTQ, Amazon e mais para turbinar sua carreira com certificações de peso.

Senior Data Engineering Analyst

Key skills