Planejar e executar a migração de workloads, notebooks e dados entre workspaces Databricks;
Refatorar e otimizar Databricks Notebooks (Python/PySpark/SQL) para garantir compatibilidade e performance no novo ambiente;
Implementar arquitetura Delta Lake com foco em otimização de custos e performance na AWS;
Implementar o Unity Catalog para gerenciamento centralizado de metadados, linhagem de dados e controle de acesso (ACLs);
Definir políticas de governança, garantindo conformidade com LGPD/GDPR e segurança a nível de linha/coluna;
Assegurar a qualidade e integridade dos dados durante e após o processo de migração;
Criar pipelines de ingestão de dados provenientes de arquiteturas baseadas em microsserviços;
Gerenciar a extração e transformação de dados de bancos NoSQL, especificamente MongoDB, para o Data Lake;
Orquestrar fluxos de dados utilizando ferramentas nativas da AWS ou Databricks Workflows;
Disponibilizar datasets otimizados e "gold-standard" para consumo no Tableau;
Colaborar com analistas de negócios para garantir que a modelagem dos dados atenda aos requisitos de performance dos dashboards no Tableau.

Experiência comprovada em desenvolvimento, administração de clusters e uso extensivo de Databricks Notebooks;
Histórico prático em migrações de Data Lakes ou movimentação de workloads entre ambientes (ex: Legacy Hive Metastore para Unity Catalog);
Forte conhecimento em implementação de Unity Catalog, linhagem de dados e gestão de permissões;
Ecossistema AWS: Experiência sólida com S3, IAM, EC2 e serviços de rede relacionados a dados;
NoSQL & Microsserviços: Experiência prática com manipulação de documentos JSON e extração de dados do MongoDB;
Capacidade de integrar Databricks com Tableau (conectores, otimização de queries, publicação de fontes de dados);
Domínio de Python (PySpark);
SQL avançado.

Senior AWS Data Engineer

Key skills