Responsável por projetar, construir e otimizar pipelines de dados para soluções de inteligência artificial desenvolvidas sob encomenda para clientes do Distrito.
Projetar e implementar arquiteturas de dados escaláveis para suportar modelos de machine learning e IA generativa;
Desenvolver e otimizar pipelines para ingestão, processamento e armazenamento de grandes volumes de dados;
Trabalhar com arquitetos de soluções e engenheiros de machine learning para transformar requisitos de negócio em soluções técnicas eficientes;
Garantir qualidade, governança e segurança dos dados, aplicando melhores práticas de engenharia de dado;
Implementar estratégias de MLOps para automação de pipelines e versionamento de modelos;
Colaborar na integração de APIs e sistemas distribuídos para processamento de dados em tempo real;
Monitorar a performance e escalabilidade dos sistemas de dados, identificando oportunidades de otimização.

Experiência sólida c/ modelagem de dados e ETL, incluindo frameworks como Apache Airflow, Data Factory ou Spark;
Domínio de bancos de dados SQL (PostgreSQL, MySQL) e NoSQL (MongoDB, Redis, Cassandra)
Conhecimento em VectorDB, como Qdrant, é considerado diferencial importante;
Experiência com arquiteturas de big data e processamento distribuído;
Conhecimento em Python (Pandas, PySpark) e ferramentas de MLOps (MLflow, Kubeflow, Vertex AI);
Experiência com serviços de cloud computing (AWS, Azure, GCP ou OCI);
Familiaridade com contenedores e orquestração (Docker, Kubernetes);
Experiência com segurança e governança de dados.
Diferenciais:
Experiência com engenharia de dados aplicada à IA generativa e modelos LLM;
Conhecimento em arquiteturas orientadas a eventos (Kafka, RabbitMQ);
Experiência em infraestrutura como código (Terraform, CloudFormation);
Certificações em engenharia de dados e cloud computing.

Engenheiro de Dados

Key skills