Key skills
AirflowAmazon RedshiftAWSPythonSparkSQLRedshiftdbtS3
About this role
Role Overview
- Desenvolver pipelines de dados escaláveis utilizando AWS (S3, EMR, Redshift).
- Atuar com processamento de dados em larga escala usando DBT, DuckDB e Spark.
- Participar da construção de DAGs dinâmicas via Airflow e YAML.
- Discutir requisitos com stakeholders e propor soluções técnicas.
- Monitorar e garantir a qualidade dos pipelines e dados processados.
Requirements
- Experiência sólida com AWS (S3, EMR, Redshift).
- Domínio de Python orientado a objetos e SQL.
- Conhecimento em DBT, DuckDB, Airflow.
- Experiência com arquitetura de dados e interdependência de pipelines.
- Desejável experiência com observabilidade e monitoramento de pipelines.
Tech Stack
- Airflow
- Amazon Redshift
- AWS
- Python
- Spark
- SQL
Benefits
- Saúde
- Reembolso de despesas
- Trabalho flexível