CI&T

[Job - 28995] Mid-Senior Data Developer (PySpark + AWS), Brazil

CI&T  •  Federative Republic of Brazil (Onsite)  •  9 days ago
Apply
AI can make mistakes so check important info. Chat history is never stored.

Job Description

Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade.
Importante se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

Estamos buscando um(a) Engenheiro(a) de Dados focado(a) em integração e modelagem para construir e evoluir nosso data lake e camadas analíticas. Não é uma posição orientada a “big data”/streaming massivo, e sim a integrações sólidas, pipelines de transformação estáveis e organização de dados de mercado (histórico e distribuição) com boa governança e qualidade.

Principais responsabilidades:

- Projetar, implementar e manter pipelines de dados ponta a ponta (ELT/ETL) com foco em confiabilidade, reprocessamento e custo-eficiência.
- Orquestrar cargas e rotinas usando Airflow (AWS) e funções serverless (AWS Lambda); apoiar deploys em EKS quando necessário.
- Modelar dados no Snowflake (camadas bronze/prata/ouro) e desenvolver transformações no dbt (macros, tests, docs).
- Construir integrações e serviços em Python com FastAPI para expor/consumir dados e automatizar processos.
- Consumir, normalizar e versionar dados de mercado (market data), com ênfase em histórico e distribuição (batch; pouco streaming).
- Escrever SQL de alto desempenho (tuning, particionamento/clustering no Snowflake, e em Postgres).
- Utilizar Pandas para tratamentos pontuais, validações e prototipação de transformações.
- Garantir qualidade (testes no dbt, data checks), observabilidade (logs/metrics/alerts), segurança (acessos, mascaramento) e documentação.
- Colaborar com times de negócios, analytics e produtos para definir SLAs, contratos de dados e padrões de governança.

Requisitos obrigatórios:

- Sólida experiência com SQL (otimização de queries, modelagem relacional e analítica).
- Experiência prática com Snowflake (warehousing, roles, tasks, performance, custos) e dbt (models, tests, sources, exposures).
- Experiência construindo pipelines de dados em Airflow (DAGs, sensores, retries, SLA) e AWS Lambda.
- Conhecimento de Postgres (ingestão, replicação/CDC básica ou manutenção, rotinas).
- Vivência com Python para dados (Pandas) e desenvolvimento de APIs com FastAPI.
- Prática em ELT/ETL orientado a batches, versionamento em Git e CI/CD (deploy seguro de pipelines/modelos dbt).
- Noções de segurança e governança de dados (controle de acesso, linhagem, documentação, dados sensíveis).
- Inglês técnico para leitura de documentação.

Diferenciais:

- Experiência com EKS/Kubernetes para workloads de dados.
- Integração de fontes de market data (provedores, formatos, rate limits, histórico, calendário).
- Monitoramento/observabilidade (prometheus/grafana/cloudwatch), data quality além do dbt (Great Expectations, Soda).
- Padrões de contrato de dados (pydantic/JSONSchema), e práticas de data contracts.
- Performance em Snowflake (micro-particionamento, clustering, warehouses, query profile).
- Custos e FinOps em dados na AWS/Snowflake.
- Experiência com CDC (Debezium, DMS) e mensageria (SQS, SNS; Kafka apenas se necessário).

Stack e ambiente:

- Data platform: Snowflake, dbt
- Orquestração e Cloud: Airflow (AWS), AWS Lambda, EKS (quando aplicável)
- Linguagens e libs: Python, Pandas, FastAPI
- Bancos: Postgres, Snowflake
- Dev: Git, CI/CD (GitHub Actions/GitLab CI/CodeBuild), IaC (CloudFormation/Terraform é plus)
- Observabilidade: CloudWatch, (Grafana/Prometheus como plus)


#LI-DR3 MidSeniorNossos benefícios:
- Plano de saúde e odontológico;- Vale alimentação e refeição;- Auxílio-creche;- Licença parental estendida;- Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass;- Participação nos Lucros e Resultados (PLR);- Seguro de Vida;- Plataforma de aprendizagem contínua (CI&T University);- Clube de descontos;- Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;- Curso gestante e parentalidade responsável;- Parceria com plataformas de cursos online;- Plataforma para aprendizagem de idiomas;- E muitos outros
Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras
Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui.Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.
Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.

CI&T

About CI&T

We are your global partner in tech-integrated business solutions, bringing deep business understanding together with technology and AI to help leaders navigate change with clarity and measurable impact. With teams around the world and decades of transformation experience, we work side by side with clients to solve complexity and create meaningful, lasting impact.

Industry
IT & Software
Company Size
5,001-10,000 employees
Headquarters
New York, NY
Year Founded
1995
Social Media