Job Description

Este Ã© um cargo remoto.

Oportunidade: Data Engineer (Engenheiro de Dados) - Pleno
Requisitos ObrigatÃ³rios:
ExperiÃªncia comprovada no desenvolvimento e implementaÃ§Ã£o de pipelines de dados em escala de produÃ§Ã£o.
Forte domÃnio de Python, PySpark e SQL avanÃ§ado (window functions, CTEs, otimizaÃ§Ã£o de performance).
ExperiÃªncia prÃ¡tica em projetos de migraÃ§Ã£o de dados.
ExperiÃªncia com pelo menos uma grande plataforma de cloud (AWS, Azure ou GCP).
ExperiÃªncia com Databricks, serviÃ§os de dados da AWS ou Microsoft Fabric para desenvolvimento de pipelines.
ExperiÃªncia com data warehouses modernos, como Snowflake, BigQuery, Redshift ou Databricks.
ExperiÃªncia com bancos de dados relacionais (PostgreSQL, MySQL) e NoSQL (MongoDB, DynamoDB).
ExperiÃªncia com ferramentas de migraÃ§Ã£o de dados para ambientes on-premises ou cloud (ex.: SSIS).
ExperiÃªncia prÃ¡tica com Apache Spark / PySpark e agendamento de workflows (AWS Glue ou similar).
Familiaridade com Infrastructure as Code (Terraform, Docker).
ExperiÃªncia com pipelines de CI/CD (preferencialmente GitHub Actions).
Forte conhecimento em modelagem de dados (Star Schema, Data Vault, Modelagem Dimensional).

Diferenciais:
ExperiÃªncia em estratÃ©gia e planejamento de migraÃ§Ã£o de dados.
ExperiÃªncia na implementaÃ§Ã£o de soluÃ§Ãµes de Change Data Capture (CDC).
Conhecimento em tecnologias de streaming, como Kafka ou Kinesis.
ExperiÃªncia com desenvolvimento de pipelines RAG e aplicaÃ§Ãµes baseadas em GenAI.
Conhecimento de arquiteturas orientadas a eventos e integraÃ§Ã£o com microservices.

Principais Responsabilidades:
Projetar e construir pipelines de dados ETL/ELT escalÃ¡veis utilizando dbt, PySpark e outras ferramentas modernas de transformaÃ§Ã£o.
Desenvolver e manter pipelines de ingestÃ£o de dados para workloads de GenAI, incluindo processamento de documentos, chunking e workflows de embeddings.
Orquestrar workflows utilizando Airflow, Dagster ou ferramentas nativas de orquestraÃ§Ã£o em cloud.
Planejar e executar projetos de migraÃ§Ã£o de dados, incluindo anÃ¡lise da fonte de dados, mapeamento de schema, validaÃ§Ã£o e estratÃ©gias de rollback.
Implementar soluÃ§Ãµes de Change Data Capture (CDC) utilizando ferramentas padrÃ£o do mercado.
Construir e manter frameworks de qualidade de dados com testes automatizados e validaÃ§Ãµes.
Garantir governanÃ§a, seguranÃ§a e conformidade dos dados, incluindo tratamento adequado de PII (dados pessoais identificÃ¡veis) e aplicaÃ§Ã£o de polÃticas RBAC (controle de acesso baseado em funÃ§Ãµes).
Colaborar com Engenheiros de IA e Desenvolvedores Full Stack para dar suporte a pipelines RAG e aplicaÃ§Ãµes baseadas em GenAI.
Aplicar conceitos de arquitetura orientada a eventos para projetar soluÃ§Ãµes de processamento de dados escalÃ¡veis e confiÃ¡veis.

Idioma
: Ingles - AvanÃ§ado
Modelo de atuaÃ§Ã£o
: Remoto
PerÃodo de AlocaÃ§Ã£o
: Indeterminado

About Runtalent

Somos uma empresa de mais de 20 anos de serviços profissionais e digitais que conecta talento, tecnologia e inovação para acelerar resultados de negócios com eficiência, qualidade e segurança

Industry

IT & Software

Company Size

51-200 employees

Headquarters

Barueri, BR

Year Founded

2003

Website

runtalent.it

Social Media

10530 - Data Engineer (Engenheiro de Dados) - Pleno

Job Description

About Runtalent