Keyrus

Pleno Data Engineer (AWS e DataBricks)

Keyrus  •  São Paulo, BR (Onsite)  •  10 hours ago
Apply
AI can make mistakes so check important info. Chat history is never stored.

Job Description

A Keyrus acredita na diversidade e na inclusão. Encorajamos a todos a participarem em nosso processo de contratação, não importando o gênero, idade, raça, religião. Não permitimos nenhum tipo de discriminação. Isto é reforçado no processo de contratação e vivido dessa forma na empresa.

Sabemos que grandes resultados só são alcançados com uma grande equipe, por isso procuramos pessoas talentosas e apaixonadas, com desejo de crescer profissionalmente e criar uma trajetória de carreira conosco.

Papéis e Responsabilidades:

  • Desenvolver e manter pipelines de ingestão de dados utilizando Autoloader (incremental, schema evolution e otimização de throughput).

  • Processar dados em larga escala utilizando Spark Structured Streaming e Spark SQL

  • Aplicar boas práticas de engenharia de dados, incluindo particionamento e otimizações com Delta Lake

  • Realizar análise e otimização de performance e custos em ambientes Databricks

  • Implementar processos de Data Quality para garantir confiabilidade dos dados.

  • Utilizar Git para controle de versionamento, incluindo pull requests e boas práticas de desenvolvimento colaborativo.

  • Criar documentação técnica clara e organizada das soluções implementadas.

  • Colaborar com times de negócio, analytics e tecnologia para garantir que os dados estejam estruturados, acessíveis e seguros.

Qualificações Essenciais:

  • Experiência com engenharia de dados e processamento de grandes volumes de dados

  • Conhecimento em Python, Apache Spark e Databricks

  • Experiência na construção e manutenção de pipelines de dados escaláveis

  • Conhecimento em Spark SQL e Structured Streaming

  • Experiência com versionamento de código utilizando Git

  • Experiência com análise, melhoria e otimização de custos e performance em Databricks.

Serão considerados Diferenciais:

  • Experiência com metodologias ágeis (Scrum, Kanban, entre outras).

  • Conhecimento em arquitetura de dados moderna e melhores práticas de ETL/ELT

  • Perfil autogerenciável, com forte capacidade de resolução de problemas e tomada de decisão em ambientes complexos.

  • Interesse em novas tecnologias e inovação em soluções de dados

Nossa missão é Auxiliar as empresas a extrair todo o potencial de Dados e Digital objetivando aumentar seu desempenho, ajudando na transformação, gerando novas alavancas de crescimento e competitividade.

Vem fazer parte do Time Keyrus!

Se você quiser saber mais sobre nós, convidamos você a visitar nosso site: http://www.keyrus.com/br/


Desejamos boa sorte! 😊🚀

Keyrus

About Keyrus

As an international player in consulting and technology, Keyrus is committed to making sense of data by revealing its full potential, particularly from a human perspective.

Our value proposition is built on diverse service groups:

Automation & Artificial Intelligence: We provide our clients with the tools to enhance productivity and accuracy across their processes, allowing them to focus on higher-value work.

Human-Centered Digital Experience: Customer relationships and employee engagement are two of the biggest contributors to business success. We help companies design and create seamless, multimodal digital experiences to achieve their goals.

Data & Analytics Implementation: Data is an undeniable key to business success. When leveraged intelligently, it unlocks unique opportunities to tackle present and future challenges.

Cloud & Security: Cloud computing and digital platforms have the potential to revolutionize how data is transformed into value, taking scalability and flexibility to the next level. We ensure that all your data remains protected and confidential.

Transformation & Innovation: To thrive in today’s ecosystem, businesses must not only accelerate their digital transformation but also develop the skills necessary to enhance adaptability, resilience, and competitiveness. We help our clients successfully transform to build a better future.

With over 3,000 employees and a presence in 28 countries across 4 continents, Keyrus is a leading international expert in data, consulting, and technology.

Industry
Unknown
Company Size
1,001-5,000 employees
Headquarters
Levallois-Perret, FR
Year Founded
1996
Social Media