SysMap Solutions

Engenheiro de Dados AWS - Databricks

SysMap Solutions  •  Remote  •  2 hours ago
Apply
AI can make mistakes so check important info. Chat history is never stored.

Job Description

Você é movido(a) por tecnologia, dados e inovação? 🚀

Na Triggo.ai, transformamos desafios complexos em soluções inteligentes. Somos uma empresa brasileira focada em Analytics, IA e transformação digital, ajudando organizações a tomar decisões mais estratégicas e gerar impacto real nos negócios.

Trabalhamos com diferentes setores do mercado, sempre combinando tecnologia de ponta, visão de negócio e execução ágil.

Se você quer construir soluções que fazem a diferença e crescer junto com um time de alta performance, seu lugar pode ser aqui.

👉 Vem para a Triggo.ai e construa o futuro com a gente.

  • Desenvolver e evoluir soluções de Engenharia de Dados utilizando Databricks e AWS.
  • Atuar na administração e evolução do Unity Catalog.
  • Estruturar catálogos, schemas, tabelas, volumes e demais objetos de dados.
  • Implementar e administrar controle de acesso e permissões utilizando Unity Catalog.
  • Apoiar a definição e implementação de políticas de segurança e governança de dados.
  • Trabalhar com Data Lineage, descoberta e rastreabilidade dos dados.
  • Desenvolver e manter pipelines de dados batch e, quando aplicável, streaming.
  • Desenvolver transformações utilizando SQL, Python e PySpark.
  • Trabalhar com Delta Lake / Delta Tables e arquitetura Lakehouse.
  • Integrar fontes de dados utilizando serviços AWS e componentes da plataforma Databricks.
  • Garantir qualidade, confiabilidade, segurança e disponibilidade dos dados.
  • Apoiar a definição de padrões de arquitetura e boas práticas para utilização do Databricks.
  • Monitorar e otimizar performance e custos dos workloads de dados.
  • Trabalhar em conjunto com times de Data Engineering, Data Science, Analytics, Arquitetura, Segurança e Governança.

Experiência sólida com Databricks.

Boa experiência prática com Unity Catalog, incluindo:

  • Catálogos e schemas;
  • Tabelas e views;
  • Volumes;
  • Controle de acesso e privilégios;
  • GRANT/REVOKE;
  • Data Lineage;
  • Organização e governança dos ativos de dados;
  • Integração com mecanismos de identidade e segurança;
  • Boas práticas de governança em ambientes corporativos.

Experiência com Delta Lake.

Conhecimento de Apache Spark e/ou PySpark.

Experiência com Databricks Workflows/Jobs.

Conhecimento de otimização e performance de workloads.

SysMap Solutions

About SysMap Solutions

SysMap Solutions is a services company devoted to offering technological development to its customers since 1997.

Nowadays, everyone is in contact with technology, but few have understood and mastered it like we have. Our know-how yields complex codes and systems which are carefully planned and developed in order to meet our clients'​ demands.

What sets us apart is our experience. This is why entrusting our team with your project is a guarantee of excellent results. It's more than that: it is making sure that the final solution is the exact response to your needs.

So count on us. After all, in the Age of Information, the most intelligent decision is having by your side those who have and share knowledge

Industry
IT & Software
Company Size
501-1,000 employees
Headquarters
São Paulo, BR
Year Founded
1999
Social Media