A Dimensa está no topo do jogo quando o assunto é tecnologia e infraestrutura para operações financeiras, crédito e risco, e seguros. Nossos sistemas são super escaláveis e adaptáveis, perfeitos para negócios de todos os tamanhos. Nossa equipe de experts vive e respira o setor financeiro, atualizando nossas soluções constantemente para tornar suas operações mais digitais, melhorar a performance, inovar no atendimento aos clientes e garantir que todas as exigências regulatórias sejam 100% cumpridas.
Todas as nossas oportunidades são inclusivas e abertas para pessoas com deficiência.
O DESAFIO
● Implementar processos de ingestão e transformação de dados no Databricks, desenvolvendo código otimizado em Apache Spark (Py Spark/Scala) para processar grandes volumes de dados provenientes de sistemas transacionais e logs.
● Projetar e manter estruturas de dados no Mongo DB para armazenar e consultar dados semi-estruturados ou não relacionais, definindo modelos de documentos adequados e índices para garantir desempenho nas consultas.
● Integrar o Mongo DB ao ecossistema da plataforma de dados, implementando pipelines que migrem ou sincronizem dados entre o Mongo DB e outros repositórios (por exemplo, Data Lake ou Postgre SQL), conforme necessário para o projeto.
● Otimizar a performance de jobs e consultas, ajustando configurações de cluster Databricks/Spark (particionamento, paralelismo) e realizando otimizações no Mongo DB (por meio de gestão de índices, sharding ou replicação, se aplicável).
● Colaborar com o Tech Lead e Arquiteto de Dados para garantir que as soluções implementadas em Databricks e Mongo DB estejam alinhadas à arquitetura global e atendam aos padrões de qualidade e segurança.
● Identificar gargalos ou problemas de dados (ex: inconformidades, atrasos no pipeline, falhas de integração) e propor soluções eficazes, implementando melhorias de forma proativa.
● Documentar os processos desenvolvidos (notebooks, scripts, configurações do cluster, estruturas do Mongo DB) para facilitar a manutenção futura e a transição para a fase de sustentação após o projeto.
O QUE VOCÊ PRECISA
● Atuação em projetos de Big Data e processamento distribuído.
● Domínio da plataforma Databricks e do ecossistema Apache Spark (incluindo escrita
de jobs em Py Spark e/ou Scala), com experiência em otimização de jobs, gerenciamento de clusters e uso de Delta Lake.
● Experiência avançada com Mongo DB, incluindo design de coleções, consultas complexas (Aggregation Framework), índices e boas práticas de desempenho e replicação.
● Familiaridade com linguagens de programação e scripts para manipulação de dados (Python, Scala e SQL), assim como uso de APIs e conectores para integração entre Spark, Mongo DB e outros sistemas.
● Conhecimentos de sistemas de mensageria/streaming de dados (ex: Kafka) para trabalhar com integrações em tempo real, caso parte dos dados seja recebida via streams.
VOCÊ VAI BRILHAR AINDA MAIS SE TIVER
- Experiência no mercado financeiro
O QUE OFERECEMOS PARA VOCÊ
Vale Alimentação: Para saborear deliciosas refeições
$ Previdência Privada: Planeje o futuro com segurança.
✙ Assistência Médica e Odontológica: Cuidado completo para você e sua família.
Licença Maternidade e Paternidade Estendida: Mais tempo para aproveitar os momentos especiais.
Auxílio Creche: Para ajudar nas despesas dos pequenos.
ღ Seguro de Vida: Segurança para você e quem você ama.
Wellhub: Acesso a academias e atividades físicas para manter a saúde em dia.
Participação nos Lucros e Resultados (PLR): Sucesso compartilhado com todos.
Einstein Conecta: Orientação médica online com os especialistas do Hospital Israelita Albert Einstein, totalmente gratuito.
