Data Engineer Specialist

Faça parte do #dreamteam idwall.

Nossa missão é construir relações de confiança por meio da tecnologia!

Respiramos inovação, incentivamos um ambiente seguro para compartilhamento de ideias onde todas as pessoas têm autonomia, sabemos que diferentes pontos de vista enriquecem os nossos produtos e buscamos por isso.

Se você procura um lugar para crescer exponencialmente e deseja ajudar a construir conexões mais transparentes entre pessoas e empresas #VemSERidwaller.

O time de Data Platform tem a missão de democratizar o acesso a dados confiáveis para que todas as áreas possam extrair insights, criar e evoluir produtos, gerando valor e impulsionando o negócio. Você terá a oportunidade de trabalhar no desenvolvimento e evolução da plataforma de dados, trabalhando com as principais tecnologias "cutting-edge" e fazendo parte da escolha, construção e implementação da arquitetura, ferramentas, pipelines e processos de dados, garantindo boas práticas, qualidade, escalabilidade e observabilidade.

Como será meu dia a dia?

• Construir e manter a infraestrutura de dados com foco em escalabilidade, disponibilidade, automação e segurança;
• Desenvolver, orquestrar e manter pipelines de dados de grande escala e alto desempenho confiáveis, testáveis e de fácil manutenção;
• Implementar e manter soluções de Data Discovery, Observability, Quality e Lineage;
• Definir e implementar processos de Engenharia de Dados, incluindo implementação de frameworks e ferramentas;
• empoderar times construindo e mantendo ferramentas e padrões para tornar o processo de criação de produtos de dados mais ágil desde a ingestão/exploração dos dados até o deploy;
• Implementar e evangelizar boas práticas de engenharia de software
• Implementar e evangelizar boas práticas de modelagem e qualidade de dados;
• Mentorar pessoas de engenharia de dados;

O que é importante eu dominar?

• Experiência em ambientes de Computação em Nuvem. Hoje toda nossa plataforma de dados está na Google Cloud Platform.
• Sólidos conhecimentos em arquitetura e infraestrutura de dados
• Sólidos conhecimentos em banco de dados relacionais e escrita de query (SQL)
• Sólidos conhecimentos em orquestração de pipelines de dados (Airflow)
• Experiência em processamento de dados e sistemas distribuídos (Apache Spark)
• Sólidos conhecimentos em engenharia de software
• Experiência em desenvolvimento software (Python, Git, Docker)
• Experiência em modelagem dimensional
• Conhecimento em bancos de dados não-relacionais
• Conhecimentos em orquestração de containers (Kubernetes)
• Experiência em Infra-as-Code. Aqui usamos Terraform
• Experiência com ferramentas de qualidade de dados (Great Expectations, Elementary)
• Experiência com metodologias ágeis

O que é um diferencial para esse processo?

• Experiência com alguma ferramentas de catálogo de Dados (Amundsen, OpenMetadata)
• Experiência com Databricks
• Experiência com processamento de dados em tempo real (Spark Streaming, Kafka)
• Experiência com arquitetura Lakehouse
• Experiência com algum dos "modern table formats" disponíveis no mercado (Delta, Hudi, Iceberg)
• Experiência com alguma engine de processamento de query distribuído (Presto, Trino)
• Conhecimento de dbt
• Experiência em processos de proteção de dados como anonimização, RBAC entre outros.

Como vivem idwallers?

Para a idwall, cultura é tudo o que pode ser ensinado e transmitido, nossas histórias e o que compartilhamos. Para que isso sempre aconteça, somos guiados pelos nossos valores: Confiança, Coragem, Felicidade, Colaboração, Diversidade, Fazer Acontecer, eles estão super presentes no nosso dia a dia!

Também temos rituais que amamos demais:

Reunião do Conhecimento: Nossos idwallers compartilham e debatem livremente qualquer assunto que conheçam.

Celebration Breakfast: Nos reunimos mensalmente pra rever nossos resultados e compartilhar novidades.

Idlabs: Uma iniciativa para fortalecer a cultura de inovação da idwall. Qualquer um pode apresentar um projeto, que passa por diferentes fases de desenvolvimento com um time multidisciplinar.

Tech Sessions: Um espaço pra falar de tech na idwall, trocar experiências entre áreas e compartilhar conhecimentos.

Benefícios:

• Cartão Caju (bandeira VISA) VR + Benefícios flexíveis;
• Auxílio Home Office mensal;
• Auxílio Creche (para filhos de 0 a 5 anos);
• DayOff de aniversário ou no aniversário de filhos e filhas;
• Idlanguage - nosso programa de idiomas;
• Terapia ou coaching pelo app ZenKlub (4 por mês);
• Gympass;
• Plano de Saúde SulAmérica;
• Plano Odonto SulAmérica;
• Seguro de Vida Metlife.

Adoramos indicações e as suas são sempre super bem vindas, manda pra gente :D

Modelo de trabalho

O modelo de trabalho desse time é full remoto, mas quem quiser pode ir para o escritório que fica na região da Paulista, bem pertinho das estações Paulista e Consolação.

Estamos construindo uma das maiores RegTech do mundo!

Nós da idwall acreditamos que a tecnologia tem o poder de mudar o mundo e fortalecer as relações de confiança. Criamos a melhor tecnologia para verificação de identidade no Brasil e, com ela, impactamos milhões de pessoas. Por isso, buscamos nos cercar de pessoas inteligentes, de alta performance, que saibam agir com autonomia e que pensem diferente, questionando a maneira como as coisas são. Este é um convite para aqueles com espírito de desafio: queremos reunir pessoas incríveis para que coisas incríveis aconteçam.

Tecnologia de verdade para problemas de verdade!

O Brasil é o segundo país do mundo com mais fraude de identidade. Estima-se que o mercado de identidade digital no Brasil pode atingir o valor de U$ 1 bilhão de dólares até 2024, isso poderia resultar em um crescimento de 13% no PIB até 2030.

Temos um desafio de grande impacto e trabalhamos animados na criação de uma tecnologia íntegra, confiável, e disponível para todos. Trabalhamos com o que há de mais inovador no mercado e não temos medo de arriscar. Nosso time é incentivado a testar sempre e buscar soluções criativas para enfrentar os desafios que encontram. Dentro dos times de tecnologia, e na idwall como um todo, vivemos uma cultura de liberdade para propor ideias e fazer acontecer!

Pessoas protagonistas e apaixonadas por grandes desafios!

Estamos em busca de pessoas que desejam viver o maior desafio das suas carreiras.

Acreditamos na prática do “desconforto positivo”- isto é - durante a sua vivência na idwall, surgirão desafios que a primeira vista, talvez você não se sinta totalmente pronto(a) para resolver, buscamos pessoas que se animem com situações deste tipo, encontrando novas possibilidades. Nossa cultura incentiva o protagonismo de quem puxa pra si a responsabilidade de entregar um trabalho excelente.

Quer conhecer mais sobre a idwall? Confira o nosso blog de Engenharia: engineering.idwall.co