Make an impact
of your own.

Senior Data Engineer

Neon

Neon

Data Science
são paulo, state of são paulo, brazil
Posted on Thursday, May 30, 2024
Sobre o time: O time de Data Platform é responsável por manter e evoluir a Plataforma de Dados usada pela Neon para a criação de processos, análises para embasar decisões, exploração e experimentação de oportunidades e visibilidade de resultados e desempenho de negócio.
Nossa plataforma oferece ferramentas para que cada área da empresa possa gerenciar seus próprios dados de forma autônoma. Isso permite um compartilhamento eficiente e seguro de informações entre as áreas, promovendo uma cultura colaborativa e data-driven.

Responsabilidades:

  • Projetar, construir e manter pipelines de dados escaláveis, eficientes e estáveis;
  • Desenvolver e otimizar arquiteturas de serviços e dados, garantindo qualidade e governança;
  • Colaborar com times de Produto, Engenharia e Negócios da Neon para entender necessidades e traduzir em oportunidades de melhorias em nossa Plataforma de Dados;
  • Implementar, monitorar e otimizar fluxos de ingestão, processamento e armazenamento de dados;
  • Assegurar a escalabilidade, estabilidade e observabilidade da plataforma de dados;
  • Participar de discussões e decisões sobre funcionalidades da plataforma, arquitetura de dados e melhores práticas do time;
  • Atuar em eventuais incidentes para assegurar o retorno da normalidade de seu funcionamento o mais rápido possível, assim como os consecutivos passos de post mortem e mitigação de causas raiz de problemas.

Requisitos:

  • Experiência em infraestrutura e arquitetura de ferramentas dedicadas à Engenharia de Dados;
  • Conhecimento avançado em técnicas e boas práticas de escalabilidade, estabilidade e observabilidade de plataformas;
  • Proficiência em linguagens de programação como Python, Java, Scala ou similares;
  • Experiência com ferramentas de ETL/ELT, processamento de dados em larga escala e arquiteturas de data lake;
  • Familiaridade com ambientes de nuvem (preferencialmente AWS), ferramentas de infraestrutura como código e plataforma de orquestração de contêineres.

Diferenciais:

  • Experiência com plataformas de processamento de dados como Apache Spark, Apache Hive, Apache Sqoop e Trino;
  • Experiência com Kubernetes;
  • Conhecimento em ferramentas de visualização de dados e BI;
  • Experiência com metodologias ágeis e práticas DevOps.