Data Engineer Pleno - Afirmativa para Mulheres
Neon
Data Science
são paulo, state of são paulo, brazil
Posted on May 30, 2024
Sobre o time: O time de Data Platform é responsável por manter e evoluir a Plataforma de Dados usada pela Neon para a criação de processos, análises para embasar decisões, exploração e experimentação de oportunidades e visibilidade de resultados e desempenho de negócio.
Nossa plataforma oferece ferramentas para que cada área da empresa possa gerenciar seus próprios dados de forma autônoma. Isso permite um compartilhamento eficiente e seguro de informações entre as áreas, promovendo uma cultura colaborativa e data-driven.
Responsabilidades:
- Garantir a otimização e a manutenção de pipelines de dados escaláveis, eficientes e estáveis;
- Desenvolver e otimizar arquiteturas de serviços e dados, garantindo qualidade e governança;
- Colaborar com times de Produto, Engenharia e Negócios da Neon para entender necessidades e traduzir em oportunidades de melhorias em nossa Plataforma de Dados;
- Monitorar e otimizar fluxos de ingestão, processamento e armazenamento de dados;
- Assegurar a escalabilidade, estabilidade e observabilidade da plataforma de dados;
- Participar de discussões e decisões sobre funcionalidades da plataforma, arquitetura de dados e melhores práticas do time;
- Atuar em eventuais incidentes para assegurar o retorno da normalidade de seu funcionamento o mais rápido possível, assim como os consecutivos passos de post mortem e mitigação de causas raiz de problemas.
Requisitos:
- Experiência em infraestrutura e arquitetura de ferramentas dedicadas à Engenharia de Dados;
- Conhecimento avançado em técnicas e boas práticas de escalabilidade, estabilidade e observabilidade de plataformas;
- Proficiência em linguagens de programação como Python, Java, Scala ou similares;
- Experiência com ferramentas de ETL/ELT, processamento de dados em larga escala e arquiteturas de data lake;
- Familiaridade com ambientes de nuvem (preferencialmente AWS), ferramentas de infraestrutura como código e plataforma de orquestração de contêineres.
Diferenciais:
- Experiência com plataformas de processamento de dados como Apache Spark, Apache Hive, Apache Sqoop e Trino;
- Experiência com Kubernetes;
- Conhecimento em ferramentas de visualização de dados e BI;
- Experiência com metodologias ágeis e práticas DevOps.