Data Engineer Pleno

Job description

Nós construímos soluções com alta volumetria de informações para a segurança de infraestrutura, segurança de sistemas e prevenção de cyber fraudes. Dentre as principais tecnologias utilizadas nestas aplicações, temos:

• Python;
• SQL;
• Pyspark;
• Pandas;
• Tensorflow;
• LLMs;
• Bancos de dados relacional e não relacional;
• Bancos de dados colunares e tabulares.

No time buscamos cuidar das pessoas, garantir o desenvolvimento e excelência técnica. Valorizamos o trabalho em equipe e o compartilhamento de conhecimento e ideias onde tod@s têm voz ativa, independente do cargo ou experiência. Sempre procuramos questionar números e métodos além de utilizar as boas práticas de engenharia de software e segurança, como:

• Ciclo de desenvolvimento ágil;
• Revisão de código;
• Integração contínua;
• Testes automatizados;
• Monitoramento dos patches de segurança das principais tecnologias utilizadas;
• Testes de segurança;
• Treinamentos de segurança.

Main responsibilities

• Projetar e desenvolver abordagens modernas que garantam fluxo de dados de ponta a ponta com escalabilidade, qualidade e resiliência;
• Definir e atualizar os padrões para adquirir, armazenar, gerenciar e compartilhar dados;
• Evoluir/adaptar as soluções de dados existentes com o uso de recentes tecnologias;
• Incentivar as melhores práticas de engenharia de dados para o desenvolvimento de soluções;
• Contribuir com o time multidisciplinar para projetar implementações escaláveis de modelos de machine learning, de data analytics e de análises exploratórias;
• Automatizar processos de monitoramento, alerta e manutenção de pipelines e sistemas de dados;
• Colaborar com outras áreas para apoiar o consumo e utilização de dados.

Requirements and skills

• Profissional com boa familiaridade em infraestrutura de nuvem como GCP, AWS ou Azure;
• Boa compreensão sobre modelagem de dados (colunares, tabulares, relacionais e não relacionais);
• Vivências anteriores na construção de pipelines de dados, utilizando soluções de processamento (Spark, Hadoop ou semelhantes), execução de consultas em grandes volumes de dados (Big Query, Athena ou similares) e orquestração (Airflow, Prefect, etc) em ambiente de produção;
• Bons conhecimentos sobre Data Lakes, Data Warehouses e Data Marts;
• Capaz de entender problemas de qualidade de dados, como resolvê-los e monitorá-los;
• Proficiência em Python, SQL, Git e em alguma ferramenta de ETL como DBT, Airbyte, Kinesis Data Firehose, entre outras;
• Conseguir comunicar de forma clara os resultados das análises realizadas.

Additional information

• Experiência na indústria de Cybersecurity e Anti-fraudes;
• Experiência com ferramentas como kubernetes, Big Query, Elasticsearch e etc;
• Compreensão de conceitos de ETL e big data voltados para aplicações de machine learning;
• Boas habilidades de comunicação e conforto ao discutir detalhes técnicos com o time;
• Gostar de compartilhar experiências, conhecimentos e suas expertises com outras pessoas por meio de palestras, blogs e publicações técnicas.

#J-18808-Ljbffr

Location: Brasil, BR

Posted Date: 11/2/2024