Engenheiros de dados (nuvem e big data)

Procuramos um Engenheiro de Dados experiente para integrar nosso time de Data Engineering. O candidato ideal terá sólida experiência no ecossistema Microsoft Azure, dominando ferramentas de integração, processamento e segurança de dados em larga escala. Este profissional será responsável por projetar, desenvolver e otimizar pipelines de dados, garantindo a ingestão, transformação e armazenamento eficiente de dados em ambientes de nuvem.

Principais Responsabilidades:

• Desenvolver Pipelines de Dados: Criar e manter pipelines de ingestão, transformação e movimentação de dados usando Azure Data Factory e Azure Databricks.
• Processamento em Larga Escala: Utilizar PySpark para processar grandes volumes de dados distribuídos de maneira eficiente.
• Automatizar e Orquestrar Processos: Implementar e automatizar processos de ETL/ELT com Azure DevOps, garantindo a entrega contínua e a manutenção de fluxos de dados.
• Segurança de Dados: Utilizar Azure Key Vault para gerenciar e proteger credenciais, chaves e outros segredos durante a manipulação e armazenamento de dados.
• Gerenciamento de Bancos de Dados: Desenvolver e otimizar consultas complexas em SQL Server e outros bancos de dados, assegurando performance em ambientes de alta demanda.
• Análise e Transformação de Dados: Trabalhar com Python e SQL para realizar análises de dados e implementar algoritmos de transformação e limpeza de dados.
• Integração e Colaboração: Colaborar com times de data science, analytics e produto, integrando dados de diversas fontes e criando soluções escaláveis para análise de dados.