DATA ENGINEER SPARK / SCALA / DATABRICKS (IT) / Freelance

Bonjour, Pour le compte de notre client nous recherchons un data engineer spark / scala / databricks. S?agissant d?un projet mené en agilité, le découpage des livrables est réalisé par sprints. Le contenu de chaque sprint est identique, seul le détail des US (User Stories) change. A noter que ces livrables sont réalisés par l?équipe projet, il n?y a pas de responsabilité de production individuelle. Livrables n°1 : Sprint n°1 Lot 1 : développement des US et tests associés ; Lot 2 : Documentation projet, mapping des données, modélisation des pipelines, documents d?exploitation ; Lot 3 : Mise en place du CI/CD sur notre usine logicielle ; Lot 4 : Mise en place du monitoring ; Les compétences technologiques attendues sont : Interne Indispensables : maîtrise de l'API Scala Spark (batch principalement), maîtrise des techniques d'optimisation Spark, expérience dans le traitement de volumétries importantes / complexes, développement et bonnes pratiques Scala, build Maven, travail en environnement cloud (idéalement Azure) Appréciées : écosystème Databricks, briques Azure Function et Azure Data Factory, monitoring sous Datadog, déploiement Ansible. Profil candidat: Bac 5 informatique Profil technique Expertise spark / scala / databricks Très bonne communication Apprécié Azure Qualité relationnelles et aisance orale.

Location: Paris, FR

Posted Date: 1/15/2025