Postée il y a 3 jours
Je recherche un Ingénieur DataOps pour accompagner notre client pour maintenir et faire évoluer le socle existant et participer à l'hybridation sur Azure.
Au sein d?une équipe data, vous serez en charge de garantir la fiabilité, la performance et la scalabilité des flux de données en production.
Vos missions incluront :
Automatisation & Orchestration : Développer et optimiser des pipelines de données sur Databricks et Spark.
CI/CD & Infrastructure as Code : BitBucket + Jenkins avec Nexus comme artifact registry
Supervision & Qualité des Données : Maintenir et optimiser le monitoring mis en place ainsi que les tests de qualité pour assurer la fiabilité des données.
Optimisation des Performances : Améliorer les performances des traitements big data (tuning Spark, gestion des coûts Azure).
Lineage de la donnée : il devra aider à maintenir et à faire évoluer les environnements aussi bien on-premise que sur Azure
Profil candidat:
Expérience : 3 ans minimum en environnement DataOps ou Data Engineering.
? Compétences clés :
?? Excellente maîtrise de Databricks et Spark et idéalement Hadoop car c?est le c?ur de la stack technique.
?? Expérience sur Azure et Terraform
?? Connaissance des bonnes pratiques DevOps appliquées à la data
?? Expérience en CI/CD avec GitLab
?? Capacité à optimiser les performances des traitements de données