UCASE CONSULTING
Postée il y a 4 jours
Bonjour,
Pour le compte de notre client, nous recherchons un Tech lead data engineer Pyspark / Azure / Databricks.
Missions ci-après :
1?? Analyse et Conception
Étudier les besoins métiers et concevoir l?architecture des pipelines de données en intégrant des modèles adaptés aux cas d?usage.
(Tech Lead) Définir la stratégie technique, valider les choix d?architecture et assurer leur cohérence avec les exigences métier et techniques.
2?? Développement des Pipelines
Développer et optimiser des pipelines ETL/ELT avec PySpark, intégrer diverses sources de données (SQL, NoSQL, APIs, fichiers) et garantir leur performance.
(Tech Lead) Assurer les bonnes pratiques de développement, réaliser des revues de code et encadrer les développeurs juniors.
3?? Gestion des Environnements Cloud
Configurer et gérer les clusters Databricks, orchestrer les flux de données avec Azure Data Factory / Databricks Workflows et stocker les données dans Azure Data Lake.
(Tech Lead) Optimiser la gestion des ressources cloud, mettre en place des standards pour le provisioning des environnements et superviser les décisions liées aux coûts et performances.
4?? Optimisation et Performance
Améliorer l?exécution des jobs avec Delta Lake, optimiser le code PySpark (partitioning, caching, joins...) et mettre en place du monitoring.
(Tech Lead) Définir et promouvoir les meilleures pratiques d?optimisation et de monitoring, analyser les bottlenecks et proposer des solutions adaptées à grande échelle.
5?? Sécurisation et Gouvernance
Assurer la sécurité des données avec RBAC, ACLs, Unity Catalog, mettre en place des contrôles d?accès et garantir la qualité des données (tests, validation, gestion des erreurs).
(Tech Lead) Définir les standards de sécurité et de gouvernance, assurer la conformité aux réglementations (GDPR, RGPD, ISO) et encadrer l?implémentation des bonnes pratiques.
6?? Automatisation et CI/CD
Automatiser le déploiement des pipelines via Azure DevOps, Terraform, intégrer des tests unitaires et des workflows CI/CD pour Databricks.
7?? Supervision et Maintenance
Suivre les performances et les coûts via Azure Monitor, assurer la maintenance des pipelines et documenter les processus pour le partage de connaissances.
(Tech Lead) Coordonner les opérations de maintenance, établir une vision long terme des évolutions techniques et encadrer la montée en compétences des équipes. ?
Profil candidat:
Bac + 5 informatique
Prérequis : Au moins 6 ans d'XP en python et pyspark
XP : Au moins 1 an sur Databricks et Azure
XP : 1 an en tant que tech lead
RIgoureux, bon relationnel et bonne communication