Postée il y a 30 jours
Nous recherchons un Data Engineer confirmé GCP pour intervenir sur des projets stratégiques liés à la gestion et au traitement des données massives en temps réel dans un environnement Cloud moderne.
Vos missions :
Mettre en ?uvre des chaînes complètes de traitement des données : ingestion, validation, croisement et enrichissement des données.
Automatiser la production et la mise à disposition d?agrégats journaliers, hebdomadaires et mensuels.
Collaborer avec l?équipe Agile pour développer et documenter des user stories en lien avec le Product Owner.
Concevoir des scripts de déploiement et prioriser les corrections d?anomalies.
Automatiser les tests fonctionnels et participer à la mise en place de chaînes de livraison continue.
Profil candidat:
es indispensables :
Maîtrise des environnements GCP (Google Cloud Platform), notamment GKE, HDFS/GCS.
Excellente connaissance de Spark, Kafka et Scala pour le traitement de données.
Connaissance des outils de planification comme Airflow ou Composer.
Solides compétences en SQL, BigQuery et BigTable pour travailler sur des DWH (Data Warehouses).
Expérience avec les outils de delivery comme Git, Docker, Terraform, Jenkins ou Cloud Build.
Méthodologies Agile (Scrum, Kanban) et outils associés (Git).