Postée il y a 9 jours
L?enjeu de mon client est de proposer une plateforme Data permettant de rationnaliser et harmoniser les données en provenance différentes filiales et générer un socle commun et suffisamment flexible afin que les applications cibles/ utilisateurs finaux (Data Analyst, Data Scientists) puissent les exploiter à bon escient.
Mon client a opté pour solution technique :
- La solution Python/ Airflow en remplacement de Talend pour l?ingestion des données à froid dans notre Dataware Snowflake.
- La solution Nifi pour l?ingestion des données en temps réel pour les données s?appuyant sur du Kafka/ API et AWS Lambda sous Python dédié à la transformation de données. SQS/SNS/Snowpipe dans le cas d?ingestion vers Snowflake
Dans le cadre du déploiement de nouveaux cas d?usages Opération et Maintenance, nous sommes à la recherche d?un Data architecte spécialisés dans la gestion des données IOT.
MISSIONSPour renforcer notre équipe DataPlatform au sein de la DSI, nous recherchons un Data Architecte IOT.
Vous rejoindrez une équipe composée de 3 Data Engineer, 1 DB Admin, 1 TechLead et 2 DevOps.
Vous serez en charge des activités suivantes :
Activités
· Recueillir, analyser et synthétiser les besoins métiers
· Modéliser les objets d?entreprise en respectant les standards
· Travailler collaborativement avec les différents intervenants
· Être garant de la modélisation de la data platform (structure des tables et organisation des données) et du maintien des contrats d?interface
· Spécifier techniquement les flux de données non structurés (IOT Data)
On vous demandera pour chacun des projets de :
· Spécifier les règles de mapping dans les contrats d?interfaces
· Mettre à jour la documentation (Confluence, Diagramme des flux de données?)
· Réaliser des tests unitaires, de non-régression et d?intégration
· Respecter les bonnes pratiques de modélisation et d?architecture
EXPÉRIENCE ET COMPÉTENCES REQUISES
Compétences techniques
Expertise sur la gestion des données IOT
Forte appétence data et vision globale de son cycle de vie
Bonne connaissance en SGBD (requêtes SQL/ Modèle relationnel de données)
Compréhension des enjeux métiers et des problématiques associés
Bonne connaissance des méthodes agiles (backlog)
Connaissance de Snowflake, et Airflow serait un plus
Profil candidat:
L?enjeu de mon client est de proposer une plateforme Data permettant de rationnaliser et harmoniser les données en provenance différentes filiales et générer un socle commun et suffisamment flexible afin que les applications cibles/ utilisateurs finaux (Data Analyst, Data Scientists) puissent les exploiter à bon escient.
Mon client a opté pour solution technique :
- La solution Python/ Airflow en remplacement de Talend pour l?ingestion des données à froid dans notre Dataware Snowflake.
- La solution Nifi pour l?ingestion des données en temps réel pour les données s?appuyant sur du Kafka/ API et AWS Lambda sous Python dédié à la transformation de données. SQS/SNS/Snowpipe dans le cas d?ingestion vers Snowflake
Dans le cadre du déploiement de nouveaux cas d?usages Opération et Maintenance, nous sommes à la recherche d?un Data architecte spécialisés dans la gestion des données IOT.
MISSIONSPour renforcer notre équipe DataPlatform au sein de la DSI, nous recherchons un Data Architecte IOT.
Vous rejoindrez une équipe composée de 3 Data Engineer, 1 DB Admin, 1 TechLead et 2 DevOps.
Vous serez en charge des activités suivantes :
Activités
· Recueillir, analyser et synthétiser les besoins métiers
· Modéliser les objets d?entreprise en respectant les standards
· Travailler collaborativement avec les différents intervenants
· Être garant de la modélisation de la data platform (structure des tables et organisation des données) et du maintien des contrats d?interface
· Spécifier techniquement les flux de données non structurés (IOT Data)
On vous demandera pour chacun des projets de :
· Spécifier les règles de mapping dans les contrats d?interfaces
· Mettre à jour la documentation (Confluence, Diagramme des flux de données?)
· Réaliser des tests unitaires, de non-régression et d?intégration
· Respecter les bonnes pratiques de modélisation et d?architecture
EXPÉRIENCE ET COMPÉTENCES REQUISES
Compétences techniques
Expertise sur la gestion des données IOT
Forte appétence data et vision globale de son cycle de vie
Bonne connaissance en SGBD (requêtes SQL/ Modèle relationnel de données)
Compréhension des enjeux métiers et des problématiques associés
Bonne connaissance des méthodes agiles (backlog)
Connaissance de Snowflake, et Airflow serait un plus