Data Engineer : Mise en place de KPIs Telecom temps réels sur un environnement Big Data pour une restitution sur un frontal web :
1. Assurer la réalisation des spécifications détaillées à partir des cahiers de charges soumis par la MOA
2. Mettre en place les flux d’ingestion de données dans HDFS avec les outils Flume et Kafka
3. Elaborer l’architecture lambda de la solution technique
4. Intégrer en mode agile les KPIs de pilotage métier sur Hadoop en temps réels avec les utilitaires Hive et Spark
5. Réaliser le provisionning automatisé de la couche frontale
6. Appliquer les normes de développement interne
7. Etre en relation avec les « Product Owners », les opérations, le support et l'exploitation
8. Prendre en charge les demandes de corrections provenant d’incidents ou d’anomalies
9. Mettre en pratique les méthodes « Devops »
10. Gérer la production de la documentation technique des produits réalisés et utilisés
11. Respecter la politique qualité définie par l’entreprise

Connaissances clés:
• Maitriser l’environnement Big Data Hadoop et le stockage distribué HDFS
• Bien connaître les outils d’ingestion de données : Sqoop, Flume, Kafka
• Avoir une parfaite connaissance des outils de traitements de données Big Data : Hive, Spark
• Avoir travaillé dans un environnement Hadoop
• Bien connaitre les outils d’automatisation de traitements de données tel que Oozie
• Avoir travaillé dans un environnement Agile
• Connaitre les méthodes « Devops »
• Jouer un rôle de conseil et de support aux métiers
• Faire preuve de réactivité et d’initiative : être force de proposition

Connaissances appréciées
• Une connaissance pratique de l’architecture lambda
• Une connaissance des KPIs du marketing opérationnel
• Une expérience chez un opérateur Télécom

Not mentionned