Développeur Hadoop /Spark

Description du poste

• Activités clés :

  • Concevoir, développer et maintenir des pipelines de données robustes et performants sur les environnements Databricks et Hadoop/Spark

  • Participer activement à la migration et à l’optimisation des architectures de données vers le cloud (AWS, Databricks)

  • Mettre en place et maintenir des tableaux de bord et rapports interactifs sous Power BI pour la restitution des données

  • Assurer la qualité, la sécurité et la gouvernance des données tout au long du cycle de vie

  • Réaliser une veille technologique continue et contribuer à l’amélioration des pratiques de l’équipe

  • Documenter les développements, garantir la traçabilité et le partage des connaissances

  • Être force de proposition sur l’optimisation des processus et l’automatisation des tâches récurrentes

• Compétences techniques requises:

  • SQL avancé : maîtrise des fonctions analytiques, optimisation de requêtes

  • PySpark : expérience sur le framework Databricks

  • Scala : développement sur l’écosystème Hadoop/Spark

  • Linux : aisance sur la navigation et l’utilisation de la couche Hadoop

  • Databricks : certification Associate appréciée, formation possible

  • Power BI : conception de rapports et de dashboards interactifs

  • Environnement cloud : AWS (atout supplémentaire)

• Soft Skills attendues :

  • Curiosité et capacité à apprendre de nouveaux outils/ technos

  • Autonomie dans la résolution de problèmes

  • Rigueur dans la documentation, la gestion des versions et la qualité des livrables

  • Esprit d’équipe, communication claire et constructive