Data EngineerDescriptif du poste
Dans le cadre d'une refonte complète de notre architecture data, nous recherchons un·e Data Engineer expérimenté·e pour concevoir et mettre en œuvre une nouvelle plateforme d'ingestion et de contrôle qualité quasi temps réel.
Missions principales
Concevoir, développer et maintenir une architecture data scalable pour la gestion de gros volumes de séries temporelles issues de différents assets renouvelables.
Mettre en place des pipelines d'ingestion et de traitement de données en quasi temps réel, en s'appuyant sur Kafka et/ou Azure Event Hub.
Implémenter des contrôles qualité automatisés et des mécanismes de monitoring pour garantir la fiabilité et la disponibilité des données.
Assurer la documentation technique et la veille sur les nouvelles technologies et best practices du domaine.
Participer à la définition et à l'application des bonnes pratiques DevOps pour l'automatisation, la sécurité et la mise en production des solutions data.
Compétences requises
Maîtrise avancée de Kafka et/ou Azure Event Hub, y compris la configuration, l'optimisation et la migration de flux de données.
Expérience solide dans la conception et la maintenance de pipelines de données temps réel (streaming), idéalement sur des architectures cloud (Azure, AWS, GCP).
Très bonne connaissance des best practices DevOps : CI/CD, infrastructure as code, monitoring, gestion des accès et sécurité.
Maîtrise des outils et langages de traitement de données (Python, Spark, SQL, etc.).
Capacité à documenter, partager et vulgariser les choix techniques auprès des équipes.
Autonomie, rigueur, esprit d'innovation et appétence pour les sujets liés à la transition énergétique.
Profil recherché
Bac+5 (école d'ingénieur, université ou équivalent) en informatique, data engineering ou domaine connexe.
Expérience confirmée (5 ans minimum) sur un poste similaire, idéalement dans le secteur de l'énergie ou des
VISIAN est une société de conseil spécialisée autour de l'innovation, la conception produit et la data.
Dans un marché où les enjeux de recrutement sont clés et où le nombre de freelances est en constante augmentation, Visian a créé une entité dédiée au recrutement de freelances experts du digital et d’IT.
VISIAN, filiale d'un grand groupe technologique de plus de 6500 personnes, est une société de conseil spécialisée dans l'innovation, la conception de produits et la data. Ses consultants technophiles allient compréhension des enjeux digitaux et vision produit. De la structuration des DSI à la conception de produits digitaux en passant par la valorisation de la data, VISIAN concrétise les objectifs de ses clients en faisant converger ambition et faisabilité. Fondée par des consultants, VISIAN connait une croissance rapide pour atteindre 14 millions de CA cette année et renforce ses partenariats avec de nombreux clients grands-comptes sur Paris et Marseille.