Data EngineerConnaissance de l'écosystème technique CCDP spécifiquement
Les livrables sont
Refondre et automatiser l’architecture data
Mise en place de la Data Quality
Suivi FinOps
Compétences techniques
Terraform - Expert - Impératif
DBT - Expert - Impératif
GCP/Bigquery - Confirmé - Impératif
DBT - ELEMENTARY - Expert - Impératif
Connaissances linguistiques
Français Courant (Impératif)
Anglais Professionnel (Secondaire)
Description détaillée
Mission – Data Engineer GCP / BigQuery / Terraform / dbt
Contexte :
Dans le cadre de l’évolution de notre architecture data, nous recherchons un Data Engineer expérimenté pour remettre à niveau notre infrastructure de traitement de données sur Google Cloud Platform (GCP), en particulier BigQuery. L’objectif est de garantir une plateforme fiable, automatisée, scalable et optimisée en termes de coûts.
Objectifs de la mission :
Phase 1 : Refondre et automatiser l’architecture data
Modernisation de l’architecture existante sur GCP BigQuery.
Mise en place d’une infrastructure as code via Terraform pour automatiser le déploiement des ressources.
Mise en œuvre de pipelines de transformation avec dbt.
Standardisation de la création des assets data (datasets, modèles, vues) pour une meilleure scalabilité et réplicabilité.
Phase 2 : Mise en place de la Data Quality
Intégration de dbt-elementary pour le monitoring de la qualité des données.
Définition de règles de validation et de tests automatisés sur les jeux de données critiques.
Intégration potentielle avec notre Data Quality Platform.
Phase 3 : Suivi FinOps
Conception et développement d’un dashboard FinOps pour piloter les coûts liés à la plateforme data (requêtes, stockage...).
Mise en place d’alerting et de bonnes pratiques d’optimisation.
Profil recherché par le client :
3 ans d’expérience minimum en tant que Data Engineer dans un environnement cloud GCP.
Le consultant devra obligatoirement résider dans la métropole lilloise
Maîtrise de :
GCP / BigQuery
Terraform
dbt
SQL (indispensable)
Expérience en tests de données / monitoring qualité (dbt tests, dbt-elementary).
Une expérience sur Power BI ou Looker est un plus.
Autonomie, rigueur, capacité à documenter et à collaborer avec les équipes Data, IT, Finance.
CORIOM Conseil est une société spécialisée dans le sourcing de consultants indépendants sur des missions de conseil et d’expertise auprès des organisations métiers. Nous ne nous contentons pas de mettre en relation nos clients avec notre réseau d’indépendants. En effet, fort de notre expérience du métier du conseil et des problématiques terrains, nous assurons le suivi et l’accompagnement du consultant dans sa mission, gage de qualité de la prestation fournie.