Data Engineer GCP H/F

Votre Mission :

Contexte de la mission

Dans le cadre de l’évolution de ses plateformes data sur Google Cloud Platform, nous recherchons un Data Engineer expérimenté afin d’améliorer la qualité, la performance et l’optimisation des datasets BigQuery.

La mission s’inscrit dans un contexte de forte croissance des volumes de données avec des enjeux majeurs autour de :

• la maîtrise des coûts cloud (FinOps),

• la fiabilité des données,

• la performance des pipelines,

• et la préparation des données pour les usages IA.

Objectifs de la mission

• Réduire les coûts liés aux traitements et aux requêtes BigQuery.

• Améliorer la qualité et l’observabilité des données.

• Optimiser les pipelines d’ingestion et de transformation.

• Accompagner les projets IA via des datasets fiables et industrialisés.

Responsabilités principalesAudit & Optimisation BigQuery

• Analyser les logs et identifier les requêtes coûteuses ou peu performantes.

• Mettre en œuvre les bonnes pratiques BigQuery :

  • partitionnement,

  • clustering,

  • optimisation des schémas,

  • gestion des tables matérialisées et des vues.

• Réduire les volumes de données scannées et améliorer les performances globales.

Architecture Data & Pipelines

• Optimiser les pipelines d’ingestion et de traitement des données.

• Renforcer la robustesse des flux (gestion des erreurs, retry, montée en charge).

• Participer à l’industrialisation des traitements via Terraform et les pratiques DataOps.

Data Quality & Observability

• Déployer un framework de monitoring et de tests automatisés.

• Définir les indicateurs de qualité :

  • fraîcheur des données,

  • cohérence des schémas,

  • volumétrie,

  • validité des données.

• Mettre en place des alertes proactives en cas d’anomalies.

Data & IA

• Collaborer avec les équipes IA/ML pour fournir des datasets exploitables.

• Participer à l’intégration des services GCP liés à l’IA (BigQuery, Vertex AI, etc.).

• Être force de proposition sur les usages Data & IA.

Votre Profil :

Profil recherchéCompétences techniques indispensables

• Expertise BigQuery.

• Très bonne maîtrise de SQL et Python.

• Expérience confirmée sur Google Cloud Platform.

• Bonne maîtrise de Terraform.

• Expérience en optimisation de coûts cloud / FinOps.

• Connaissance des problématiques de Data Quality et Data Observability.

Qualités attendues

• Forte capacité d’analyse et d’audit technique.

• Approche orientée performance et amélioration continue.

• Curiosité autour des sujets IA et innovation Data.

• Autonomie et capacité à évoluer dans des environnements complexes.

Livrables attendus

• Rapport d’audit des coûts et recommandations d’optimisation.

• Dashboard de monitoring de la qualité des données.

• Documentation technique des optimisations mises en place.

• Amélioration mesurable des performances et des coûts BigQuery.

Informations complémentaires

• Environnement : GCP / BigQuery / Terraform / Python.

• Anglais professionnel requis.

• Contexte agile et collaboratif.

• Démarrage : ASAP.