*Le descriptif en français suivra*

Job description :

1. Strategic Data Solution Architecture in GCP BigQuery

• Business Acumen & Requirements Translation: Working with stakeholders to understand business goals and translating them into technical requirements and robust data models.
• BigQuery & GCP Architectural Design: Designing a secure, scalable, and cost-efficient data warehouse on GCP, including the optimal use of BigQuery partitioning, clustering, IAM for governance and quota management to limit unexpected cost.
• Proactive Solutioning: Proposing solutions that leverage the full power of the GCP ecosystem to solve business problems using BigQuery best practices, not just replicate the previous environment.
• Hybrid Cloud Network Integration: Designing secure network pathways (e.g., using Cloud VPN/Interconnect) to connect GCP to on-premises data sources and, crucially, to allow existing on-premises services to securely and privately query BigQuery datasets.

1. Hands-on Data Engineering in GCP BigQuery and related tools

• GCP Data Tooling Mastery: Deep, practical expertise in Dataflow for complex ETL, and proficiency with other tools for scheduling and monitoring jobs.
• Logic and Query Translation: The ability to convert SQL Server T-SQL procedures and business logic into efficient, scalable BigQuery SQL or Dataflow jobs.
• Data Validation and Quality: Implementing processes to ensure data integrity and accuracy throughout the integration process, aligning with the quality rules defined in the Dataplex strategy

1. DataOps and Infrastructure as Code (IaC) Automation

• Terraform Expertise: Use Terraform code to define and manage all GCP resources, from BigQuery datasets and tables to IAM policies and Dataflow job templates.
• CI/CD Pipeline Development (GitLab): Creating robust GitLab CI/CD pipelines to automatically test, plan, and apply infrastructure changes across different environments (dev, prod).
• Automation Mindset: A commitment to automating every component of the data platform to ensure stability, reduce manual error, and increase the speed of development.

************************************************************************************************

Description du poste :

Architecture stratégique de solutions de données dans GCP BigQuery

• Sens des affaires et traduction des besoins : Collaborer avec les parties prenantes pour comprendre les objectifs métier et les traduire en exigences techniques et en modèles de données robustes.
• Conception architecturale BigQuery & GCP : Concevoir un entrepôt de données sécurisé, évolutif et rentable sur GCP, en utilisant de manière optimale le partitionnement et le clustering de BigQuery, la gestion IAM pour la gouvernance et la limitation des quotas afin d’éviter les coûts imprévus.
• Proposition proactive de solutions : Proposer des solutions exploitant pleinement l’écosystème GCP pour résoudre des problèmes métier en appliquant les meilleures pratiques BigQuery, sans simplement reproduire l’environnement précédent.
• Intégration réseau hybride Cloud : Concevoir des connexions réseau sécurisées (ex. : Cloud VPN/Interconnect) pour relier GCP aux sources de données sur site et permettre aux services existants sur site d’interroger de manière sécurisée et privée les ensembles de données BigQuery.

Ingénierie de données pratique dans GCP BigQuery et outils associés

• Maîtrise des outils de données GCP : Expertise pratique approfondie de Dataflow pour les ETL complexes, et maîtrise d’autres outils pour la planification et la surveillance des tâches.
• Traduction de logique et de requêtes : Capacité à convertir des procédures T-SQL de SQL Server et de la logique métier en requêtes BigQuery SQL ou en tâches Dataflow efficaces et évolutives.
• Validation et qualité des données : Mise en œuvre de processus garantissant l’intégrité et la précision des données tout au long de l’intégration, en conformité avec les règles de qualité définies dans la stratégie Dataplex.

DataOps et automatisation Infrastructure as Code (IaC)

• Expertise Terraform : Utiliser du code Terraform pour définir et gérer toutes les ressources GCP, des ensembles de données et tables BigQuery aux politiques IAM et modèles de tâches Dataflow.
• Développement de pipelines CI/CD (GitLab) : Créer des pipelines CI/CD robustes dans GitLab pour tester, planifier et appliquer automatiquement les changements d’infrastructure dans différents environnements (dev, prod).
• Esprit d’automatisation : Engagement à automatiser chaque composant de la plateforme de données pour garantir sa stabilité, réduire les erreurs manuelles et accélérer le développement.