Je construirai des pipelines de données BigQuery avec Airflow sur Google Cloud
Ingénieur données pour BigQuery, Airflow et outils IA
À propos de ce service
Vous cherchez des pipelines de données fiables et automatisés sur Google Cloud ? Je conçois et déploie des pipelines ETL/ELT en production qui chargent vos données dans BigQuery selon un calendrier, sans intervention manuelle.
Ce que vous obtenez :
- DAG Apache Airflow sur Cloud Composer
- Fonctions Cloud Python (Gen2) pour l’extraction d’API
- Application stricte du schéma BigQuery et validation des données
- Identifiants sécurisés dans Secret Manager
- Gestion des retards et journalisation des erreurs claire
- CI/CD optionnel qui déploie uniquement les DAGs modifiés
- Documentation pour que votre équipe en assure la propriété
Pourquoi me choisir : Je gère actuellement Airflow en production avec 12 DAGs ingérant des données de plus de 9 plateformes, en utilisant un motif de pipeline réutilisable, vous bénéficiez donc d’une structure éprouvée, et non d’une expérience ponctuelle.
Envoyez-moi vos sources et votre destination de données avant de commander et je confirmerai le périmètre et l’adéquation.
Destination Platform:
Google BigQuery
Outils et plateformes:
Google Cloud Dataflow
