Je construirai des pipelines de données BigQuery avec Airflow sur Google Cloud

Certaines informations ont été traduites automatiquement.

Pakistan

Je parle Anglais, Ourdou

3 commandes terminées

Ingénieur données pour BigQuery, Airflow et outils IA

Je suis ingénieur données et je construis des pipelines en production sur Google Cloud. Je gère 12 DAG Airflow sur Cloud Composer qui ingèrent quotidiennement des données provenant de plus de 9 platef...
À propos de ce service

Vous cherchez des pipelines de données fiables et automatisés sur Google Cloud ? Je conçois et déploie des pipelines ETL/ELT en production qui chargent vos données dans BigQuery selon un calendrier, sans intervention manuelle.


Ce que vous obtenez :

  • DAG Apache Airflow sur Cloud Composer
  • Fonctions Cloud Python (Gen2) pour l’extraction d’API
  • Application stricte du schéma BigQuery et validation des données
  • Identifiants sécurisés dans Secret Manager
  • Gestion des retards et journalisation des erreurs claire
  • CI/CD optionnel qui déploie uniquement les DAGs modifiés
  • Documentation pour que votre équipe en assure la propriété


Pourquoi me choisir : Je gère actuellement Airflow en production avec 12 DAGs ingérant des données de plus de 9 plateformes, en utilisant un motif de pipeline réutilisable, vous bénéficiez donc d’une structure éprouvée, et non d’une expérience ponctuelle.

Envoyez-moi vos sources et votre destination de données avant de commander et je confirmerai le périmètre et l’adéquation.

Destination Platform:

Google BigQuery

Outils et plateformes:

Google Cloud Dataflow