Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais développer des flux de données basés sur le cloud avec GCP BigQuery Airflow et Dataflow
Je travaille sur un projet Google Cloud pour MINT Automation, où un script Python ingère des données depuis une API d’application et les stocke sous forme de CSV dans Google Cloud Storage, déclenché v...
À propos de ce service
Je concevrai et construirai des flux de données basés sur le cloud en utilisant Google Cloud Platform (GCP), BigQuery, Airflow et Dataflow.
Fort de plus de 4 ans d’expérience en tant que GCP Data Engineer, je me spécialise dans :
La création de pipelines ETL/ELT pour l’ingestion et la transformation de données
Le développement d’entrepôts de données dans BigQuery avec partitionnement et clustering
L’automatisation des workflows avec Apache Airflow / Cloud Composer
La mise en place de contrôles de qualité des données et de scripts de validation en Python et SQL
La migration de données depuis des sources comme Salesforce, Oracle, Hive, MySQL vers BigQuery
Que vous ayez besoin d’un simple pipeline ETL ou d’une solution complète d’ingénierie des données de bout en bout, je peux fournir des workflows évolutifs, optimisés et fiables adaptés à vos besoins.
Mon portfolio
FAQ
Traduction automatique
Q1 : De quelles informations avez-vous besoin pour commencer ?
J’aurai besoin d’accéder à votre source de données (base de données, API ou fichiers), aux détails de la destination (par exemple, dataset BigQuery), et à toute logique de transformation ou métier spécifique que vous souhaitez appliquer.
Q2 : Pouvez-vous travailler avec plusieurs sources de données ?
Oui, je peux intégrer des données provenant de diverses sources telles que Salesforce, Oracle, Hive, MySQL, API et Google Cloud Storage dans BigQuery ou d’autres cibles.
Q3 : Configurez-vous également la planification et l’automatisation ?
Oui, j’utilise Apache Airflow / Cloud Composer pour planifier et automatiser les workflows afin que vos pipelines fonctionnent de manière fiable sans intervention manuelle.
Q4 : Pouvez-vous valider et garantir la qualité des données ?
Absolument. J’inclus des contrôles de qualité des données tels que la validation du nombre de lignes, la cohérence du schéma et des tests personnalisés en Python/SQL pour assurer une ingestion précise des données.
Q5 : Que faire si j’ai besoin de modifications futures ou d’un support après la livraison ?
Je propose des révisions dans le cadre de chaque service, et je suis également disponible pour un support à long terme via les projets en cours sur Fiverr ou des offres personnalisées.
