Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je serai votre ingénieur data GCP pour Python BigQuery et ETL
Ingénieur de données senior
Je conçois des pipelines de données fiables, des intégrations API, de l'automatisation cloud et des solutions d'analytics en utilisant Python, SQL, GCP et AWS. Mon expérience inclut BigQuery, Dataflow...
À propos de ce service
Je crée des pipelines de données GCP fiables en utilisant Python, BigQuery et Dataflow.
Si vous avez besoin de transférer des données depuis des API, CSV, JSON ou d'autres sources vers Google Cloud, je peux vous aider à concevoir et à réaliser un workflow ETL propre, facile à maintenir et à faire évoluer.
Je peux vous aider avec :
- Des pipelines ETL basés sur Python
- Le chargement et la transformation de données dans BigQuery
- GCP Dataflow et Apache Beam
- Ingestion de données via REST API
- Traitement de CSV et JSON
- Vérifications de la qualité des données
- Gestion des erreurs et journalisation
- Orchestration basique avec Airflow ou Cloud Composer
- Tables et vues BigQuery
- Dépannage et améliorations des pipelines
Mon objectif est de créer des solutions pratiques, faciles à maintenir, avec une structure claire, une validation appropriée et une documentation.
J'ai une expérience professionnelle avec Python, SQL, BigQuery, Dataflow, Apache Beam, Airflow et les plateformes de données cloud.
Veuillez me contacter avant de commander si votre projet inclut plusieurs sources de données, des API complexes, des pipelines en streaming ou des exigences spécifiques pour GCP afin que je puisse confirmer la portée du projet en premier lieu.
Destination Platform:
Google BigQuery
•
Google Cloud Storage
Outils et plateformes:
Google Cloud Dataflow
•
Autres
Mon portfolio
FAQ
Traduction automatique
Quels types de sources de données supportez-vous ?
Je peux travailler avec des REST APIs, CSV, JSON, Google Cloud Storage, bases de données et d’autres sources de données structurées en fonction de vos besoins.
Pouvez-vous charger des données dans BigQuery ?
Oui. Je peux créer des pipelines qui chargent et transforment des données dans des tables et des vues BigQuery.
Supportez-vous Python et Dataflow ?
Oui. Je peux construire des workflows ETL en Python et des pipelines Apache Beam/Dataflow pour un traitement de données évolutif.
Pouvez-vous automatiser le pipeline ?
Oui. Je peux ajouter la planification et l’orchestration avec Airflow ou Cloud Composer si nécessaire.
Comment puis-je garantir une migration de données réussie ?
J’utilise la validation, des contrôles de qualité des données, la revue du schéma, la journalisation et des tests pour m’assurer que les données sont transférées avec précision et fiabilité.
De quoi avez-vous besoin de moi avant de commencer ?
Veuillez fournir les détails de la source de données, un échantillon de données ou la documentation API, la destination cible, les transformations nécessaires et tout accès GCP requis pour le projet.
Fournissez-vous des vérifications de la qualité des données ?
Oui. Je peux inclure la validation, les vérifications de null, les vérifications de doublons, les contrôles de schéma et d’autres règles de qualité selon le projet.
Pouvez-vous travailler avec des sources de données basées sur API ?
Oui. Je peux intégrer des REST APIs, gérer l’authentification, la pagination, les retries et traiter les réponses API avant de charger les données.
