Je vais créer des pipelines de données ETL en Python pour les APIs, SQL et tableaux de bord
Analyste de données, ingénieur cloud data et expert en entrepôts de données
Niveau 1
Répond à certains critères de performance et présente un fort potentiel sur la place de marché.
À propos de ce service
Vous en avez assez de données désordonnées, de rapports manuels ou de flux de travail défectueux qui ralentissent la prise de décision ?
Je vais créer une pipeline de données ETL / ELT en Python qui extrait, nettoie, transforme et charge des données provenant d’APIs, de fichiers CSV/Excel, de bases SQL, de stockage cloud ou de CRM pour des tableaux de bord, des rapports, de l’analyse, ou des workflows prêts pour le ML ou l’IA.
Vous obtiendrez :
- des pipelines ETL / ELT pour l’ingestion et la transformation automatisées des données
- des intégrations API, CSV, Excel, bases SQL et stockage cloud
- des pipelines batch programmés toutes les heures, tous les jours, chaque semaine ou selon une fréquence personnalisée
- le chargement dans un data warehouse comme BigQuery, Redshift, PostgreSQL, Snowflake ou ClickHouse
- des modèles dbt pour le staging, les chargements incrémentiels, les tests et la documentation
- de l’orchestration avec Airflow, Cloud Composer, cron ou des schedulers cloud
- des vérifications de la qualité des données, des validations, des logs et la gestion des échecs
Stack technologique :
- Python, SQL, dbt
- Airflow, Airbyte
- Kafka, Debezium
- BigQuery, Redshift, Snowflake, ClickHouse
- MySQL, PostgreSQL, MongoDB
- AWS Glue, Lambda, S3, Kinesis, DMS
- GCP Dataflow, Pub/Sub, Datastream
Pourquoi me choisir :
- plus de 7 ans d’expérience dans les pipelines de données et les workflows analytiques
- une livraison propre, documentée et prête pour la production
Veuillez m’envoyer un message avant de commander afin que je puisse comprendre vos besoins.
Mon portfolio
Autres services de Data engineering I Offre
FAQ
Traduction automatique
Pouvez-vous créer un pipeline ETL personnalisé pour mon entreprise ?
Oui. Je peux concevoir un pipeline ETL personnalisé pour extraire, nettoyer, transformer et charger des données depuis des API, fichiers CSV/Excel, bases de données SQL, stockage cloud ou outils métier vers votre système cible.
À quelles sources de données pouvez-vous vous connecter ?
Je peux travailler avec des API, fichiers CSV, fichiers Excel, MySQL, PostgreSQL, MongoDB, Amazon S3, Google Cloud Storage, BigQuery, Redshift, Snowflake et d'autres sources de données métier courantes.
Pouvez-vous automatiser mon pipeline de données selon un planning ?
Oui. Je peux programmer votre pipeline pour qu'il s'exécute toutes les heures, tous les jours, chaque semaine ou selon un planning personnalisé en utilisant Airflow, cron, Cloud Composer, schedulers cloud ou d'autres outils d'orchestration.
Travaillez-vous avec des scripts ETL en Python ?
Oui. Je peux créer des scripts ETL en Python pour l'extraction, le nettoyage, la transformation, la validation, le chargement, la journalisation et la gestion des erreurs.
Pouvez-vous créer des pipelines ELT avec dbt ?
Oui. Je peux concevoir des modèles dbt pour le staging, la transformation, les chargements incrémentiels, les tests, la documentation et les tables prêtes pour l'analyse dans votre entrepôt de données.
Pouvez-vous aider avec des pipelines streaming ou CDC ?
Oui. Je peux vous assister avec des pipelines streaming ou CDC en utilisant Kafka, Debezium, Kinesis, Pub/Sub, DMS ou Datastream selon votre source et votre destination.
Pouvez-vous réparer ou améliorer un pipeline ETL existant défectueux ?
Oui. Je peux déboguer, optimiser, refactoriser ou ajouter des validations, de la journalisation, de la planification et une gestion des échecs à votre pipeline ETL ou de données existant.
De quoi avez-vous besoin de moi avant de commencer ?
Veuillez partager votre source de données, destination, échantillons de données, documentation API si disponible, transformations requises, planning, résultat attendu, ainsi que tout objectif de dashboard ou de reporting.
Pouvez-vous créer un pipeline CSV vers SQL ?
Oui. Je peux mettre en place un pipeline CSV vers SQL qui nettoie, valide, transforme et charge vos données CSV dans PostgreSQL, MySQL, BigQuery, Redshift, Snowflake ou une autre base de données SQL.
Pouvez-vous automatiser les workflows Excel vers SQL ?
Oui. Je peux automatiser les workflows Excel vers SQL en utilisant des scripts ETL Python, des vérifications de validation et des chargements programmés pour des cas d'utilisation en reporting ou tableau de bord.
3 avis concernant ce service
| (3) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Détails de la notation
- Niveau de communication avec le freelance
- Qualité de la livraison
- Valeur de la livraison
Trier par
A asah89

États-Unis
Ahmed really knows his stuff and went above and beyond to solve problems and deliver a working solution. We'll be working together again in the future
200 $US-400 $US
Prix
13 jours
Durée
Utile?D 
danenakvy

Cambodge
Ahmad R. delivered top-notch, professional work and made the entire process smooth with his proactive communication and cooperative attitude. Highly impressed with his expertise in data engineering—would DEFINITELY work with him again! 🙌
200 $US-400 $US
Prix
3 jours
Durée
Utile?D 
danenakvy

Cambodge
Ahmad R. was exceptional in handling our data engineering project! His PROFESSIONALISM in work truly impressed us, and his proactive communication made the collaboration smooth and efficient. Highly recommend! 👍
400 $US-600 $US
Prix
5 jours
Durée
Utile?
3 avis concernant ce service
| (3) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Détails de la notation
- Niveau de communication avec le freelance
- Qualité de la livraison
- Valeur de la livraison
Trier par
A asah89

États-Unis
Ahmed really knows his stuff and went above and beyond to solve problems and deliver a working solution. We'll be working together again in the future
200 $US-400 $US
Prix
13 jours
Durée
Utile?D 
danenakvy

Cambodge
Ahmad R. delivered top-notch, professional work and made the entire process smooth with his proactive communication and cooperative attitude. Highly impressed with his expertise in data engineering—would DEFINITELY work with him again! 🙌
200 $US-400 $US
Prix
3 jours
Durée
Utile?D 
danenakvy

Cambodge
Ahmad R. was exceptional in handling our data engineering project! His PROFESSIONALISM in work truly impressed us, and his proactive communication made the collaboration smooth and efficient. Highly recommend! 👍
400 $US-600 $US
Prix
5 jours
Durée
Utile?

