Je vais construire des pipelines de données ETL Python pour APIs, SQL et CSV

Vous avez du mal avec des données désorganisées, des rapports manuels ou des workflows de données peu fiables qui ralentissent les décisions commerciales ?

Je vais créer un pipeline de données ETL / ELT en Python pour extraire, nettoyer, transformer et charger des données provenant d'APIs, de fichiers CSV/Excel, de bases de données SQL, de stockage cloud ou de CRM pour des tableaux de bord, des rapports, de l'analyse, du ML ou des workflows prêts pour l'IA.

Vous obtiendrez :

• des pipelines ETL / ELT pour l'ingestion et la transformation automatisées des données
• des intégrations API, CSV, Excel, bases de données SQL et stockage cloud
• des pipelines batch programmés toutes les heures, tous les jours, chaque semaine ou selon une fréquence personnalisée
• le chargement dans un data warehouse comme BigQuery, Redshift, PostgreSQL, Snowflake ou ClickHouse
• des modèles dbt pour la mise en staging, les chargements incrémentiels, les tests et la documentation
• de l'orchestration avec Airflow, Cloud Composer, cron ou des planificateurs cloud
• des vérifications de la qualité des données, des validations, des logs et la gestion des erreurs

Pile technologique :

• Python, SQL, dbt
• Airflow, Airbyte
• Kafka, Debezium
• BigQuery, Redshift, Snowflake, ClickHouse
• MySQL, PostgreSQL, MongoDB
• AWS Glue, Lambda, S3, Kinesis, DMS
• GCP Dataflow, Pub/Sub, Datastream

Contactez-moi avant de commander pour que je puisse comprendre vos besoins.