Je vais construire des pipelines ETL robustes et des workflows de données en python et sql

Les tâches manuelles de gestion des données ralentissent-elles votre activité ou avez-vous besoin d’un pipeline fiable pour déplacer et transformer des données entre des bases de données, des API et du stockage cloud ?

Je crée des pipelines ETL/ELT automatisés de qualité production, des scripts personnalisés de web scraping/ingestion, et des workflows de bases de données conçus pour la fiabilité, la rapidité et la facilité de maintenance.

Services principaux proposés :

Pipelines ETL/ELT personnalisés : extraction, transformation et chargement automatisés via API, bases de données, fichiers plats (CSV/JSON/Parquet) et stockage cloud.

Intégration de données et ingestion API : connexion à des API tierces (REST/GraphQL), webhooks et outils SaaS vers des entrepôts de données centralisés ou des bases relationnelles.

Conception de bases de données et optimisation SQL : modélisation de schémas, indexation de tables, optimisation de requêtes et migrations automatisées (PostgreSQL, MySQL, SQLite, Snowflake, BigQuery).

Automatisation et orchestration de workflows : planification et surveillance des workflows avec des scripts Python, des tâches cron ou des DAG Apache Airflow.

Nettoyage et prétraitement des données : gestion des valeurs manquantes, application de schémas, déduplication et formatage structuré avec Pandas/NumPy.

Extraction de données et web scraping : extraction de données propres et structurées