Je construirai des pipelines ETL Python et automatiserai vos flux de données
Ingénieur Data senior développeur Fullstack
À propos de ce service
Vous avez besoin d’un pipeline ETL fiable ou d’un flux de données automatisé ?
Je vais créer un pipeline de données Python propre et évolutif pour extraire, transformer et charger vos données.
### Ce que je peux faire
- pipelines ETL / ELT en Python
- Intégration API, CSV, JSON et bases de données
- Nettoyage et transformation de données
- Développement SQL et bases de données
- Workflows Apache Airflow / NiFi
- Intégration avec un entrepôt de données
- Automatisation et gestion des erreurs
### Technologies
- Python
- SQL
- Airflow
- NiFi
- Spark
- AWS
- Snowflake
- BigQuery
- PostgreSQL
- MySQL
- dbt
- Airbyte
Fort de plus de 10 ans d’expérience en ingénierie des données, je privilégie des solutions fiables, faciles à maintenir et évolutives.
Veuillez m’envoyer un message avant de commander pour discuter de vos besoins.
FAQ
Traduction automatique
Avec quelles sources de données pouvez-vous travailler ?
Je peux travailler avec des API, CSV, JSON, Excel, bases de données SQL, bases NoSQL et autres sources de données structurées.
Pouvez-vous connecter mon API à une base de données ?
Oui. Je peux créer un pipeline Python qui extrait des données de votre API, les transforme, les valide et les charge dans votre base de données.
Pouvez-vous automatiser le pipeline ?
Oui. Je peux utiliser des outils comme Apache Airflow pour planifier et automatiser des flux de données récurrents.
Pouvez-vous travailler avec des entrepôts de données cloud ?
Oui. J’ai de l’expérience avec AWS Redshift, BigQuery, Snowflake, ClickHouse et d’autres plateformes de données modernes.
Pouvez-vous travailler avec de grands ensembles de données ?
Oui. J’ai de l’expérience dans la conception de solutions de données pour des environnements à grande échelle, y compris une solution d’entrepôt de données traitant environ 100 To de données par jour.
Fournissez-vous de la documentation?
Oui. La documentation peut être incluse selon le package choisi.
Dois-je vous contacter avant de commander ?
Oui. Veuillez m’envoyer vos sources de données, la base ou plateforme cible, le flux de travail attendu, ainsi que tout code ou documentation existant pour que je puisse recommander le package approprié.
