Je vais construire, réparer ou optimiser votre pipeline de données ETL en Python
Ingénieur data senior et ingénieur produit en IA
À propos de ce service
Vous avez besoin d’un pipeline data construit, réparé ou amélioré ?
Je suis un ingénieur data senior avec de l’expérience dans la livraison de systèmes de données en production dans les secteurs bancaire, de la construction et des startups, y compris des travaux de transformation de données sur l’intégration UBSCredit Suisse.
Je peux vous aider :
À construire des pipelines ETL/ELT à partir d’API, de bases de données ou de fichiers
À déboguer et améliorer des pipelines Python, SQL ou PySpark existants
À intégrer des API avec des bases de données, des data lakes ou des entrepôts
À construire des workflows Databricks, Azure Data Factory ou Airflow
À ajouter des validations, des contrôles de qualité des données et des tests
À améliorer le traitement de données lent ou coûteux
À documenter votre pipeline pour qu’il soit facile à maintenir
Je travaille avec Python, SQL, Databricks, PySpark, Delta Lake, Azure Data Factory, Airflow, PostgreSQL, SQL Server et plateformes Azure data.
Chaque projet étant différent, pour toute demande autre qu’une petite réparation, merci de me contacter avant de commander. Je vous aiderai à définir le périmètre et à recommander la solution la plus simple.
Mon portfolio
FAQ
Traduction automatique
Que souhaitez-vous que je fasse avant de commencer ?
Une description du problème, vos sources et destinations de données actuelles, ainsi que tout code, schéma ou documentation API pertinent. Pour les projets plus importants, merci de me contacter avant de commander afin que nous puissions définir le périmètre.
Pouvez-vous réparer un pipeline existant plutôt que d’en construire un nouveau ?
Oui. Je peux diagnostiquer et réparer des pipelines Python, SQL, PySpark, Databricks, Azure Data Factory et autres pipelines ETL, identifier la cause d’un problème et mettre en œuvre une solution.
Avec quelles sources de données pouvez-vous travailler ?
Je peux travailler avec des API REST, des bases de données SQL, PostgreSQL, SQL Server, des fichiers comme CSV/JSON/Parquet, des data lakes et d’autres sources courantes. Contactez-moi si vous avez un système moins courant.
Pouvez-vous optimiser un pipeline lent ou coûteux ?
Oui. Je peux examiner l’architecture et le code, identifier les goulots d’étranglement et améliorer des aspects tels que les transformations, le traitement Spark, la disposition des données, le parallélisme et les calculs inutiles.
Pouvez-vous travailler avec Databricks et Azure ?
Oui. Databricks et Azure Data Engineering font partie de mes domaines d’expertise, notamment PySpark, Delta Lake, Azure Data Factory, ADLS et plateformes SQL.
Dois-je vous contacter avant de commander ?
Pour le package Basic, une petite tâche clairement définie peut généralement être commandée directement. Pour Standard, Premium ou tout autre projet dont le périmètre est incertain, merci de me contacter d’abord.
