Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais concevoir des pipelines ETL évolutifs avec ADF et Databricks
Avec du travail et des efforts, vous pouvez tout réaliser
Ingénieur data
Je suis un ingénieur data professionnel avec une expérience pratique dans la création de pipelines de données fiables et de solutions de data warehouse structurées. J’aide les entrepris...
À propos de ce service
Vous cherchez un expert technique pour architecturer votre infrastructure cloud et développer des pipelines ETL/ELT performants ? Vous êtes au bon endroit.
Je me spécialise dans la conception et le déploiement de solutions de données complètes. Que vous ayez besoin d’un Data Lakehouse moderne sur Azure, d’un pipeline robuste sur AWS, ou de transformations complexes dans Databricks, je fournis des architectures prêtes pour la production.
Mes compétences et services :
- Architecture de données : Conception de cadres évolutifs pour les besoins en données de votre organisation.
- ETL batch et streaming : Jobs haute performance utilisant Apache Spark et PySpark.
- Excellence Databricks : Création de workflows automatisés et de pipelines Delta Lake.
- Intégration de données Azure : Développement avec Data Factory (ADF) et Synapse.
- Ingestion API : Connexion d’API à S3/Blob/SQL via AWS Lambda ou Functions.
- Préparation BI : Optimisation des données pour Power BI, Tableau et Qlik.
- Transformations personnalisées : Nettoyage expert avec Python et SQL.
La stack technologique :
- Plateformes : Azure, AWS, GCP.
- Moteurs : Databricks, Spark, Glue.
- Orchestration : ADF, Airflow.
Mon portfolio
FAQ
Traduction automatique
Allez-vous également expliquer l’architecture de mise en œuvre ?
Oui, je propose une présentation complète de l’architecture. J’expliquerai le flux de données, le choix des services cloud spécifiques (ADF, Databricks, etc.) et la logique derrière la conception pour que votre équipe puisse la gérer par la suite.
Pouvez-vous gérer à la fois des projets de données de petite et de grande envergure ?
Absolument. Je conçois des pipelines avec une scalabilité en tête. Que vous soyez une startup nécessitant une ingestion API vers SQL simple ou une grande organisation traitant des milliards de lignes via Spark, j’adapte le calcul et le stockage à votre volume et votre budget spécifiques.
Fournissez-vous une documentation technique avec la livraison ?
Chaque projet inclut une vue d’ensemble technique et un guide de mise en place. Pour une documentation détaillée de niveau entreprise (y compris dictionnaires de données et documents de mapping), veuillez le mentionner lors de notre appel de découverte afin que je puisse l’inclure dans le périmètre du projet.
Offrez-vous un support continu pour les solutions que vous développez ?
Oui. Je propose un support après livraison pour assurer le bon fonctionnement du pipeline en production. Cela inclut le dépannage des premières exécutions, la correction de bugs et l’optimisation des performances. Un support à long terme ou mensuel peut également être organisé.
Comment déterminez-vous le prix d’un projet ?
Le prix dépend de trois facteurs : le nombre de sources de données, la complexité des transformations (logique ETL/ELT) et les besoins d’orchestration. Je fournis un devis transparent après avoir examiné votre schéma de données et vos objectifs de projet.
Quelle est la démarche pour démarrer un projet ?
Nous commençons par une phase de découverte où j’examine vos sources de données et vos besoins en destination. Une fois l’architecture validée, je configure l’environnement, construis les pipelines, réalise une validation rigoureuse des données, puis transmets le code avec une présentation technique.
