Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais construire des pipelines ETL évolutifs avec spark, databricks et delta lake
SDE1
Je suis un développeur Python compétent, axé sur la résolution de problèmes, l’automatisation et la création de pipelines de données robustes pour l’analyse de Big Data. Mon expertise consiste à trans...
À propos de ce service
Ingénierie des données professionnelle | ETL | Databricks | Spark | Spécialiste Data Lake
Vous cherchez un pipeline de données évolutif et prêt pour la production pour votre entreprise ?
Je suis un ingénieur des données professionnel avec une expérience concrète dans la création de solutions Big Data utilisant :
- Apache Spark / PySpark
- Databricks (Delta Lake, architecture Medallion)
- Azure Data Factory
- Écosystème Hadoop
- SQL & Python
- Intégrations API (SOAP/REST)
- MongoDB, Oracle, MySQL, PostgreSQL, etc.
Ce que je peux vous aider à réaliser :
- Développement de pipelines ETL / ELT
- Traitement de données en batch et en temps réel
- Intégration de Data Lake avec bases de données
- Conception d’architecture Delta Lake
- Nettoyage et transformation de données
- Optimisation des performances
- Réglage des jobs Spark
- Automatisation et planification
- Ingestion de bases de données via API
- Ingénierie des données cloud (Azure/Databricks)
Expérience concrète inclut :
- Intégration MongoDB Delta Lake
- Ingestion API SOAP Oracle Fusion vers Delta Lake
- Pipeline quotidiens de niveau entreprise
- Traitement optimisé de Big Data pour des millions d’enregistrements
Pourquoi me choisir ?
⭐ Expérience dans l’industrie
⭐ Code propre et optimisé
⭐ Architecture évolutive
⭐ Livraison à temps
⭐ Satisfaction client à 100%
FAQ
Traduction automatique
1. Quels services proposez-vous dans ce service ?
Je propose des services professionnels d’ingénierie des données et d’ETL/ELT incluant : Développement PySpark / Spark Workflows Databricks Pipelines Azure Data Factory Intégrations bases de données & API Configuration Data Lake / Delta Lake Nettoyage & transformation de données Optimisation et automatisation de pipelines
2. Avec quelles technologies et outils travaillez-vous ?
Je me spécialise dans : Apache Spark / PySpark Databricks (Delta Lake, Notebooks, Jobs) Azure Data Factory Écosystème Hadoop Python & SQL APIs REST/SOAP MongoDB, Oracle, MySQL, PostgreSQL, SQL Server Stockage cloud (ADLS, S3, Blob)
3. Pouvez-vous intégrer des données provenant de plusieurs sources ?
Oui. Je peux intégrer des données de : Bases de données APIs Fichiers CSV/Excel/JSON Stockage cloud Sources en streaming
4. Construisez-vous à la fois des pipelines ETL et ELT ?
Oui. Je supporte : ETL (Transformer avant de charger) ELT (Charger d’abord, transformer dans Databricks/Spark) Selon votre cas d’usage, je recommanderai la meilleure architecture pour la performance et le coût.
5. Pouvez-vous optimiser mes jobs Spark ou Databricks lents ?
Absolument. Je vous aide avec : Réglage des partitions Stratégies de mise en cache Optimisation de la mémoire Réduction du shuffle Optimisation des requêtes Optimisation des performances Delta Lake Cela peut réduire considérablement le temps d’exécution et les coûts cloud.
Que me faut-il pour commencer ?
Veuillez fournir : Détails de la source (DB/API/fichiers) Exemple de dataset ou schéma Format de sortie attendu Détails de la plateforme cloud Exigences métier Date limite Des exigences claires m’aident à livrer plus rapidement et efficacement.
