Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais construire des pipelines ETL Azure en utilisant adf databricks et pyspark
Ingénieur de données Azure
Je suis un ingénieur data Azure avec près de 3 ans d'expérience en Azure Data Factory, Azure Databricks, PySpark et Delta Lake. Je me spécialise dans la conception et le développement de pipelines ETL...
À propos de ce service
Vous cherchez un ingénieur de données Azure fiable pour construire ou optimiser vos pipelines ETL ?
Je peux vous aider à créer des solutions de données évolutives et efficaces en utilisant Azure Data Factory (ADF), Azure Databricks, PySpark et Azure Data Lake Storage Gen2.
Que vous ayez besoin d’ingestion, de transformation, d’orchestration de flux de travail ou d’une solution ETL complète, je peux fournir une mise en œuvre propre et facile à maintenir adaptée à vos besoins.
Ce que vous obtiendrez :
Développement de pipeline Azure Data Factory (ADF)
Ingestion de données dynamique et paramétrée
Transformations Azure Databricks & PySpark
Développement de pipelines ETL/ELT
Mise en œuvre de l’architecture Medallion
Validation de la qualité des données
Orchestration et surveillance des pipelines
Documentation technique
Aperçu des packages :
Basic : pipeline d’ingestion ADF simple avec 1 connecteur
Standard : solution ETL ADF + Databricks avec vérifications de la qualité des données et documentation
Premium : solution Azure ETL de bout en bout avec orchestration, transformations et documentation complète
Technologies :
Azure Data Factory, Azure Databricks, PySpark, ADLS Gen2, Delta Lake, SQL, CSV, & JSON.
Veuillez me contacter avant de passer commande pour discuter de vos besoins et choisir le meilleur package.
Destination Platform:
Databricks Lakehouse
•
Autres
Outils et plateformes:
Azure Data Factory
•
Autres
Mon portfolio
FAQ
Traduction automatique
Quelles sources de données pouvez-vous intégrer ?
Je peux travailler avec des fichiers CSV, JSON, des bases de données SQL, Azure Storage et d’autres sources de données supportées par Azure Data Factory.
Réalisez-vous des pipelines Azure Data Factory (ADF) ?
Oui. Je conçois et développe des pipelines ADF dynamiques, paramétrés et évolutifs pour l’ingestion, l’orchestration et les charges de travail ETL.
Travaillez-vous avec Azure Databricks et PySpark ?
Oui. Je développe des notebooks Databricks et des transformations PySpark pour le nettoyage, l’enrichissement des données et la mise en œuvre de l’architecture Medallion.
Pouvez-vous modifier ou optimiser des pipelines ETL existants ?
Oui. Je peux diagnostiquer, optimiser, améliorer et maintenir des solutions Azure Data Factory et Databricks existantes.
De quelles informations avez-vous besoin avant de démarrer le projet ?
Veuillez partager les détails de votre système source, destination cible, exigences métier, règles de transformation et résultat attendu. Cela m’aide à recommander la meilleure solution et le package adapté.
Quel forfait dois-je choisir ?
Le package Basic convient pour des pipelines d’ingestion ADF simples. Standard est idéal pour des solutions ETL ADF + Databricks. Premium est recommandé pour des projets Azure ETL complets avec orchestration, transformations et documentation.
Que faire si mes exigences ne sont pas couvertes par vos packages ?
Pas de problème. Envoyez-moi vos besoins, et je pourrai recommander le meilleur package ou créer une offre personnalisée selon la portée du projet.
Les coûts cloud Azure sont-ils inclus dans le prix du gig ?
Non. Le prix du gig couvre uniquement les services de développement et d’implémentation. Les coûts d’abonnement Azure ou d’infrastructure cloud sont à la charge du client.
Puis-je ajouter plus de sources de données ou de connecteurs ?
Oui. Des connecteurs supplémentaires peuvent être ajoutés via des Gig Extras ou une offre personnalisée selon vos besoins.
Offrez-vous un accompagnement après la livraison du projet ?
Oui. Je propose un support après livraison pour les problèmes liés à la solution livrée et peux également aider pour des améliorations futures.
