Je vais construire et optimiser vos pipelines databricks pyspark sur Azure
Databricks :: Azure :: Synapse :: PySpark :: Power BI :: SQL :: SSRS
Niveau 1
Répond à certains critères de performance et présente un fort potentiel sur la place de marché.
À propos de ce service
Des jobs Databricks lents, des coûts de cluster en hausse ou un pipeline qui échoue constamment ? Je m’en occupe.
Je suis un ingénieur data senior avec plus de 8 ans d’expérience et certifié Databricks Data Engineer Associate. Je crée et optimise des pipelines de production sur Azure Databricks pour des clients dans la vente au détail, la finance, la santé, le commerce en ligne et le voyage.
Ce que je propose :
- Jobs ETL PySpark et Spark SQL sur Azure Databricks
- Tables Delta Lake avec une organisation bronze, silver, gold
- Orchestration et planification avec Azure Data Factory
- Optimisation des performances : partitionnement, jointures, mise en cache, dimensionnement du cluster
- Vérifications de la qualité des données, tests unitaires et documentation claire
- Ingestion depuis SQL Server, APIs REST, fichiers et Dynamics 365
Comment ça fonctionne :
- Vous partagez la source, la cible et le problème actuel.
- Je confirme le périmètre et le délai.
- Vous recevez un code testé, un guide d’exécution et une présentation.
Azure Databricks sur AWS est également supporté. Besoin d’un périmètre plus large ? Envoyez un message pour une offre personnalisée.
Type de projet:
Optimisation
Mon portfolio
Autres services de Data engineering I Offre
FAQ
Traduction automatique
Vous avez une tâche liée à l'ingénierie des données et vous ne connaissez pas la solution possible ?
Je peux discuter de la solution selon vos besoins sur Zoom, MS Teams ou toute autre plateforme. S'il vous plaît envoyez-moi un ping, ce sera un plaisir de vous servir.
Avez-vous besoin d'accéder à notre environnement Databricks ou cloud ?
Un accès en lecture seule ou un espace de travail sandbox suffit pour la plupart des missions. Si un accès en écriture est nécessaire, je demanderai des identifiants temporaires et limités à la durée du projet.
Pouvez-vous optimiser les jobs PySpark existants pour réduire les coûts et améliorer la vitesse ?
Oui. J'examine le partitionnement, la taille du cluster et la logique des jobs pour réduire le temps d'exécution et les coûts de calcul, et je fournis un court rapport des modifications apportées.
Travaillez-vous aussi sur AWS que sur Azure ?
Oui. Azure est ma plateforme principale, mais je réalise également des travaux avec Databricks et PySpark sur AWS.
Et si mon projet est plus grand que les packages ?
Envoyez-moi un message avec les sources, la cible et le délai, et je vous proposerai une offre personnalisée adaptée à votre projet.
40 avis concernant ce service
| (40) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Détails de la notation
- Niveau de communication avec le freelance
- Qualité de la livraison
- Valeur de la livraison
Trier par
N nexxta23

États-Unis
Second time working with Atta. Very knowledgeable. Definitely will work with him again and recommend him.
50 $US
Prix
1 jour
Durée
Utile?M 
millenborgeld

Allemagne
It was great!
50 $US
Prix
1 jour
Durée
A 
Réponse du freelance
Utile?M missbrebre1

États-Unis
Atta is extremely talented with writing TSQL queries on the fly. It’s always a pleasure working with him and I always learn multiple new things from him every single time.
50 $US-100 $US
Prix
1 jour
Durée
Utile?I 
iankas

Suisse
was very good. Rockstar in his field. Will definetly order again!
400 $US-600 $US
Prix
1 jour
Durée
A 
Réponse du freelance
Utile?C craigread

Royaume-Uni
thanks for the help, knowledgeable, professional, quick, very good communicator, a pleasure to work with
200 $US-400 $US
Prix
1 jour
Durée
A 
Réponse du freelance
Utile?
40 avis concernant ce service
| (40) | ||
| (0) | ||
| (0) | ||
| (0) | ||
| (0) |
Détails de la notation
- Niveau de communication avec le freelance
- Qualité de la livraison
- Valeur de la livraison
Trier par
N nexxta23

États-Unis
Second time working with Atta. Very knowledgeable. Definitely will work with him again and recommend him.
50 $US
Prix
1 jour
Durée
Utile?M 
millenborgeld

Allemagne
It was great!
50 $US
Prix
1 jour
Durée
A 
Réponse du freelance
Utile?M missbrebre1

États-Unis
Atta is extremely talented with writing TSQL queries on the fly. It’s always a pleasure working with him and I always learn multiple new things from him every single time.
50 $US-100 $US
Prix
1 jour
Durée
Utile?I 
iankas

Suisse
was very good. Rockstar in his field. Will definetly order again!
400 $US-600 $US
Prix
1 jour
Durée
A 
Réponse du freelance
Utile?C craigread

Royaume-Uni
thanks for the help, knowledgeable, professional, quick, very good communicator, a pleasure to work with
200 $US-400 $US
Prix
1 jour
Durée
A 
Réponse du freelance
Utile?
