Je serai votre expert en databricks et pyspark pour les pipelines ETL
Ingénieur senior en données et intelligence artificielle, certifié Databricks, 11 ans
À propos de ce service
Vous avez besoin de pipelines Databricks infaillibles qui ne cassent pas à 3 heures du matin ? Vous êtes au bon endroit.
Je suis un ingénieur de données certifié Databricks (Professionnel) avec plus de 10 ans d’expérience dans la création de systèmes de données en production pour des entreprises de trading d’énergie, de banque, de retail et d’analytique crypto, notamment OVO Energy, Bank of America et Sainsbury's.
Ce que je vais réaliser pour vous :
- ️Pipelines PySpark / Scala Spark évolutifs sur Databricks
- Architecture DeltaLake (bronze / silver / gold)
- ETL en streaming et batch avec Kafka, Auto Loader ou Structured Streaming
- Configurations de clusters optimisées pour le coût (j’ai permis d’économiser plus de 80 000 £ par an en cloud)
- Code propre, testé et documenté que vous pouvez transmettre à votre équipe
Ma stack : Databricks, PySpark, Scala, DeltaLake, Airflow, Kafka, Snowflake, BigQuery, Terraform, AWS, GCP.
Mon processus : Appel de découverte -> validation de l’architecture -> développement -> tests -> revue -> transfert. Pas de surprises, pas de dérive de scope.
Contactez-moi avant de commander pour que je puisse bien définir votre projet et confirmer qu’il correspond à mes compétences. Je réponds en moins d’une heure pendant les heures ouvrables au Royaume-Uni.
Construisons quelque chose de solide.
FAQ
Traduction automatique
De quelles informations avez-vous besoin pour commencer ?
Emplacement et format des données sources, destination cible, échantillons de données (anonymisées si besoin), estimations de volume et exigences SLA. Je vous enverrai un modèle de brief court après la commande.
Pouvez-vous travailler avec ma configuration cloud existante ?
Oui — Je travaille avec Databricks hébergé sur AWS, GCP et Azure. Je travaillerai dans votre environnement en utilisant des identifiants en lecture seule que vous fournirez.
Signez-vous des NDA ?
Absolument. Envoyez-moi votre NDA avant de commander, je le réviserai et le signerai.
Et si je n'ai pas encore de données ?
Pas de problème — je peux simuler des données réalistes pour le développement, puis vous pourrez échanger avec des données de production plus tard.
Gérez-vous des pipelines de streaming en temps réel ?
Oui — Les intégrations Structured Streaming, Auto Loader et Kafka sont des points forts.
Que se passe-t-il après la livraison ?
Vous bénéficierez d’une revue (appel ou Loom), de tout le code source, d’un README, et de 14 jours de support par email pour vos questions. La formule premium inclut un appel de transfert de 30 minutes.
Quel support puis-je obtenir après la livraison ?
Chaque commande comprend 14 jours de support par email — je réponds aux questions dans les 24 heures, et si quelque chose que j'ai créé ne fonctionne pas comme prévu, je le corrige rapidement sans frais supplémentaires. Le forfait Premium inclut un appel de transfert de 30 minutes pour que vous et votre équipe soyez entièrement à l'aise pour gérer et développer le travail.

