Je serai votre expert en databricks et pyspark pour les pipelines ETL

Certaines informations ont été traduites automatiquement.

Royaume-Uni

Je parle Anglais

Ingénieur senior en données et intelligence artificielle, certifié Databricks, 11 ans

Je suis un professionnel expérimenté avec plus de 11 ans dans le développement logiciel et l’ingénierie des données. J’ai une expérience avérée dans la gestion d’équipes agiles, l’automatisation des p...
À propos de ce service

Vous avez besoin de pipelines Databricks infaillibles qui ne cassent pas à 3 heures du matin ? Vous êtes au bon endroit.

Je suis un ingénieur de données certifié Databricks (Professionnel) avec plus de 10 ans d’expérience dans la création de systèmes de données en production pour des entreprises de trading d’énergie, de banque, de retail et d’analytique crypto, notamment OVO Energy, Bank of America et Sainsbury's.

Ce que je vais réaliser pour vous :

  1. ️Pipelines PySpark / Scala Spark évolutifs sur Databricks
  2. Architecture DeltaLake (bronze / silver / gold)
  3. ETL en streaming et batch avec Kafka, Auto Loader ou Structured Streaming
  4. Configurations de clusters optimisées pour le coût (j’ai permis d’économiser plus de 80 000 £ par an en cloud)
  5. Code propre, testé et documenté que vous pouvez transmettre à votre équipe

Ma stack : Databricks, PySpark, Scala, DeltaLake, Airflow, Kafka, Snowflake, BigQuery, Terraform, AWS, GCP.

Mon processus : Appel de découverte -> validation de l’architecture -> développement -> tests -> revue -> transfert. Pas de surprises, pas de dérive de scope.

Contactez-moi avant de commander pour que je puisse bien définir votre projet et confirmer qu’il correspond à mes compétences. Je réponds en moins d’une heure pendant les heures ouvrables au Royaume-Uni.

Construisons quelque chose de solide.

Expertise:

Intégration API

Automatisations

Big data

Technologie:

Apache Kafka

Apache Spark

Python

Snowflake

Databricks