Je construirai des pipelines de données évolutifs utilisant pyspark, databricks et azure

Certaines informations ont été traduites automatiquement.

Inde

Je parle Hindi, Anglais

Ingénieur de données senior

Je suis ingénieur de données sénior avec plus de 6 ans d’expérience dans la conception et l’optimisation de pipelines de données évolutifs sur Azure et AWS. Je me spécialise en PySpark, Databricks et ...
À propos de ce service

Vous avez des requêtes SQL lentes, des silos de données désorganisés ou des coûts cloud élevés ? Je suis un ingénieur de données d’entreprise (certifié Microsoft Azure) spécialisé en PySpark, Azure Databricks, Delta Lake et SQL. Je conçois, optimise et construis des architectures de données tolérantes aux pannes qui transforment des données brutes en pipelines prêts pour l’analyse et l’IA.

Ce que je peux faire pour vous :

  • Conception de pipelines ETL / ELT : pipelines par lots et en streaming évolutifs utilisant PySpark, Databricks et Azure Data Factory (ADF).
  • Architecture Medallion Lakehouse : structurer les données brutes en couches Bronze, Silver et Gold Delta Lake sur ADLS Gen2.
  • Optimisation des performances et des coûts : corriger les jobs Spark lents, résoudre le skew des données, optimiser les requêtes Oracle/PostgreSQL et mettre en œuvre Z-Ordering/Liquid Clustering.
  • Préparation des données IA et RAG : connecter les lacs de données d’entreprise à des bases de données vectorielles (pgvector) et Kubernetes (AKS) pour une récupération IA en temps réel.

Pourquoi travailler avec moi ?

  • Code modulaire et prêt pour la production avec des diagrammes architecturaux clairs.
  • Expertise approfondie sur Azure, Databricks, Python et bases de données relationnelles.
  • Communication claire et présentation post-déploiement.

Contactez-moi avant de passer commande afin que nous puissions nous aligner sur votre stack de données et votre périmètre !


Langue:

Anglais

•

Hindi

Expertise technique:

Databricks

•

Snowflake

•

Google BigQuery

Expertise:

Pipelines de data

•

Développement ETL

Secteur:

Audio et vidéo

•

Analyse de données

•

Services financiers