Je vais construire des pipelines ETL avec Databricks et Azure

Certaines informations ont été traduites automatiquement.

Italie

Je parle Italien, Anglais

17 commandes terminées

Ingénieur en Big Data, IA et apprentissage automatique

Mattia G. ~🇮🇹 Cosenza👨🏻‍💻 •Master en génie logiciel, AI & ML, Unical •Diplôme en génie logiciel, Unical •Je suis disponible après 18h du lundi au vendredi, et je suis disponible toute la journée ...
À propos de ce service

Vous cherchez un ingénieur en données fiable pour créer un pipeline ETL robuste pour votre entreprise ?

Je suis un ingénieur Big Data qui travaille quotidiennement avec des pipelines de données à l’échelle de l’entreprise sur Azure, pas seulement des scripts qui s’exécutent une fois et échouent lors du prochain changement de schéma.

Ce que je propose :

  • Des pipelines ETL personnalisés (extraction, transformation, chargement)
  • Intégration de données multi-sources (bases de données, API, fichiers, stockage cloud)
  • Nettoyage, mise en forme et validation des données
  • Orchestration sur Databricks et Azure Data Factory
  • Des pipelines évolutifs construits avec PySpark pour de grands ensembles de données
  • Code source propre et documenté

Mon expérience en Data Engineering et Big Data (PySpark, Databricks, Azure Data Factory, Snowflake) signifie que votre pipeline n’est pas seulement fonctionnel, il est conçu pour gérer la croissance des volumes de données et fonctionner de manière fiable en production, pas seulement dans un notebook ponctuel.

Que vous ayez besoin d’un pipeline simple à source unique ou d’un flux de données d’entreprise prêt pour la production, je m’adapterai au package en fonction de vos données et de vos objectifs.

Contactez-moi avant de commander avec vos sources de données, volume et destination, je vous recommanderai le meilleur package ou une estimation personnalisée.

Expertise:

Big data

•

Extraction des données

•

Flux de données

•

etl

Technologie:

Apache Spark

•

Azure data factory

•

Python

•

SQL

•

Snowflake

Mon portfolio