Je vais construire des pipelines d'ingénierie des données de bout en bout avec AWS, azure et databrick

Vous cherchez un Data Engineer pour construire, automatiser, optimiser ou dépanner vos pipelines de données ?

Je propose des services d'ingénierie des données de bout en bout en utilisant Python, PySpark, SQL, AWS, Azure, Databricks, Apache Airflow et dbt.

Voici ce que je peux faire :

pipelines ETL / ELT

Extraction, transformation et chargement des données

Nettoyage et validation des données

pipelines de données à source unique ou multiple

Ingénierie des données AWS

S3, Glue, Athena, Lambda

Firehose et Step Functions

pipelines de données cloud

Ingénierie des données Azure

Azure Data Lake

Data Factory et Synapse

Migration et intégration cloud

Databricks et Lakehouse

PySpark et SQL

Workflows Databricks

Architecture Bronze/Silver/Gold

Architecture Medallion

Orchestration et automatisation

Apache Airflow DAGs

Transformations dbt

Planification et automatisation des workflows

SQL et qualité des données

SQL complexe et modélisation des données

Optimisation des requêtes

Validation et tests des données

Gestion des erreurs et documentation

Je me concentre sur la création de solutions de données fiables, évolutives, faciles à maintenir et prêtes pour la production adaptées à vos besoins.

Veuillez me contacter avant de passer commande afin que je comprenne vos sources de données, votre destination, vos exigences et la portée du projet.

Construisons une solution de données fiable pour votre entreprise