Je construirai des pipelines ETL, workflows Pyspark et tableau de bord Looker en utilisant airflow, sql

Je travaille sur AWS (Glue, Lambda, S3, Redshift, EMR), Azure (Data Factory, Databricks, Synapse Analytics) et GCP (Cloud Composer, BigQuery, Dataflow). Je recommande la meilleure plateforme en fonction de votre infrastructure existante, des compétences de votre équipe et de votre budget — et je fournis cette recommandation gratuitement avant que vous

Apache Airflow est un outil d’orchestration de workflows qui planifie, surveille et relance automatiquement vos pipelines de données. Si vous avez besoin que vos données soient traitées selon un calendrier régulier (horaire, quotidien, événementiel), Airflow est essentiel. Je conçois des DAGs Airflow prêts pour la production avec une logique de relance appropriée, des alertes, et

Les processus ETL (Extract-Transform-Load) nettoient et préparent les données avant de les charger dans votre entrepôt — mieux adapté aux systèmes hérités et à une gouvernance stricte des données. ELT (Extract-Load-Transform) charge d’abord les données brutes et les transforme à l’intérieur de l’entrepôt en utilisant des outils comme dbt — mieux adapté aux stacks cloud modernes comme S

Oui. Je me spécialise dans la migration depuis SQL Server, Oracle, MySQL et fichiers plats vers des entrepôts cloud comme Snowflake, BigQuery et Redshift. Cela inclut la conception du schéma, la correspondance des types de données, les tests de validation, la configuration de chargement incrémental et la rétrogradation des données historiques — entièrement documenté.

Chaque livraison comprend une documentation technique complète : diagramme de l’architecture du pipeline, descriptions des DAGs, explication de la logique de transformation, dictionnaire de données, guide d’installation et manuel d’exploitation pour votre équipe. Mon objectif est que tout ingénieur de données de votre équipe puisse comprendre et étendre les pipelines de manière autonome.