Je vais construire des pipelines ETL et des entrepôts de données avec Python, AWS, airflow

Certaines informations ont été traduites automatiquement.

Bangladesh

Je parle Anglais

85 commandes terminées

Ingénieur produit avec une rapidité alimentée par l'IA

Mon objectif est simple : maximiser le retour sur investissement sans accumuler de dette technique. 👋 🔹 Prendre en charge l'ensemble du processus : conception initiale du système jusqu'au déploieme...
À propos de ce service

Ne vous fiez plus à des scripts fragiles. Si vous alimentez des tableaux de bord analytiques ou des modèles d’IA personnalisés, vous avez besoin d’une architecture résiliente et auto-cicatrisante.

En tant qu’ingénieur senior, je conçois des pipelines ETL/ELT de qualité production qui garantissent l’intégrité des données et leur évolutivité sans intervention manuelle.


Ce que je fournis :

  • Orchestration intelligente : Apache Airflow pour le traitement par lots intensifs, ou n8n pour des flux agiles et basés sur des événements.
  • Architecture Medallion : couches Raw, Staging et Production utilisant AWS S3 et PostgreSQL.
  • Pipeline prêt pour l’IA : découpage et vectorisation des données (PGVector) pour une intégration instantanée avec LLM/RAG.
  • Calcul sans serveur : AWS Lambda pour des transformations économiques et évolutives.
  • Observabilité : alertes automatiques d’erreurs via Slack ou Discord.


Pile technologique : Python, SQL, AWS (S3/Lambda), Airflow, n8n, PostgreSQL, Supabase.


Veuillez me contacter avant de commander pour discuter de vos sources de données et de vos besoins en infrastructure !

Destination Platform:

Snowflake

Google BigQuery

Amazon Redshift

Outils et plateformes:

Fivetran

AWS Glue DataBrew

Mon portfolio