Je vais construire une pipeline ETL automatisée avec airflow et postgresql

Certaines informations ont été traduites automatiquement.

Ukraine

Je parle Anglais

Ingénieur de données

Je suis un Junior Data Engineer avec des compétences avérées dans la construction de pipelines batch end-to-end robustes. Mon expertise inclut l'ingestion de données depuis diverses sources externes, ...

Plus d’infos

À propos de ce service

Arrêtez de copier manuellement des données entre différentes sources. Je crée des pipelines ETL automatisés qui récupèrent des données via des API ou des sites web, les nettoient et les valident, puis les chargent dans votre base de données sans intervention manuelle après la configuration.

Ce que vous obtenez :

- Données récupérées depuis votre(s) API ou site web source

- Nettoyage et validation avant que les données n'atteignent votre base

- Stockage dans PostgreSQL (ou votre base SQL préférée)

- Optionnel : exécutions planifiées avec Apache Airflow (quotidien, hebdomadaire, personnalisé)

- Optionnel : suivi complet de l'historique, pas seulement le dernier instantané

- Optionnel : alertes automatisées (Telegram/email) lorsque de nouvelles données arrivent

J'ai récemment construit une pipeline en production utilisant cette stack : Airflow, PostgreSQL, Docker, récupérant des données de plusieurs sources, les normalisant dans un schéma unique, et suivant l'historique de chaque enregistrement. Je partagerai le repo GitHub pour que vous puissiez vérifier la qualité du code avant de commander.

Chaque pipeline est conçu autour de votre source de données et de votre base, pas une template générique avec votre nom collé dessus.

Envoyez-moi votre source de données et votre base cible avant de commander pour que je puisse confirmer le périmètre et le délai.

Plus d’infos