Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais construire un pipeline de data lakehouse en temps réel
Développeur Python, FastAPI, Web scraping, automatisation IA, ingénierie des données
Je suis un ingénieur en données avec plus de 3 ans d'expérience dans le secteur, spécialisé dans la création d'API RESTful, de systèmes de web scraping et d'applications alimentées par l'IA. Je maîtri...
À propos de ce service
Vous souhaitez créer un pipeline de données en temps réel qui maintient votre data warehouse toujours à jour sans jobs ETL manuels ?
Je concevrai et livrerai un pipeline de data lakehouse entièrement automatisé, de bout en bout, qui capture chaque changement dans votre base de données au moment où il se produit, le stream via Kafka, et le dépose sous forme de tables Delta Lake consultables, le tout orchestré et surveillé par Apache Airflow.
Ce que vous obtenez :
- CDC en direct depuis votre base MySQL (sans interruption, sans export manuel)
- Traitement de flux évolutif avec Apache Spark
- Stockage Delta Lake compatible S3 (MinIO) consultable avec Trino ou Spark SQL
- Workflow Airflow pour vérifications de santé automatisées et surveillance du pipeline
- Exécution entièrement Dockerisée sur votre serveur ou VM cloud
- Guide d’installation et documentation inclus
Idéal pour startups, équipes de données et entreprises qui ont besoin d’une disponibilité en temps réel fiable sans gérer une infrastructure complexe dès le départ.
Mon portfolio
FAQ
Traduction automatique
De quelles informations avez-vous besoin pour commencer ?
J’ai besoin de détails sur votre base de données source (type, version, taille), votre destination de stockage préférée, et votre environnement serveur/cloud. Si vous n’êtes pas sûr, un appel de découverte gratuit peut aider à définir le périmètre.
Pouvez-vous vous connecter à ma base de données existante sans interruption ?
Oui. En utilisant CDC (Change Data Capture) via Debezium, le pipeline lit le journal binaire de votre MySQL — sans verrouillage, sans interruption, sans impact sur votre application en cours d’exécution.
Que livre le pipeline en temps réel ?
Chaque INSERT, UPDATE et DELETE dans votre base source est capturé instantanément et déposé dans des tables Delta Lake sur MinIO (compatible S3) en quelques secondes — consultables via Spark SQL ou Trino.
Ai-je besoin d’une infrastructure cloud ou cela fonctionne-t-il sur site ?
Les deux. Toute la stack fonctionne sur Docker Compose — déployez-la sur votre serveur local, une VM cloud (AWS EC2, GCP, Azure), ou toute machine Linux avec 8 Go+ de RAM.
Pouvez-vous gérer les changements de schéma dans ma base source ?
Oui. Le pipeline est conçu pour évoluer avec le schéma. Je configure Debezium et Spark pour gérer les nouvelles colonnes et modifications de types sans casser le pipeline.
Signerez-vous un NDA si mes données sont sensibles ?
Absolument. Je suis prêt à signer un NDA avant le début du projet.
Proposez-vous une assistance post-livraison ?
Oui — 7 jours (Basic), 14 jours (Standard), 30 jours (Premium) pour la correction de bugs et les problèmes de déploiement.
