Parcourir les catégories
Explorer
Fiverr Pro
Français
$
USD
Je vais construire des pipelines de données en temps réel avec Apache Kafka, Spark et AWS
Ingénieur de données
Je suis un ingénieur data axé sur les résultats, avec plus de 5 ans d'expérience en Big Data, AWS et leadership technique. Je me spécialise dans la conception de pipelines cloud natifs à grande échell...
À propos de ce service
DES pipelines QUI SURVIVENT EN PRODUCTION, PAS JUSTE LA DEMO.
Je crée des pipelines de données batch et streaming qui fonctionnent chaque jour sans supervision constante.
CE QUE JE LIVRE
- Ingestion en streaming : Kafka, Kinesis, RabbitMQ, NiFi, CDC depuis votre base de données
- Transformations PySpark / Spark SQL, optimisées - pas la configuration par défaut
- Data lake sur S3 avec Apache Iceberg : évolution du schéma, voyage dans le temps, MERGE upserts
- Chargements vers warehouse dans Redshift, Snowflake, Athena ou BigQuery
- Historique SCD Type 2, déduplication, réexécutions idempotentes, gestion des données tardives
- DAGs Airflow, retries, alertes et tableaux de bord CloudWatch/Grafana
- CI/CD, tests et documentation pour assurer la maintenance
EXPÉRIENCE
Plus de 3,5 ans sur une plateforme de streaming d’un opérateur télécom européen : plus de 100 pipelines en production, 0,6 TB/jour (18 TB/mois), des millions d’utilisateurs dans 8 pays. Réduction de plus de 50 % du temps de calcul sur plus de 100 jobs PySpark. Moins de 60 % de défaillances de jobs. Plus de 99,9 % de disponibilité.
J’ai aussi migré une charge de travail Redshift vers Apache Iceberg : des requêtes 40 % plus rapides à moindre coût.
Envoyez-moi votre source, votre destination et votre volume. Vous recevrez un périmètre fixe et un calendrier précis avant de commander.
Mon portfolio
FAQ
Traduction automatique
Batch ou streaming — lequel me faut-il ?
Si rien dans votre activité ne réagit en moins d’une heure, le batch est moins cher et plus simple, je vous le dirai. Le streaming justifie son coût pour la fraude, la personnalisation en direct, les alertes et les tableaux de bord en temps réel.
Pouvez-vous travailler dans notre compte AWS ?
Oui, avec un rôle IAM dédié. Je peux aussi travailler dans mon propre sandbox avec des données d’exemple et vous fournir des scripts déployables, si vous ne souhaitez pas donner d’accès.
Réparez-vous les pipelines existants cassés ?
Oui — et c’est généralement moins cher qu’une reconstruction. Commencez par commander mon service d’audit, ou envoyez-moi un message avec le code du job et je vous ferai une proposition personnalisée.
