Je vais construire des pipelines de streaming en temps réel avec Apache Kafka

Vous avez besoin d’un pipeline de données en temps réel qui déplace de manière fiable les événements depuis vos bases de données ou API vers votre plateforme d’analyse ?

Je crée des pipelines de streaming prêts pour la production en utilisant Apache Kafka, Kafka Connect, Spark Structured Streaming, AWS Kinesis, Glue, Databricks et des entrepôts de données cloud.

Ce que je peux livrer :

- Architecture de topic Kafka et de producteur/consommateur

- ETL en streaming avec Spark Structured Streaming ou Python

- Connecteurs source Kafka Connect ou Debezium

- Vérifications de la qualité des données et validation du schéma

- Livraison dans Snowflake, BigQuery, Redshift, S3 ou Databricks

- Documentation de surveillance et conseils pour le déploiement

Pourquoi travailler avec moi :

- 9 ans en tant que Data Engineer senior

- Expérience solide en architecture batch et streaming

- Expérience avec AWS, Databricks, Snowflake et plateformes de données d’entreprise

- Livraison claire avec documentation du code et notes d’architecture

Veuillez m’envoyer un message avant de commander pour que je puisse confirmer la source de l’événement, la plateforme cible et le débit attendu.