Je construirai ou réparerai des pipelines cdc avec debezium, kafka et postgres

Certaines informations ont été traduites automatiquement.

Pakistan

Je parle Anglais

181 commandes terminées

Ingénieur senior en données et IA, RAG, LangChain, Snowflake, dbt, Agents, Clickhouse

Je conçois des plates-formes de données et des pipelines LLM qui fonctionnent en production. Dix ans d’expérience en génie logiciel et data, depuis 2016. Data Engineer II chez Careem (Uber), où notre...

Niveau 2

Répond à des critères de performance élevés et a fait ses preuves en matière de satisfaction clients.

À propos de ce service
  • La capture de données modifiées se casse en silence. Les slots de réplication se coincent et remplissent le disque, les grandes colonnes apparaissent comme des espaces réservés, et les instructions MERGE écrasent des lignes correctes alors que chaque tableau de bord reste vert.

Je conçois une CDC qui tient le coup, ou je répare celle que vous avez :

  • CDC basé sur les logs avec Postgres ou MySQL, via Debezium, Kafka, Meltano ou Maxwell
  • Chargement dans Snowflake, BigQuery ou Postgres avec une logique MERGE correcte pour les suppressions et les mises à jour
  • Corrections des écrasements d’espace réservé TOAST de Postgres
  • Surveillance des slots de réplication et démarche de récupération sûre, sans rechargement complet
  • Vérifications de réconciliation afin que les comptes et les valeurs source et cible concordent

Faits marquants :

  • Restauration de la réplication Postgres avec CDC basée sur les logs dans Snowflake pour une licorne technologique de livraison aux États‑Unis
  • Conception d’un agent qui nettoie les slots de réplication bloqués et exécute un rafraîchissement partiel propre, sans alerte
  • Careem : CDC en temps réel via Maxwell, Kafka et Spark Streaming
  • Rédaction de la problématique Debezium TOAST d’écrasement silencieux et de sa solution en trois couches

Langue:

Anglais

Expertise technique:

Apache Airflow

•

Dagster

•

Apache Spark

Expertise:

Pipelines de data

•

Traitement des data en continu

Secteur:

Audio et vidéo

•

Cyber Sécurité

•

Analyse de données

Mon portfolio

Balises associées