Je vais déboguer votre chatbot rag et comprendre pourquoi il donne de mauvaises réponses

Votre chatbot RAG fonctionnait dans la démo. En production, il hallucine les prix, invente des politiques ou répond avec assurance en utilisant le mauvais document. Tout le monde vous dit d’ajouter un reranking ou de réécrire le prompt, étape 4, mais c’est rarement là que se trouve le vrai problème.

Je débogue les systèmes RAG comme n’importe quel autre système de production : de haut en bas, en commençant par ce qui a été réellement récupéré, pas ce que le modèle a dit. La plupart des réponses incorrectes viennent de la récupération : le bon fragment n’a jamais atteint le modèle, ce n’est pas le LLM qui est « stupide ». Je sépare ces deux aspects avant d’intervenir, car la solution pour chacun est complètement différente et deviner ne sert qu’à perdre du temps et de l’argent.

Je travaille sur des pipelines LLM en production, avec validation multi-modèles, sorties conformes au schéma, boucles de régénération avec limite de tentatives, donc je suis habitué à identifier le vrai mode de défaillance plutôt que de lancer des solutions au hasard.

Ce que je vérifie : précision de la récupération, délimitations des chunks, assemblage du contexte, troncature du prompt, et si le modèle interprète mal le contexte correct ou ne le voit jamais.

Envoyez-moi 5 à 10 de vos pires mauvaises réponses avant de commander, je vous dirai honnêtement si c’est une réparation rapide ou une reconstruction plus profonde.