Je vais concevoir des systèmes rag locaux de bout en bout et des chatbots

Un chatbot RAG polonais, construit de A à Z, depuis le scraping des articles jusqu'à une réponse finale avec trois liens vers les sources utilisées.

La base de connaissances est volontairement petite : 141 articles d'aide. Avec cette taille, je peux mesurer chaque changement sur un ensemble de test plutôt que de deviner.

La recherche est hybride. La correspondance par mots-clés gère les questions où un mot précis détermine la réponse, la recherche vectorielle comprend le sens, les deux classements sont fusionnés, et un cross encoder sélectionne les trois meilleures réponses parmi vingt candidats. La précision est de 58 sur 60 sur l'ensemble de test.

Les vraies questions arrivent avec des fautes de frappe, donc un correcteur orthographique se trouve devant le pipeline, protégé par une vérification de la fréquence des mots pour ne pas déformer les entrées correctes.

Le système sait aussi quand refuser. Les questions hors sujet sont éliminées rapidement avant la génération, un second modèle décide des cas limites, et une vérification de couverture après coup repère les réponses non fondées sur le texte récupéré.

La récupération fonctionne localement : les embeddings, les index et le reranker sont tous sur le serveur. La démo publique appelle un modèle hébergé pour la génération car le VPS n'a pas de GPU, mais c'est le même code avec un fichier de configuration différent, et cela fonctionne entièrement hors ligne sur Ollama.