Je construirai une suite d’évaluation LLM ou auditerai votre juge LLM

Votre fonctionnalité LLM a passé la démonstration. Mais passera-t-elle encore après le prochain prompt ou lors d’un changement de modèle ?

Je conçois des suites d’évaluation qui répondent à cette question. Vous obtenez une grille d’évaluation adaptée à votre cas d’usage, un jeu de tests avec les réponses attendues et, si un LLM juge vos sorties, une vérification de la fiabilité de ce juge.

Ce que vous obtenez :

• Une grille et un ensemble de tests construits autour de vos modes d’échec réels
• Un audit LLM-as-judge : accord avec les évaluations humaines, correction par hasard (kappa de Cohen, alpha de Krippendorff), et probes de biais
• Une porte de régression CI (Premium) pour que chaque modification soit testée contre la suite

Pourquoi moi : j’ai créé judgecheck, un rapport de fiabilité pour les juges LLM qui montre que 96 % d’accord brut peut masquer des scores corrigés au hasard aussi bas que 0,60, et coding-eval, qui rejoue les tentatives d’un agent de codage dans un sandbox (20 sur 21 réussites réclamées ; 5 réussies). J’évalue le code de modèles de frontière de manière professionnelle et je développe des outils de rubriques et d’étalonnage pour l’IA clinique arabe.

Envoyez-moi un message avec ce que fait la fonctionnalité, quelques entrées et sorties d’exemple, et ce à quoi ressemble une bonne réponse pour vous.