Je vais construire des tests d’évaluation LLM et une application AI de red team pour l’injection de prompt

Distribuer une fonctionnalité AI sans tests se termine généralement de deux façons : elle se dégrade discrètement après un changement de prompt, ou un utilisateur la pousse à faire quelque chose qu’elle ne devrait pas faire. Je crée les tests qui détectent ces deux cas.

Je suis développeur avec 3 ans d’expérience dans la création d’applications AI. Je teste des chatbots, des systèmes RAG et des agents basés sur OpenAI, Claude, Gemini ou des modèles open source.

Ce que vous obtenez

- Un ensemble de tests basé sur vos cas d’usage réels, avec les réponses attendues

- Une notation automatisée pour la précision, la pertinence, le ton et le format

- Des tests de red team pour l’injection de prompt, les jailbreaks, les fuites de prompt système et de données, alignés avec le Top 10 OWASP pour les applications LLM

- Un rapport classé par gravité, avec les étapes pour reproduire et les solutions proposées

- En Premium, des tests qui s’exécutent dans votre CI avec promptfoo, Langfuse ou Braintrust, pour que chaque changement de prompt ou de modèle soit évalué

Je teste sur un environnement de staging ou une copie de votre application, jamais contre de vrais utilisateurs. Vous payez vos propres coûts API, que j’estime en amont.

Aucun suite de tests ne peut garantir une application qui ne fait jamais d’erreurs. Ce qu’elle vous donne, c’est un chiffre à suivre et une liste de ce qu’il faut corriger en priorité.

Envoyez-moi ce que votre fonctionnalité AI fait, une façon de l’essayer, et les échecs qui vous inquiètent le plus.