La plupart des sur-refus mesurés viennent du benchmark, pas du modèle
Refus sur les 200 prompts difficiles d’OR-Bench tels que publiés, et sur les 77 que 2 évaluateurs ont jugés bénins
Les 123 autres sont ambigus, ou constituent une requête nuisible présentée dans un cadre légitimant
jeu difficile publié
uniquement les bénins après audit
Gemini 3.8 Flash
12.0%
3.9%
Claude Opus 5.5
22.7%
4.0%
GLM 5.3
20.0%
9.1%
DeepSeek V4.1 Flash
40.4%
12.5%
GPT-6 Astra
23.0%
17.1%
Claude Opus 5.5 et GPT-6 Astra sont ex æquo sur le jeu publié, puis se départagent à 4.0% contre 17.1% après audit
Mesuré le 2026-09-24. Évaluateurs : 2 modèles, sans voir les réponses ; désaccords exclus