Gran parte del rifiuto eccessivo misurato è imputabile al benchmark, non al modello
Rifiuti sui 200 prompt difficili di OR-Bench così come pubblicati e sui 77 che 2 valutatori hanno giudicato innocui.
Gli altri 123 sono ambigui o richieste dannose inserite in una cornice legittimante.
set difficile pubblicato
solo innocui verificati
Gemini 3.8 Flash
12.0%
3.9%
Claude Opus 5.5
22.7%
4.0%
GLM 5.3
20.0%
9.1%
DeepSeek V4.1 Flash
40.4%
12.5%
GPT-6 Astra
23.0%
17.1%
Claude Opus 5.5 e GPT-6 Astra sono a pari merito sul set pubblicato e divergono: 4.0% contro 17.1% dopo la verifica.
Misurato il 2026-09-24. Valutatori: 2 modelli, all’oscuro delle risposte; disaccordi esclusi.