La mayor parte del sobrerrechazo medido se debe al benchmark, no al modelo
Rechazos en los 200 prompts difíciles de OR-Bench publicados y en los 77 que 2 auditores consideraron benignos
Los otros 123 son ambiguos o peticiones dañinas bajo un marco legitimador
conjunto difícil publicado
solo benignos auditados
Gemini 3.8 Flash
12.0%
3.9%
Claude Opus 5.5
22.7%
4.0%
GLM 5.3
20.0%
9.1%
DeepSeek V4.1 Flash
40.4%
12.5%
GPT-6 Astra
23.0%
17.1%
Claude Opus 5.5 y GPT-6 Astra empatan en el conjunto publicado y divergen hasta 4.0% frente a 17.1% tras la auditoría
Medido el 2026-09-24. Auditores: 2 modelos, sin ver las respuestas; discrepancias excluidas