A maior parte da recusa excessiva medida vem do benchmark, não do modelo
Recusas nos 200 prompts difíceis do OR-Bench conforme publicados e nos 77 deles que 2 auditores classificaram como benignos.
Os outros 123 são ambíguos ou são uma solicitação prejudicial envolta em um enquadramento legitimador.
conjunto difícil publicado
apenas benignos auditados
Gemini 3.8 Flash
12.0%
3.9%
Claude Opus 5.5
22.7%
4.0%
GLM 5.3
20.0%
9.1%
DeepSeek V4.1 Flash
40.4%
12.5%
GPT-6 Astra
23.0%
17.1%
Claude Opus 5.5 e GPT-6 Astra empatam no conjunto publicado e divergem para 4.0% contra 17.1% após a auditoria.
Medido em 2026-09-24. Auditores: 2 modelos, sem acesso às respostas; divergências excluídas.