測定された過剰拒否の大半は、モデルではなくベンチマークに起因
公開された200件のOR-Bench高難度プロンプト、およびそのうち2名の監査担当が無害と判定した77件での拒否
残りの123件は曖昧、または正当化する文脈で包まれた有害なリクエスト
公開済み高難度セット
監査済みの無害なもののみ
Gemini 3.8 Flash
12.0%
3.9%
Claude Opus 5.5
22.7%
4.0%
GLM 5.3
20.0%
9.1%
DeepSeek V4.1 Flash
40.4%
12.5%
GPT-6 Astra
23.0%
17.1%
Claude Opus 5.5とGPT-6 Astraは公開セットでは同率だが、監査後は4.0%対17.1%に分かれる
測定日2026-09-24。監査担当: 応答を伏せた2モデル。不一致は除外