Intelligence Report
LLMベンチマークの統計的信頼性 – 再現性検証と実運用性能乖離の定量分析
Abstract
大規模言語モデル（LLM）の急速な発展に伴い、MMLU、HumanEval、MT-Benchなどのベンチマークスコアが、企業のAIツール選定における事実上の判断基準となっている。しかし、これらのスコアが示す「性能」と実際の業務環境における「有用性」との間には、体系的かつ看過できない乖離が存在する。
本論文では、主要LLMベンチマーク12種に対する再現性検証（6モデル、約16,200回の測定）と、5業種から収集した実運用タスク200件との性能乖離分析を通じて、現行ベンチマーク・エコシステムの信頼性を批判的に検証する。
再現性検証の結果、同一モデル・同一ベンチマークにおいても、実行環境（ハードウェア、推論フレームワーク、量子化設定、プロンプトテンプレート）の差異により最大8.3ポイント（MMLU換算）のスコア変動が生じることを確認した。MMLUの95%信頼区間幅は±2.6ポイントであり、この範囲内のスコア差は統計的に有意とは言えない。Multi-way ANOVAにより、プロンプト設計が知識・推論系ベンチマークの最大変動要因（η² = 38.2%, F = 124.3, p < 0.001）であることを特定した。
さらに、実運用タスクとの乖離を定量化するBPG（Benchmark-Production Gap）指標を BPG = 1 - (Sprod / Sbench) として定義・算出した。タスクカテゴリ別分析の結果、日本語業務文書処理における乖離が最も大きく（BPG = 0.41）、ベンチマークが示す性能の約6割しか実運用で発揮されないことが明らかになった。一方、コード生成（BPG = 0.15）は乖離が最小であった。重回帰分析（調整R² = 0.68, N = 1,200）により、乖離の最大要因は英語中心の設計に起因する「言語バイアス」（標準化β = 0.42, 寄与率28.3%）であることを特定した。
これらの分析結果に基づき、独立評価フレームワーク「Aixis LLM Assessment Protocol（ALAP）」を提案する。ALAPは、ベンチマーク・スクリーニング（重み15%）、実運用シナリオ・ベース評価（重み55%）、運用適合性評価（重み30%）の3層構造と統計的信頼区間の明示を柱とし、企業のAIツール選定に対してより信頼性の高い判断基盤を提供する。
Mathematical Definition / Implementation Preview
Download Research Paper (PDF Full-text)
メールアドレスのみ入力して閲覧リンクを受け取ります。
Strategic Implications
1. ベンチマークスコアの「有効数字」は企業が想定するより遥かに少ない
MMLUの95%信頼区間幅は±2.6ポイントであり、「モデルAのMMLU: 85.2、モデルB: 83.8」という1.4ポイントの差は統計的に有意ではない。ANOVA分析（F = 124.3, p < 0.001）により、プロンプトテンプレートの微細な差異だけでスコアが逆転し得ることが実証された。企業のLLM選定において、ベンチマークスコアの小数点以下の差異に基づく序列化は科学的根拠を欠いており、他の判断基準（コスト、レイテンシ、セキュリティ等）を等しく重視すべきである。
2. 日本語業務では「ベンチマーク性能の6割」しか実運用で発揮されない
日本語業務文書処理のBPGは0.41と全カテゴリ中最大であり、ベンチマークが示す性能と実運用性能の間に約4割の体系的乖離が存在する。重回帰分析（調整R² = 0.68）により、この乖離の最大要因は英語中心のベンチマーク設計に起因する「言語バイアス」（寄与率28.3%、標準化β = 0.42）であることが定量的に裏付けられた。日本企業がLLMを選定する際に英語ベンチマークのスコアをそのまま参考にすることのリスクを如実に示しており、自社の実業務タスクによる直接評価が不可欠である。
3. MMLUランキング ≠ 実運用性能ランキング ― スコア序列の逆転が実在する
モデル別BPG分析において、MMLUスコアの序列と実運用BPGの序列が一致しないことが確認された。MMLUで最高スコアのモデルが平均BPGでは2位となり、特に日本語BPGでは別のモデルが優位を示した。ベンチマークスコアのランキングに基づくLLM選定は、実運用における最適解を見逃すリスクを内在している。
4. コード生成は「ベンチマークが最も信頼できる」唯一の領域
コード生成タスクのBPGは0.15と全カテゴリ中最小であり、HumanEvalとの相関係数も0.61と最も高い。これはHumanEvalが「コードの実行可能性」という客観的かつ実運用に近い基準を採用しているためである。逆に、評価基準が客観指標から離れるほどベンチマークの予測力は急速に低下する。創造的タスク（BPG = 0.35、AlpacaEvalとの相関 r = 0.19）がその典型であり、現行の対話系ベンチマークは創造的業務能力の予測にほぼ機能していない。
5. 「差がないことを認める」評価アプローチが合理的な選定を可能にする
提案するALAPフレームワークの核心は、信頼区間が重なるモデル間では「統計的に有意な差はない」と明示的に報告する点にある。従来の「最高スコアのモデルが最良」という単純な序列化から脱却し、統計的に同等と判断されるモデル群の中から、コスト効率・API安定性・データセキュリティといった副次的基準で差別化する方が、合理的かつ堅牢な選定判断につながる。ALAPの有効性については2026年度内に5社との協業による対照実験で実証予定であり、結果は追って公開する。