2026-06

LLMのベンチマークスコアが不当に高くなる原因である「学習データへのテスト混入」や「出題パターンの暗記」の実態を解説します。静的テストの限界を指摘し、モデルの真の実力を測るための「動的テスト」や「独自の非公開テスト」を作成する重要性と具体例を紹介しています。

LLMプロバイダのキャッシュ機能は実は大きなマージンを生み出しうる。論文「Can I Buy Your KV Cache?」をもとに、KVキャッシュをサービス全体で共有することで計算量を最大50倍削減し、料金とのギャップが利益になる仕組みを解説します。

MTP（Multi-token Prediction）による投機的デコーディングは、推論速度の向上だけでなく、コーディングタスクの精度も改善します。HumanEvalで12%、MBPPで17%の向上が報告されており、帰納ヘッドの形成促進や算術の汎化といったメカニズムが性能向上に寄与しています。ただし効果の発現には学習時からのMTP有効化と十分なモデル規模が必要です。