論文紹介 LLMベンチマークテストはハックされている(だから独自のテストを作ろう)
LLMのベンチマークスコアが不当に高くなる原因である「学習データへのテスト混入」や「出題パターンの暗記」の実態を解説します。静的テストの限界を指摘し、モデルの真の実力を測るための「動的テスト」や「独自の非公開テスト」を作成する重要性と具体例を紹介しています。
論文紹介
論考
論考
ローカルLLM
論考
ローカルLLM
論考
論考