解説 モデル崩壊：AIはAIを食いつぶさない
「AI生成データでAIが劣化する」と言われるモデル崩壊。実は定義が8つに分かれる曖昧な概念で、現実的な訓練条件では致命的崩壊は起きないとする研究もある。ArXiv主要論文をもとに、崩壊の分類・実態・防止策を整理した。
論文紹介
解説 
解説 ReasoningがLLMの回答精度を下げることがある
LLMのReasoningは常に精度向上に寄与するわけではありません。事実回答タスクではハルシネーション率が上昇し、小規模モデルほど誤推論が累積します。生成時間が20〜80%増加するのに対し精度向上は3%未満にとどまります。研究に基づいて、いつReasoningを使うべきかを整理します。
ローカルLLM ローカルLLMのキャラ付けにLoRAは不要。RAGやプロンプトで十分
ローカルLLMでキャラクター再現にLoRAファインチューニングが不向きな理由を解説。口調制御はプロンプトで十分、ドメイン知識の注入にはDoRAやRAGが有効。版権キャラを演じさせる現実的なアプローチを比較検討します。
論文紹介 学習とは忘却である：非可逆圧縮としてのLLM訓練
LLMの訓練は非可逆圧縮である——arXiv論文 Learning is Forgetting を読み解き、モデルが何を残し何を忘れるかが性能を決めるという情報理論的視点を紹介する。