論文紹介

LLMの訓練は非可逆圧縮である——arXiv論文 Learning is Forgetting を読み解き、モデルが何を残し何を忘れるかが性能を決めるという情報理論的視点を紹介する。