ハウツー 小さいモデルほど量子化で劣化する|GGUF量子化の選び方(q4_k_m・q8・UD)
GGUF量子化の最適解を探る。8bit以下の劣化傾向、K-quants/I-quants/UDの技術的違い、小規模モデルの量子化リスク、実用的なモデル選定基準をまとめました。
ハウツー
ローカルLLM
解説
ローカルLLM
論考
論文紹介
論考
ローカルLLM
ローカルLLM
ローカルLLM