Agents-A1-4B、想像以上の長文読解力だった

• 日本語の長文読解力が半端ない。Qwen3.6-27Bに引けを取らない。
• コーディングは厳しい。
• ロールプレイも(素の状態だと)厳しい。
• RX 7900 XTXで85tokens/s。
• このまま進化していけばエッジデバイスLLMとしてそこそこ使えるようになるかもしれない。

数日前にagents-a1-4bというLLMが公開されました。4bパラメータ、8bit量子化すると4GB代になる小さなモデルです。正直小さすぎるので性能には期待していなかったのですが、試しに80000字強の自作の小説を読ませて特定の登場人物についてまとめさせてみたところ、間違っているところがほとんどありませんでした。そのわずかな間違いは「イヴ」という主人公を「伊ヴ」と書いてしまった点です。これは非日本語ネイティブの中国製モデルによくある間違いで、大きめのモデルでも犯しがちなミスなので許容します。

RX 7900 XTXで85 tokens/s。Reasoningつき。

コーディングはちょっと無理かな。マンデルブロ集合を描画するHTMLファイルを生成することはできませんでした。Javascriptに関する知識を4Bパラメータの中に保持できなかったのかと思いエラーを見てみると、宣言していない変数に値を代入しようとしていました。Javascriptの知識が足りないというよりはプログラミングの基本的な能力が欠けているようです。

ロールプレイは口調が安定しません。どうも日本語の読解力はあっても日本語の表現力はないようです。「伊ヴ」という書き間違いもロールプレイの下手さもそれに起因している気がします。
まあ4Bパラメータですから、口調くらいは気軽にファインチューニングで強化できそうです。誰か日本語特化モデルを作ってくれ(他力本願)。

tool callにも対応しているようです「最新のLLMに関するニュースを検索してください」と伝えたら一応正しくmcpの検索機能を使ってくれましたが、検索結果を正しく解釈することはできず、ハルシネーションを起こしてしまいました。
このパラメータ数のまま世代を経ていったら、スマホやラズパイなどの小さな端末で完結するLLMエージェントを作ることができるかもしれません。