LFM2.5-24B-A2B を onwx で動かすためのキット
Liquid AI の LFM2.5-24B-A2B(24B の MoE。1 トークンで動くのは約 2.4B)を、 AMD Ryzen AI の NPU(XDNA2)で動かすための 変換プログラムと NPU のプログラム です。
このリポジトリには Liquid AI の重みも tokenizer も入っていません。 onwx がお使いの PC で元のモデルを Hugging Face から ダウンロードし、その場で NPU 用の int4 の重みに変換します。変換したモデルの利用には、元のモデルのライセンス (LFM Open License v1.0)が適用されます。
使い方
onwx(1.0.0 以降)のモデル一覧で「LFM2.5 24B-A2B (MoE, converted on this PC)」の「ダウンロードして変換」を押してください。必要な空きと時間を確かめたあと、次の処理が自動で行われます(全部で約 20〜30 分。Ryzen AI Max+ 395 で約 23 分)。
- このキット(約 9 MB)をダウンロード
- 元のモデル
LiquidAI/LFM2.5-24B-A2B(約 48 GB)をダウンロード - お使いの PC で変換(約 10 分。CPU と約 10 GB のメモリを使います)
- 元のファイルを削除(変換後のモデルは約 17 GB)
途中で一時的に約 65 GB のディスクを使います。
2 つの変換方法
| 方法 | 内容 | fp32 と比べた KL | 生成(Ryzen AI Max+ 395) | プロンプト 1,000 / 4,000 トークン | 大きさ |
|---|---|---|---|---|---|
| balanced(既定) | エキスパート以外と、エキスパートの down を int4 の 2 枚重ね | 0.100 | 約 20.5 tok/s | 約 2.4 秒 / 8.5 秒 | 約 17 GB |
| quality | エキスパートの gate / up も 2 枚重ね | 0.059 | 約 17 tok/s | 約 2.6 秒 / 9.3 秒 | 約 22 GB |
プロンプトはまとめて読みます(最大 2,048 トークンずつ)。行列の計算は NPU が int4 の重みから直接行い、注意機構・短い畳み込み・ ルーティングは CPU が行います。
すべてを 1 枚の int4 にすると、生成は約 28 tok/s ですが KL が 0.33 まで悪化しました。LFM2 は B×x や C×y のような
掛け算のゲートが多く、int4 の誤差が増幅されやすいためです。quality を使うには、ダウンロードの前に環境変数
ONWX_KIT_VARIANT=quality を設定してください。
数値は日本語・英語・Python のコードを含む 560 トークンの文章で、fp32 の参照実装と比べたものです。
中身
lfm2_convert.py:変換プログラム(numpy だけで動きます)variants/<方法>/:NPU のプログラム(plans/。プロンプト用はplans/lfx/)、xdna.json(モデルの設定は元のモデルのconfig.jsonから入れます)kit.json:onwx が読む設定
ライセンス
このキットのプログラムは Apache-2.0 です。元のモデルとその変換結果には Liquid AI の LFM Open License v1.0 が適用されます(年間売上 1,000 万ドル以上の企業による商用利用は対象外です)。