Abyss (engine) | Base model | 32G128G version | DGX Spark version | Report a result | 日本語は下
GGUFs of zai-org/GLM-5.3-Flash (MIT) for one 32 GB GPU (RTX 5090, AI PRO R9700) plus 96 GB RAM, and for one DGX Spark (128 GB unified memory). Every expert is kept (no pruning). Measured in Abyss.
BETA: measured on one PC so far (RTX 5090 32 GB, RAM tier capped at 60 GB). The file may be replaced by a better build after more measurements (the folder name will change then). Reports are welcome (see Feedback).
S1/GLM-5.3-Flash-S1-0000N-of-00004.gguf, 4 shards, 94.1 GB. Point your engine at -00001-of-00004.gguf.
SHA256SUMS is in the folder.
| part | type |
|---|---|
| routed experts gate / up (layers 3-44) | IQ2_XXS (layer 11: IQ2_S) |
| routed experts down | IQ2_S (layers 11, 12, 44: IQ3_XXS) |
| attention output, attention q_b, dense / shared-expert down | Q5_K |
| other attention projections, dense / shared-expert gate / up, NextN projection | Q4_K |
| router, embeddings, output, rest of the NextN (MTP) layer | unsloth UD-IQ2_XXS's bytes |
| repo | for a PC with | download | note |
|---|---|---|---|
| this repo | 32 GB GPU + 96 GB RAM | 94.1 GB | folder S1 |
| GLM-5.3-Flash-IQ3_XXS-32G128G-GGUF | 32 GB GPU + 128 GB RAM | 127.9 GB | higher quality (folder Q120d) |
| GLM-5.3-Flash-DGX-Spark-GGUF | DGX Spark (128 GB) | 94.1 GB | same files as 32G96G |
Earlier repo name: GLM-5.3-Flash-32G96G-GGUF (old links redirect here).
Names: the quant in the repo name is the nearest llama.cpp type to the experts' average bits; most files mix several types (listed above), so they are not a stock quant of that name. E<n> = experts kept per layer (only when some were removed).
Abyss (one command sets up the engine, the model, the pack and the config):
git clone https://github.com/zephel01/Abyss.git ~/llm/apps/Abyss
cd ~/llm/apps/Abyss
./setup-deepseek.sh --model glm --quant 32G96G --download-model
../Abyss-tools/abyss.sh start # → http://127.0.0.1:8082/
curl http://127.0.0.1:8082/v1/chat/completions -H 'Content-Type: application/json' \
-d '{"messages":[{"role":"user","content":"What is 17*23?"}],"max_tokens":4000}'
Windows 11: setup-deepseek.bat --model glm --quant 32G96G --download-model.
llama.cpp: loading not checked yet.
KL against unsloth's UD-Q4_K_XL (top-k log-probs, 14 sequences x 1,024 tokens: 8 English text, 1 code, 5 Japanese),
Abyss engine, re-measured 2026-11-08 with the router's expert bias (exp_probs_b) kept in F32 as stored in the GGUF.
| download | KL (14 seqs) | KL, Japanese (5) | same top token | |
|---|---|---|---|---|
| S1 (this repo) | 94.1 GB | 0.2534 | 0.251 | 77.3% |
| unsloth UD-IQ2_XXS (reference) | 101.8 GB | 0.2643 | 0.257 | 76.6% |
| Q120d (32G128G) | 127.9 GB | 0.1367 * | 0.145 * | 84.9% * |
* Q120d: the older 10-sequence measurement; not directly comparable with the 14-sequence numbers.
--check passes 12 of 12 (Japanese, three coding tasks, tool call, 8K-63K needle, 11-turn
conversation) on an RTX 5090.Abyss engine v1.3.129, 2026-11-11, one PC: RTX 5090 (32 GB) on OCuLink PCIe Gen4 x4, Ryzen AI Max+ 395 (LPDDR5X, about
3x the bandwidth of a usual dual-channel DDR5 desktop), 123 GB RAM, NVMe SSD. iGPU off (STRATA_GLM_IGPU=0), no
drafter. A 4K prompt (4,095 tokens) + 512 tokens, greedy, 1 run each.
| download | RAM tier | decode | 4K prompt | SSD wait a token | |
|---|---|---|---|---|---|
| S1 (this repo) | 94.1 GB | 60 GB | 47.4 tok/s | 669 tok/s | 0.3 ms |
| S1 (this repo) | 94.1 GB | auto (64.6 GB) | 46.9 tok/s | 671 tok/s | 0 ms |
| Q120d (32G128G) | 127.9 GB | 60 GB | 19.0 tok/s | 382 tok/s | 23.5 ms |
| Q120d (32G128G) | 127.9 GB | auto (88.8 GB) | 34.6 tok/s | 461 tok/s | 1.4 ms |
One run each, so read about ±3% as noise.
On a usual DDR5 desktop the part computed on the CPU side is slower, so expect lower numbers.
DGX Spark (2026-11-07, Abyss v1.3.119): everything fits in its memory; 27.4 tok/s (21.4 without drafting; unsloth's UD-IQ2_XXS 24.2 / 19.8). See the DGX Spark repo.
Other GPUs are not measured yet.
../Abyss-tools/abyss.sh --bench --deep in Abyss, post abyss-bench.txt with
this issue form
(change the title to your GPU), with your RAM size and SSD.Base model: Z.ai GLM-5.3-Flash (MIT). Source GGUFs and imatrix: unsloth/GLM-5.3-Flash-GGUF. Quantized with trench-gguf.
GLM-5.3-Flash の GGUF です。GPU 32 GB(RTX 5090、AI PRO R9700)+ RAM 96 GB の PC と、DGX Spark 1 台向けです。 エキスパートは削っていません。速さと品質は Abyss で測りました。
BETA です:測ったのは 1 台の PC だけです(RTX 5090、RAM の置き場を 60 GB に制限)。llama.cpp で読めるかはまだ確かめていません。 測り直した結果によっては、もっと良い版に入れ替えることがあります(そのときはフォルダの名前を変えます)。
| 大きさ | KL(14 本) | KL(日本語 5 本) | 同じ 1 位 | 生成(RTX 5090、RAM 60 GB) | |
|---|---|---|---|---|---|
| S1(ここ) | 94.1 GB | 0.2534 | 0.251 | 77.3% | 47.4 tok/s |
| unsloth UD-IQ2_XXS(比べる相手) | 101.8 GB | 0.2643 | 0.257 | 76.6% | - |
| Q120d(32G128G) | 127.9 GB | 0.1367 * | 0.145 * | 84.9% * | 19.0 tok/s(SSD 待ち) |
* Q120d は前の 10 本での測り方の値で、14 本の値とはそのまま比べられません。
--check は RTX 5090 で 12 項目すべて合格です(日本語、コード 3 問、ツール呼び出し、
8K〜63K の needle、11 ターンの会話)。./setup-deepseek.sh --model glm --quant 32G96G --download-model で入ります。感想や速さの報告は、Community タブか この issue フォーム にお願いします。
./abyss.sh --bench --deep の結果(abyss-bench.txt)を、GPU、RAM、SSD と一緒に貼ってもらえると助かります。
| リポジトリ | 向けの PC | ダウンロード | メモ |
|---|---|---|---|
| この版 | GPU 32 GB + RAM 96 GB | 94.1 GB | S1 |
| GLM-5.3-Flash-IQ3_XXS-32G128G-GGUF | GPU 32 GB + RAM 128 GB | 127.9 GB | 品質重視(Q120d) |
| GLM-5.3-Flash-DGX-Spark-GGUF | DGX Spark(128 GB) | 94.1 GB | 32G96G と同じファイル |
以前のリポジトリ名は GLM-5.3-Flash-32G96G-GGUF です(古い URL はここへ転送されます)。
名前の量子化の型は、エキスパートの平均ビット数にいちばん近い llama.cpp の型です。多くのファイルは複数の型を混ぜているので(上に内訳)、その名前の普通の量子化と同じものではありません。E<数> は層ごとに残したエキスパートの数です(減らしたときだけ付けます)。
S1/GLM-5.3-Flash-S1-00002-of-00004.gguf 46 GBS1/GLM-5.3-Flash-S1-00003-of-00004.gguf 46 GBS1/GLM-5.3-Flash-S1-00004-of-00004.gguf 2.7 GBS1/GLM-5.3-Flash-S1-00001-of-00004.gguf 9 MBzai-org/GLM-5.3-Flash