MoziAier 27B-TQ — 6.98 GiB 跑 256K 上下文 + MTP 推测解码的三值模型

版本：V1.0 · 权重：6.98 GiB · 发布日期：2026-11-01

📑 概览 · 特性 · 规格 · 快速开始 · 启动 · 参数 · 量化对比 · MTP · 显存 · 部署 · 评测 · 许可证 · 联系 · 致谢

1. 模型概览

MoziAier 27B-TQ 是面向长上下文 + 高吞吐本地私有化部署的 27B 三值量化模型。主权重压到 {-1, 0, +1}，配上 q4_0 KV 缓存，6.98 GiB 就能跑 256K 上下文，也是本系列唯一实测 MTP 推测解码有正收益的型号（+29.4%）。

一句话定位：用一张 16 GB 显卡，在本机跑一个能读整本书（250K 满配）、支持视觉、开 MTP 后 61.2 tok/s 的中文助手。

与同系列的差异：

相比 9B-TQ：体积 3.75 倍、参数 3 倍、上下文 256K（9B 为 256K），且开 MTP 是真加速（9B 开 MTP 反而慢 13.7%）
相比 35B：在「能力 / 硬件门槛」之间取平衡，16 GB 显卡即可 250K 满配（实测 12.89 GB）
相比 Q4_K_M 版本（13.7 GB）：体积减半、解码快数倍

适用人群：长文档 / 整库分析的专业用户、单卡同时跑长上下文与视觉的团队、对解码速度有要求的 Agent 应用。

MoziAier 自研特性

特性	说明
七维思考体系	先判任务复杂度，再动态展开 2 / 5 / 7 维推理，而非套固定模板
Agent LOOP 迭代	复杂任务进入「执行 → 评估 → 调整 → 验证」循环，简单任务自动跳过
Agent 长任务优化	分阶段推进、每阶段带验收判据；结构化输出便于外部任务系统接管
工具调用优化	输出规范的工具调用格式，便于 Agent 框架直接解析
时效性检索	时效问题明确要求联网检索，不凭记忆作答（需外接工具）
防止死循环	Loop 内置退出规则与收敛判据
MTP 可用且定档	保留 MTP 层（Q5_0，278 MB），实测 +29.4%（47.3 → 61.2 tok/s）

以上为 MoziAier 原创增量。底座权重来自上游开源模型（见 3），整体以 Apache-2.0 分发，归属见 NOTICE。

2. 核心特性

三值量化容器 —— 主权重取值只有 -1 / 0 / +1，PTQ1.0 容器封装（与 9B-TQ 同类型）。每生成一个 token 读取的权重字节数远少于 4-bit。

结构化输出 —— 先给判型行，再按复杂度展开七维思考，复杂任务进入 Loop：

层级	适用场景	展开维度
简单问答	名词解释、事实查询、翻译、摘要	2 维
分析诊断	数据分析、报告解读、方案评估	5 维
复杂任务	代码开发、架构设计、多步流程	7 维 + Loop

七维：① 理解任务 ② 复杂度评估 ③ 依赖关系 ④ 风险评估 ⑤ 资源需求 ⑥ 验收标准 ⑦ 执行策略

超长上下文 —— 最大 256K（262,144 tokens）。可一次读完整本书、整份合同或中等规模代码库。

视觉输入 —— 通过 mmproj 投影器（Q8_0，600 MB）支持图片，可用于截图问答、图表读数、文档扫描件理解。

MTP 推测解码（本系列唯一正收益） —— 保留 MTP 层并定档 Q5_0，实测 47.3 → 61.2 tok/s（+29.4%，接受率 57.19%）。9B 开 MTP 是 −13.7%，两者结论相反，详见 8。

拒绝编造 —— 被问到不存在的历史记录时回答「我这边查不到」，而不是编一个答案。

3. 技术规格

项目	规格
底座	`Qwen3.8-27B`（Dense，Apache-2.0）
参数量	27B（Dense）
层数	65（含 MTP 层）
注意力	24 头 / 4 个 KV 头（GQA）
隐藏维度 / FFN	5,120 / 17,408
量化方式	三值（-1 / 0 / +1），PTQ1.0 容器（GGUF type 143）
权重文件	7,498,276,224 B（6.98 GiB，HF 页面显示约 7.0 GB）
上下文	最大 256K（262,144 tokens）
视觉	mmproj-Q8_0（600 MB）
推理速度	R9700 / ROCm / 150K（三题法）：稳态 58.19 tok/s（MTP 开启）；首 token 约 6.1s
推理框架	llama.cpp 三值专用构建（Prism 血统，MIT；官方原版不支持），见 10.1
评测环境	AMD Radeon AI PRO R9700（32 GB）/ ROCm 7.13

能力边界：本地私有化部署（16 GB 显卡跑 250K）、长文档分析（256K）、视觉问答（需 mmproj）、结构化输出、中英双语（中文优先）、工具调用、高速解码（开 MTP 61.2 tok/s）。

4. 快速开始

⚠️ 本模型需要 2 个文件。缺视觉投影器则无法读图。

MoziAier-27B-TQ-V1.0-Q2_0-MTP-PTQ1_0.gguf   ← 主权重（必需，6.98 GiB，含 MTP 层）
moziAier-27B-TQ-V3.8-mmproj-Q8_0.gguf            ← 视觉投影器（需要读图时必需，600 MB）

平台	地址
HuggingFace	chenyumo/MoziAier-27B-TQ
ModelScope	chenyumo/MoziAier-27B-TQ

把两个文件放进同一目录，执行 5.1 的命令，浏览器打开 http://localhost:8080 即可对话。

5. 启动命令

5.1 完整启动命令

llama-server \
  --model MoziAier-27B-TQ-V1.0-Q2_0-MTP-PTQ1_0.gguf \
  --mmproj moziAier-27B-TQ-V3.8-mmproj-Q8_0.gguf \
  --ctx-size 131072 \
  --cache-type-k q4_0 --cache-type-v q4_0 \
  --flash-attn on --n-gpu-layers 999 --parallel 1 \
  --batch-size 2048 --ubatch-size 512 \
  --jinja \
  --spec-type draft-mtp --spec-draft-n-max 2 \
  --host 0.0.0.0 --port 8080 \
  --temp 0.7 --top-p 0.8 --top-k 20 --min-p 0.0 \
  --presence-penalty 1.5 --repeat-penalty 1.0 --repeat-last-n 64 \
  --n-predict 65536

5.2 Windows 单行形式

上面的 \ 是 Linux/macOS 的续行符，cmd 与 PowerShell 直接粘贴会报错。Windows 用一行：

llama-server --model MoziAier-27B-TQ-V1.0-Q2_0-MTP-PTQ1_0.gguf --mmproj moziAier-27B-TQ-V3.8-mmproj-Q8_0.gguf --ctx-size 131072 --cache-type-k q4_0 --cache-type-v q4_0 --flash-attn on --n-gpu-layers 999 --parallel 1 --batch-size 2048 --ubatch-size 512 --jinja --spec-type draft-mtp --spec-draft-n-max 2 --host 0.0.0.0 --port 8080 --temp 0.7 --top-p 0.8 --top-k 20 --min-p 0.0 --presence-penalty 1.5 --repeat-penalty 1.0 --repeat-last-n 64 --n-predict 65536

🔧 --batch-size / --ubatch-size 按显存余量调；不确定就删掉，llama.cpp 用默认值。

5.3 三个必须解释的参数

参数	值	为什么必须这么设
`--parallel`	1	默认 4，会把上下文均分，256K 变成每槽 64K
`--cache-type-k/v`	q4_0	KV cache 量化，显存约减半；256K 上下文必须量化
`--flash-attn`	on	长上下文必需；关闭后三值 kernel 不生效，输出退化

5.4 按任务调上下文

场景	`--ctx-size`
日常对话（推荐默认）	131072（128K，约 10.0 GB 显存）
复杂任务 / 整库分析	262144（256K，约 12.9 GB，16 GB 卡即可）
显存紧张时	102400（100K，约 9.4 GB）

6. 推荐推理参数

6.1 三套出厂预设

按「温度光谱」设计三档。27B 的思考开关随档位变化——简单任务关、复杂任务开（依据见 6.3）。

档位	上下文	temperature	top_p	top_k	min_p	presence_penalty	思考
办公 / 日常	150K	0.7	0.80	20	0	1.5	关
灵感 / 创意	250K	1.1	0.95	40	0.02	0.3	开
编程 / 严谨	250K	0.4	0.90	20	0	0.3	开

通用参数三档一致：repeat_penalty 1.0 / repeat_last_n 64 / flash_attn on / kv_cache q4_0 / spec_decoding draft-mtp。

办公 = 上游 Prism Instruct 档，稳定输出，适合文档与问答
创意 = 在 Prism Thinking 档基础上提 0.1（temp 1.1）+ top_k 40，提高多样性
编程 = 比通常的 0.6 更严谨（0.4），适合代码与精确计算

6.2 客户端必须传的参数

{ "chat_template_kwargs": { "enable_thinking": false } }

关闭思考时必传。 不传时全部输出落在 reasoning_content，content 恒为空——所有依赖 content 的调用都会判 0 分。服务端参数不能替代它（--reasoning-budget 0 也不行）。

开思考的档位传 true，同时 max_tokens 必须 ≥ 4000（1500 时复杂题正文会被思考吃满变 0 字符）。

6.3 27B 思考开关按档位分

配置	Agent 150 题	平均轮数	撞 8 轮	耗时
关闭思考	138/150 = 92.0%	2.8	10	690s
开启（medium）	140/150 = 93.3%	2.5	4	1572s

开启的收益：+2 题（+1.3 个百分点），撞 8 轮减少 60%（10 → 4）。

分类变化（开启后）：DSH 工具 12→14/15（+13%）、文件读取 12→13、文件搜索 12→13；综合任务与 MCP 调用各 15→14（−7%）。

结论：思考提升执行类任务（DSH 工具、文件读写搜索），代价是综合 / MCP 类略降。所以按档位分——办公档要稳定就关，创意和编程档要深度就开。

⚠️ 9B 不同：9B 开思考会死循环（正文全空、耗时 5 倍），三档一律关闭。两个模型不能套用同一套建议。

7. 量化格式对比

项	本版（PTQ1.0 三值 + MTP）	Q4_K_M
权重体积	6.98 GiB	13.7 GB
MTP 推测解码	✅ 可用（+29.4%）	⚠️ 原始权重，接受率低
官方 llama.cpp	❌ 需三值专用构建	✅ 直接支持
Ollama / LM Studio	❌ 不支持	✅ 支持

三值容器的优势是体积减半与解码更快；Q4_K_M 的优势是生态成熟——可直接用官方 llama.cpp / Ollama / LM Studio 加载。

8. MTP 推测解码

本版保留 MTP 层并定档 Q5_0 —— 这是 27B 相对 9B 的关键差异。

8.1 27B 正收益，9B 负收益

2026-11-01 完整精度扫描（R9700 / ROCm / ctx 32K / --spec-draft-n-max 2 / 三题法双口径 / greedy）：

模型	MTP	稳态 decode	接受率	相对关闭
27B	关闭	47.3 tok/s	—	基线
27B	开（Q5_0）	61.2 tok/s	57.19%	+29.4%
9B（PQ2_0 容器）	关闭	121.1 tok/s	—	基线
9B（PQ2_0 容器）	开（Q5_0）	104.5 tok/s	52.66%	−13.7%

同一批测试，两个模型结论相反：27B 主模型慢（47.3），省下的 decode 步数足够填平草稿开销；9B 本身已经很快（121.1），调度与验证开销占比过高，把收益全吃掉了。

8.2 开启参数

--spec-type draft-mtp --spec-draft-n-max 2

参数	推荐值	说明
`--spec-type`	`draft-mtp`	启用 MTP 推测解码
`--spec-draft-n-max`	2	每次最多猜 2 个 token。实测最优：3 只提升 +7.6%，4 反而 −4.2%

⚠️ 网上流传的「n-max 2 → 80% 接受率、4-5 → 60-65%」是其它模型的数据，在 27B 上不成立。本机实测 n-max 2 是 57.19%。

8.3 MTP 层精度阈值：不是「降一点没事」

MTP 层是投机草稿器，草稿 token 必须与主模型逐 token 一致。误差超过阈值直接归零，不是线性退化：

MTP 层精度	相对 RMS 误差	层体积	接受率	判定
Q5_0（本版）	4.6–5.3%	278 MB	57.19%	✅ 定档
Q5_1	3.8–4.4%	304 MB	57.83%	✅ 可用
Q8_0	2–3%	469 MB	56.57%	✅ 但体积划不来
Q4_0	9–10%	228 MB	0.00%	❌ 完全不加速
Q3_K	15–19%	174 MB	0.00%	❌ 完全不加速

阈值卡在 5.3%~9% 之间。省 100–200 MB 换来的是彻底不加速，还会因为多一层调度而更慢。这就是本版定档 Q5_0 的原因。

8.4 一句话总结

27B：开 MTP。 61.2 vs 47.3 tok/s，+29.4%，MTP 层只占 278 MB。
9B：别开 MTP。 慢 13.7%，两者结论相反，别混用。
MTP 层必须 ≥ Q5。 降到 Q4_0 / Q3_K 接受率归零，比不开还慢。

9. 显存配置建议

📌 本文档中「256K」= 262,144 tokens（模型原生上限），「250K」= 256,000 tokens（出厂预设档位）。技术规格用 256K，参数档位用 250K，两者指同一量级。

桌面独立显卡实测值（ROCm / q4_0 KV / FA on / 含视觉投影器）：

上下文	显存占用
100K	9.37 GB
150K	10.54 GB
200K	11.71 GB
250K（最大）	12.89 GB

经验拟合：显存(GB) ≈ 7.02 + 0.02347 × 上下文(K)，每增加 50K 多占 1.17 GB。四个实测点与拟合式残差均 ≤0.01 GB，线性度很好。

显存	可跑上下文	余量	说明
10 GB	100K	0.6 GB	入门可用
12 GB	150K（稳）/ 200K（临界）	1.5 / 0.3 GB	200K 接近上限
14 GB	250K	1.1 GB	满配起步
16 GB	250K 满配	3.1 GB	推荐门槛，如 RTX 4060 Ti 16G / RX 7600 XT
24 GB+	250K 满配	11 GB+	无压力，可留视觉与并发余量

💡 16 GB 显卡就能跑满 250K，这是三值容器最实在的优势——同参数量的 4-bit 版本要 32 GB 以上才敢谈 256K。

显存紧张时先降 --ctx-size，不要降 --parallel（那会切分上下文，反而更吃紧）。

10. 部署方式

方式	支持	说明
llama.cpp（三值专用构建）	✅ 推荐	唯一支持的路径
llama.cpp（官方原版）	❌	无法加载 PTQ1_0 容器
Ollama / LM Studio / Jan	❌	内置引擎为官方 llama.cpp，不认三值容器

10.1 关于推理引擎

本模型权重是 GGUF 类型 PTQ1_0（type 143）——上游定义、标准 llama.cpp 不支持的私有扩展类型。

来源	说明
`PrismML-Eng/llama.cpp`（`prism` 分支）	上游实现，MIT。实测数据即在该血统的 `b10826` 上取得。发布页
MoziAier 品牌化构建	基于上游的 fork，仅重命名程序与文档，MIT，未改动内核逻辑

版本要求：PTQ1_0 支持自 b10658 起，建议 b10826 或更新。用不支持的构建加载可能不报错，但输出会退化成基座行为。

平台支持（只列实测跑通的组合）：

系统	后端	状态	说明
Windows 10 / 11	AMD ROCm（HIP）	✅ 已验证	250K 长上下文唯一可行
Windows 10 / 11	Vulkan	✅ AMD 实测通过	100K–150K 稳定，250K 会崩
Windows 10 / 11	CPU	✅ 已验证	速度慢，用于验收与兜底
Windows + NVIDIA	CUDA 12.4 / 13.3	⚠️ 已下载校验，未实测	两台测试机都是 AMD
Linux / macOS	—	⚠️ 本团队未构建	可按 `prism` 分支自建

Windows + AMD 是唯一由我们实测背书的组合，不承诺「全平台开箱即用」。重新分发该构建请随附其 LICENSE 与归属声明（MIT 强制要求）。

10.2 搭配 MoziAier 桌面软件（推荐）

官方桌面客户端：下载 → 选模型 → 启动，不需要敲任何命令行。

能力	说明
一键部署 27B-TQ	自动配好上下文、KV 量化、显存分档、MTP 参数与推理引擎
专门适配	预设按 27B-TQ 实测标定（128K / 256K 两档），自动带 `--spec-type draft-mtp --spec-draft-n-max 2`
多模型统一管理	也支持挂载其他本地 GGUF 模型，同一界面切换、看显存、管自启
本地优先	对话与文件不出本机

官网：www.moziaier.com

⚠️ 别和 Ollama / LM Studio 混用——它们不认 PTQ1_0 容器，加载会失败或输出退化。

11. 评测结果

自建评测，不是第三方榜单。 两套题库与 9B-TQ 同口径，环境 R9700 / ROCm / 150K。

⚠️ 引用规范：27B 的 Agent 成绩有两种口径，关闭思考 92.0%，开启思考 93.3%。只说「92%」会被误认为能力上限。

11.1 Agent 任务 150 题

配置	通过率	平均轮数	撞 8 轮	耗时
关闭思考	138/150 = 92.0%	2.8	10	690s
开启思考	140/150 = 93.3%	2.5	4	1572s

分类明细（关闭思考）：

类别	得分	通过率
MCP 调用 / 安全边界 / 数据库 CRUD / 综合任务 / 错误恢复	各 15/15	100%（五类）
数据库结构	14/15	93%
文件写入	13/15	87%
文件读取 / 文件搜索 / DSH 工具能力	各 12/15	80%
合计	138/150	92.0%

27B 的强项是文件写入 87%（9B 该项 80%）。弱项是文件读取 / 搜索 / DSH 工具各 80%——这三项 9B 分别是 100% / 100% / 93%，都明显更强。

11.2 六维基础能力 120 题：92%

维度	得分	通过率
七维思考	20/20	100%
记忆诚实	19/20	95%
身份认同 / Loop 纪律 / 检索诚实 / 工具认知	各 18/20	90%
合计	111/120	92%

六维优势集中在记忆诚实（95% vs 9B 70%）——「不编造」的能力：被问到不存在的历史记录时，它会明确说「我这边查不到」。这正是 27B 相对 9B 最大的差距。

六维上思考是负收益（92% → 88%）：① max_tokens 不足时正文被思考吃满；② 简单题（如 1+1）也展开七维，违反「简单题要克制」的判据。因此六维统一用关闭思考口径。

11.3 版本演进与速度

六维版本	总分	关键变化
初版	84%	工具认知仅 13/20
v2（本版）	92%	工具认知 13 → 18
v3（复跑）	92%	一致性验证通过

R9700 / ROCm / 150K，三题法（MTP 开启）：

场景	输出 token	耗时	tok/s
短问	2	6.108s	0.33（首 token 延迟主导，无参考意义）
中答	33	0.741s	44.56
长答	178	2.478s	71.82
稳态（中答+长答平均）	—	—	58.19

首 token 延迟约 6.1 秒（含 814 prompt token 处理）。稳态 58.19 与 MTP 定档基线（61.2）的差异来自测试协议不同。

与 9B 对比：27B 稳态 58.19 vs 9B 121.1，9B 快 2.08 倍；但 27B 六维高 6 点、记忆诚实高 25 点——能力与速度是明确取舍。

12. 许可证

本模型以 Apache License 2.0 分发，可免费商用。

权重上游组件（Qwen3.8-27B）同为 Apache-2.0；推理引擎为 MIT（见 10.1）。归属见 NOTICE，修改声明见 MODIFICATIONS.md，全文见 LICENSE。

13. 联系方式

HuggingFace：@chenyumo · GitHub：@chenyumo166
微博：@rimochen · 邮箱：263515@qq.com

特别鸣谢

本模型站在两个开源团队的工作之上：

感谢 Qwen 团队（阿里巴巴） —— Qwen3.8-27B 是本模型的预训练底座。底座的扎实程度决定了三值量化后还能剩多少能力；Apache-2.0 的开放许可让小团队也能在此基础上探索。
感谢 PrismML-Eng —— llama.cpp 的 prism 分支让 PTQ1_0 容器真正跑得起来。本文档所有实测数据都来自这条血统的 b10826。
感谢 ggml / llama.cpp 社区 —— MIT 许可下的本地推理地基。

我们与以上团队无隶属、赞助或背书关系，名称仅用于说明技术来源。若本模型对你有帮助，也请给这些上游项目一个 star。

上游许可声明 / Upstream License Notice

License: Apache License 2.0 — authoritative text: LICENSE. The weights are distributed under Apache-2.0 (upstream Qwen3.8-27B is Apache-2.0; MoziAier's own additions are likewise Apache-2.0). The inference engine (llama.cpp / Prism lineage) is MIT licensed and distributed separately. Attribution: NOTICE; modifications: MODIFICATIONS.md.

chenyumo/MoziAier-27B-TQ