English summary: This is an Apple Silicon (MLX/MTPLX) quantization of
orcarouter/Qwen3.8-Flash-Next-Uncensored —
OrcaRouter's abliterated (refusal-removed) BF16 build of Qwen's Qwen3.8-Flash-Next (125B-A6B MoE with a native MTP
speculative-decoding head). Quantization was performed locally with MTPLX Forge using the official
flash-next-optimized-speed recipe (4-bit body + 8-bit sparse-attention projections), the same recipe as
Youssofal/Qwen3.8-Flash-Next-MTPLX-Optimized-Speed.
The native MTP head is preserved and verified: 2.07x faster than plain decoding in Forge verification on an M5 Max 128 GB.
Requires MTPLX on Apple Silicon (96–128 GB+ unified memory).
这是 OrcaRouter 去审查权重的 MTPLX 量化版。具体来说:
flash-next-optimized-speed —— 与
Youssofal 官方包完全相同的配方| 组件 | 精度 | 说明 |
|---|---|---|
| 模型主体(专家、投影等) | 4-bit affine, group 32 | 动态混合精度 |
| 稀疏注意力投影(QSA) | 8-bit, group 64 | 保质量的关键部位 |
| MTP 投机解码头 | 4-bit, group 64 | 原生头完整保留 |
| n-gram 查词表 | 4-bit, group 32(29.8 GiB) | 运行时从 SSD 流式读取,不占内存 |
| 视觉塔 | 完整保留 | 333 个张量 |
| lm_head / embed_tokens | 8-bit, group 64 |
| 模式 | 速度 | 倍率 |
|---|---|---|
| 普通自回归解码(depth 0) | 41.3 tok/s | 1.0x |
| MTP 投机解码(depth 3) | 85.7 tok/s | 2.07x |
验证结论 mtp_depth_wins;MTP 契约经 32 组候选实测校准,保留家族默认契约。
| 场景 | 本包 | 官方包(对照) | 说明 |
|---|---|---|---|
| 编程任务(Python 缓存类 + 单元测试) | 52–71 tok/s | 85 tok/s | 草稿命中率约 92%/86%/81%,与官方包几乎一致;校验路径略慢于官方盖章版 |
| 中文长文写作(2500 字文章) | 26–34 tok/s | 32 tok/s | 创意写作不可预测性高,命中率天然偏低(两包表现一致);降低温度可明显提速 |
| 首 token 延迟 | 0.22–0.29 s | 0.22 s | 小提示词下基本瞬时 |
| 模式 | 速度 | 相对裸解码 |
|---|---|---|
| AR(无投机解码) | 42.0 tok/s | 1.00x |
| D1 | 56.0 tok/s | 1.33x |
| D2 | 40.8 tok/s | 0.97x(比裸解码还慢) |
| D3 | 66.4 tok/s | 1.58x,本机最优 |
结论:编程 / 结构化输出场景提速显著(相对裸解码 1.3–2.1 倍);高温创意写作场景建议调低 temperature (如 0.6–0.7)以提高草稿命中率。
# 安装 MTPLX(需要 Apple Silicon + macOS 14+)
brew install youssofal/mtplx/mtplx
# 拉取并运行本模型
mtplx pull NeosQ/Qwen3.8-Flash-Next-Uncensored-MTPLX-Optimized-Speed
mtplx serve --model NeosQ/Qwen3.8-Flash-Next-Uncensored-MTPLX-Optimized-Speed
服务启动后在 http://127.0.0.1:8000 提供 OpenAI / Anthropic 兼容 API,可直接接 Claude Code、Cline、
OpenCode 等客户端。也可以直接使用 MTPLX 桌面应用,在模型列表中选择即可。
本模型的上游权重经过了去审查处理(abliteration),其安全对齐已被大幅移除:
ngram-table.safetensors 32 GBmodel-00012-of-00020.safetensors 4.3 GBmodel-00006-of-00020.safetensors 4.3 GBmodel-00014-of-00020.safetensors 4.3 GBmodel-00004-of-00020.safetensors 4.3 GBmodel-00010-of-00020.safetensors 4.3 GBmodel-00016-of-00020.safetensors 4.3 GBmodel-00018-of-00020.safetensors 4.3 GBmodel-00008-of-00020.safetensors 4.3 GBmodel-00002-of-00020.safetensors 4.3 GBmodel-00001-of-00020.safetensors 4.1 GBmodel-00011-of-00020.safetensors 4.0 GBmodel-00019-of-00020.safetensors 4.0 GBmodel-00003-of-00020.safetensors 4.0 GBmodel-00017-of-00020.safetensors 4.0 GBmodel-00009-of-00020.safetensors 4.0 GBmodel-00005-of-00020.safetensors 4.0 GBmodel-00015-of-00020.safetensors 4.0 GBmodel-00007-of-00020.safetensors 4.0 GBmodel-00013-of-00020.safetensors 4.0 GBmodel-00020-of-00020.safetensors 2.3 GBmodel-vision.safetensors 898 MB