Dongfangshuo-Qwen3.8-Flash-Next-NSFW

基于 Qwen3.8-Flash-Next（177B-A12B MoE + Vision）的中文文学创作与角色扮演微调模型。

⚡ 省流总结，用前必看！

• **✅ 优点 **：
  1. 文风优化：解决了原版 Qwen 菜名与超短句。
  2. R18直出：解决了原版喜欢用“隔衣/外部摩擦”等间接词汇规避R18内容。
  3. 优化逻辑：解决了原版长程跑团中常见的“状态突变、拼接动作冲突（如三只手穿帮）、人设串味”等问题。
• **⚠️ 缺点 **：
  1. 速度降低约 10%：因主干采用高精度 Q8_0 融合，解码速度较原版降低约 10% 。
  2. 偶发 <think> 漏写或未闭合：在逼近 100K 极限长上下文时，偶有省略 <think> 或思考标签未闭合的情况。
  3. 超长上下文（64K~100K+）文风退化：超长上下文下两模型文风均会出现一定bug。原版会暴露 Qwen 典型通病（报菜名+超短句复读），本模型则会开始出现部分长难句叠加（可通过下方推荐采样参数大幅缓解）。综合来看，超长上下文下，本模型的文学质感与剧情完成度明显优于原版。

• 🔥 注意事项（必看！不看就可能出bug！）：
  1. 必须开启思考链（CoT / reasoning_effort: "medium"），并将思考预算设为 reasoning_budget_tokens: 2048（切勿关闭 CoT 或设为过小的 300，否则会导致长文大纲与跑团状态验算被腰斩）。
  2. 必须设置以下采样参数：penalty_last_n: 1024、presence_penalty: 0.20、min_p: 0.06（可彻底杜绝长文后半段长难句爆炸、复读、中英夹杂与跑团逻辑错乱）。

一、版本一览

---

二、⚡ 最佳推荐推理与采样配置（必读）

关键注意事项：

1. 必须开启思考链（CoT / reasoning_effort: "medium"），并将思考预算设为 reasoning_budget_tokens: 2048（切勿关闭 CoT 或设为过小的 300，否则会导致长文大纲与跑团状态验算被腰斩）。
2. 必须设置以下采样参数：penalty_last_n: 1024、presence_penalty: 0.20、min_p: 0.06（可彻底杜绝长文后半段长难句爆炸、复读、中英夹杂与跑团逻辑错乱）。

1. 前端客户端（SillyTavern 酒馆 / OpenWebUI / API）推荐参数

2. Strata 服务端推荐配置（.json & .shared-settings.json）

在 strata-dongfangshuo-iq3_xxs.json 中配置（同时请同步更新同名的 .shared-settings.json 防止覆盖）：

{
  "reasoning_effort": "medium",
  "reasoning_budget_tokens": 2048,
  "reasoning_loop_recovery": "recover",
  "sampling": {
    "temperature": 0.68,
    "top_p": 0.9,
    "top_k": 40,
    "min_p": 0.06,
    "repetition_penalty": 1.03,
    "presence_penalty": 0.2,
    "penalty_last_n": 1024
  }
}

---

三、📊 双盲实测对比（原版 NEXT_FLASH [模型 X] vs. 微调版 NEXT_FLASH_NSFW [模型 Y]）

1. 五大测试集综合盲测总表

2. 长程跑团与小说文风六维深度盲测评分表

---

四、架构说明（BF16 vs. GGUF）

• 训练基模与 BF16（根目录 131 分片）：基于 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated（v1）微调（Attention / Mamba2 LoRA r=64, α=128 + shared_expert 全参训练）。适合二次微调或关闭 <think> 推理。
• GGUF 量化版（IQ2_XS / IQ3_XXS / UD-Q4_K_XL）：采用 huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF（v2）量化专家层与 Q8_0 骨干，融合微调 step_290 LoRA 并作拒绝零空间正交保持。开/关 <think> 思考链均无拒绝。

---

五、下载与运行

1. 下载（以推荐档位 IQ3_XXS 为例）

huggingface-cli download dongfangshuo/Dongfangshuo-Qwen3.8-Flash-Next-NSFW \
  mmproj-Qwen3.8-Flash-Next-BF16.gguf \
  IQ3_XXS/Dongfangshuo-Qwen3.8-Flash-Next-NSFW-IQ3_XXS-00001-of-00002.gguf \
  IQ3_XXS/Dongfangshuo-Qwen3.8-Flash-Next-NSFW-IQ3_XXS-00002-of-00002.gguf \
  --local-dir ./Dongfangshuo-Flash-Next

2. Strata 运行（适用于 IQ2_XS / IQ3_XXS / UD-Q4_K_XL）

python tools/iq_pack.py \
  --gguf ./Dongfangshuo-Flash-Next/IQ3_XXS/Dongfangshuo-Qwen3.8-Flash-Next-NSFW-IQ3_XXS-00001-of-00002.gguf \
  --out ./data/packs/dongfangshuo-iq3_xxs \
  --compat-bf16 --experts-bin

python serve/server.py --engine strata --config strata-dongfangshuo-iq3_xxs.json --port 8080

3. llama.cpp 运行（适用于 UD-Q4_K_XL）

llama-server \
  -m ./Dongfangshuo-Flash-Next/UD-Q4_K_XL/Dongfangshuo-Qwen3.8-Flash-Next-NSFW-UD-Q4_K_XL-00001-of-00004.gguf \
  --mmproj ./Dongfangshuo-Flash-Next/mmproj-Qwen3.8-Flash-Next-BF16.gguf \
  -c 65536 --port 8080 --temp 0.68 --top-p 0.90 --top-k 40 --min-p 0.06 --repeat-penalty 1.03 --repeat-last-n 1024 --presence-penalty 0.20