qwen3.5-0.8b_news_extractor_v4

Qwen3.5-0.8B 微调出的科技新闻「标题/摘要」提取器（Q4_K_M GGUF，约 517MB）。完整的项目背景、数据集、训练笔记和方向分析见 GitHub：wolfpan/qwen_extractor。

上一版 qwen3.5_0.8b_news_extractor_v3.gguf 仍保留在本仓库，本文档描述 v4。

它会干什么

输入一篇清洗过的科技新闻正文，输出只有 2 个键的 JSON：

{"新闻标题":"15-30字核心事件标题","核心摘要":"120字内单段摘要，保留精确数字、单位、日期"}

正文是垃圾（空 / 404 / 付费墙 / 纯导航噪音）时输出 {"新闻标题":"SKIP","核心摘要":"SKIP"}，让管线跳过。

提示词与 n8n 生产节点逐字一致，system 提示词与 user 输入格式见 GitHub 仓库 data/dataset_v4_train.json 的 instruction / input 字段。

v4 相对 v3 改了什么

• 数据飞轮转完第一圈：训练数据从 112 条滚动到 167 条（150 train / 17 val），--live 在线全量拉生产归档库构建，清洗正则与线上逐字对齐（v3 的「输出纪律」失败主攻方向）。
• 验收 17 条验证集 15/17 PASS：v3 的三类失败（SKIP 空输出、Extra data、JSON 骨架损坏）全部消失——复盘确认它们是 repeat_penalty=1.2 惩罚 ChatML 骨架 token 造成的解码假象，模型本身无此问题。
• 剩余 2 条 FAIL 均为摘要超长（201 字 / 254 字）：金标准教师数据本身带超长尾部（train 中 >180 字 9 条），模型忠实学到了这个分布，属数据侧遗留而非能力问题。

用法（Ollama）

⚠️ 这个 GGUF 没有内嵌对话模板，必须手写 Modelfile，TEMPLATE 与训练时的 ChatML 逐字一致：

FROM ./qwen3.5_0.8b_news_extractor_v4.gguf
TEMPLATE """<|im_start|>system
{{ .System }}<|im_end|>
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""
PARAMETER temperature 0.2
PARAMETER num_ctx 4096
PARAMETER num_predict 500
PARAMETER repeat_penalty 1.05

⚠️ repeat_penalty 建议从 v3 推荐的 1.2 降到 1.0–1.05：1.2 会惩罚 prompt 骨架 token，在 llama.cpp / Ollama 上可能诱发 JSON 骨架损坏或 SKIP 误判（format:json 只挡得住 Extra data）。

训练配方

Colab T4 + Unsloth + LoRA（r=16 全线性层，fp32 不量化——保护数字敏感度），max_seq 4096，response-only loss，eval_loss 择优加载，导出 Q4_K_M。

效果与局限

离线验收 15/17 PASS，模型可部署。样本量仍小（167 条金标准），长尾版式泛化有限——项目采用数据飞轮每周滚动扩充训练集，详见 GitHub 仓库。