JEVnovel 2 · 27B

面向 AIGC 文学创作的「八股文」检测模型：单句好坏判断 + 置信度，一次前向传播出结果。

🎯 背景与动机

LLM 在文学创作领域一直面临一个显著的问题。由于对编码、Agent 领域持续精进的训练，文学领域始终未受重视——语料的不平衡、RL 策略的倾向性，使得 AI 在文学创作输出上逐渐形成了一套「八股文」，即文学创作领域的局部最优。

八股文通常是概率上的最优，而不是可读性上的最优：

• 极度不自然，出现频率相当高，严重影响人类阅读体验；
• 表现形式多样——从高频形容词、高频修辞，到句式排列、分句断句；
• 不同 AI 各有不同的「八股」，且八股本身源自人类的正常描写，只是被 AI 不正当地滥用。

这导致基于正则表达式的识别方式困难重重：

• 大量漏判：无法处理结构性八股（例如 DeepSeek 常用的「不是……而是」句式）；
• 容易误杀：「湖」「石子」只是概念，但「湖中投入石子」却成了 Gemini 的八股——封杀「石子」会误伤大量正常描写。

为了让 AIGC 创作出更好的内容，社区需要一种有能力识别这些八股的、高泛化性的方法。JEVnovel 2 就是我们给出的答案。

🧠 方法

• 架构改造：选取部分 Qwen 系列模型，将输出结构改造为分类头——一次前向传播即可输出分类与置信度；强制模型对单句做判断，不考虑句间关系。
• 数据集：我们面向某个专注 AIGC 文学创作的大型社区搭建了数据收集公益网站，收集了大量人类标注的偏好数据。清洗后构成 2 万句单句样本数据集（训练 25,076 / 验证 4,199 / 测试 4,254）。
• 训练：
  • Qwen3.5 0.8B / 4B：LoRA 训练
  • Qwen3.8 27B：全参数 SFT

训练后的模型在单句好坏判断上涌现出相当高的能力：能有效识别八股、不自然的句子结构、AI 堆砌的描写等 AIGC 不良特征，同时不对人类文章、AIGC 良性文字造成大规模误伤。

📊 评测

评测设置

我们从数据集中构建了两类 bench：

同时统计 bad 召回率、bad 准确率、负类误报率等辅助判据。评分时各模型使用各自迭代出的判定阈值。Bench 中也加入了 LLM 的得分——环境与 JEVnovel 2 一致，仅对提示词做了完善（JEVnovel 2 不需要复杂提示词，直接平移至 LLM 会难以统一输出，并造成困惑）。

结果

辅助指标最优：bad 召回 gpt-6-sol（0.7934）｜bad 精确 jev-novel-2-27b-bf16（0.8978）｜负类误报最低 jev-novel-2-27b-bf16（0.0712）。

分析与讨论

为什么 LLM 普遍不佳（甚至低于随机基线）？

我们推测这与 LLM 并未针对文学判断任务优化有关——它们难以区分一个句子从人类角度看正常与否。更进一步，AI 八股本就是语料不均、RL 偏好等训练过程的综合产物，LLM 甚至可能认为 AI 八股是「优秀的描写」。而 JEVnovel 2 基于人类偏好数据训练归纳，不存在这种分布偏移，因此准确性大幅胜出。

速度也是完全胜利。 JEVnovel 2 不需要自回归生成，一次前向传播即可输出结果，在高并行、大输入场景下对比自回归模型有巨大优势。

分数不等于一切：三档模型怎么选？

三档 JEV 模型分数差距不大，但我们发现判断存在长尾效应：

• 人类高共识的八股（「所有人看过之后都觉得十分差劲」的那类）对模型并不困难——甚至部分过拟合的模型也能保持较高识别率，这解释了为何 main-bench 上所有 JEVnovel 系列分数都不低；
• 但对于模棱两可的句子（连人类也拿不准是「平庸」还是「有点毛病」），参数量的优势就体现出来了——从使用体验上，27B 显著优于小参数模型（这是社区使用者的真实评价，属于 bench 难以量化的体验层面）。

🗺️ 未来计划

• 持续提升对不同 AI 八股的识别能力，扩展数据集广度；
• 细分判断档位：力争识别出「哪里有问题」与「有什么问题」，进一步提升模型输出的指导价值。

---

📐 模型规格

🚀 用法

⚠️ 自定义架构，不能直接用 AutoModel 加载，请使用本仓库的 infer.py。

安装

python -m pip install torch --index-url https://download.pytorch.org/whl/cu128
python -m pip install --no-build-isolation -r requirements.txt

推理

# 单句
python infer.py --model-dir . --text "雨停后，她推开窗，看见屋檐还在滴水。"

# 批量（JSONL）
python infer.py --model-dir . --input input.jsonl --output predictions.jsonl --batch-size 1

输入：JSONL 每行包含 sentence（可选 id）。

输出字段：

加 --ordinal 额外返回五档分布与 expected_grade。

📄 许可

以 Apache-2.0 发布，承继基座模型（Qwen3.5 / Qwen3.8）的许可证，见 LICENSE。