Chinese Decision 4B

中文概率决策模型：一次前向，直接返回候选项概率。

A Chinese decision model fine-tuned from Qwen3.5-4B with LoRA and CE + RLCD. It answers yes/no, single-choice and ordinal questions across general, medical, legal and finance tasks by reading the final-position logits of the candidate letters, without generating text. On the full CJ-Bench (307,900 decisions) it reaches 85.97% accuracy, an 84.00% medical/legal/finance average and 1.00% ECE, the highest accuracy in the Chinese Decision family. This package contains merged BF16 weights and a validation-fitted temperature.

代码 · 模型总览 · Decision Studio · 训练数据 · 测试集

0.8B BF16 · 0.8B Q8_0 · 2B BF16 · 2B Q8_0 · 4B BF16 · 4B Q8_0

相关资源

简介

Chinese Decision 是一个面向中文场景的轻量级决策模型。它不聊天、不生成文本：给定上下文和一组固定候选项，一次前向直接返回每个候选项的概率，适合意图识别、工单分流、内容审核、数据打标、给模型输出打分、智能体动作选择等"有限选项判断"任务。

• 一次前向，零输出 token：读取最后位置上候选字母 A–Z 的 logits，softmax 后即为概率。
• 三种题型：noul（是/否）、choice（单选）、score（有序等级，返回期望分值）。
• 单一模型覆盖四个领域：通用、医疗、法律、金融混合训练。
• 系列中准确率最高：CJ-Bench 全量整体 ACC 85.97%，医疗 / 法律 / 金融平均 84.00%，比 chinese-decision-2b 分别高 1.86 / 5.76 个百分点；4 个领域 × 3 种题型共 12 个组合的准确率全部高于 0.8B 与 2B。
• 高于论文报告的所有模型：通用、医疗、法律、金融四个领域的准确率均高于 Chinese-Jev 与闭源 Jev 的作者报告值，四个领域的 ECE 也都更低。
• 概率经过校准：附带在独立校准划分上拟合的温度，整体 ECE 1.00%。

模型信息

更新于 2026-10-21。BF16 合并模型已完成 CJ-Bench 全量评测、保存/重载一致性检查和实际 HTTP 三题型/双路由验证；由本模型直接转换的 Q8_0 GGUF 也已完成全量对照，见 4B Q8_0 模型卡。

训练数据版本 a3963a61f71e00051a80721e587d720d8926e8e7。最终 adapter SHA256 为 17849c00344d40476dd4ddba6b8ccb36b3ea24940ce97d6ec6aa8e2d94bc7538；合并权重 SHA256 为 5abd1c94bc8ed883e1e7cec554b1cbe4b26ade4255b7c9ffc71c8cd152da77c0。

文件说明

快速开始

下载

hf download quincyqiang/chinese-decision-4b --local-dir models/chinese-decision-4b
# 或 ModelScope
modelscope download --model quincyqiang/chinese-decision-4b --local_dir models/chinese-decision-4b

GPU HTTP 服务

在 代码仓库 根目录安装推理依赖，模型目录放在 models/chinese-decision-4b：

pip install -e ".[torch]"
CUDA_VISIBLE_DEVICES=0 OMP_NUM_THREADS=6 TOKENIZERS_PARALLELISM=false \
  python scripts/serve_gpu.py --base models/chinese-decision-4b \
  --host 127.0.0.1 --port 8789 --token-budget 16384 --max-batch 32

BF16 权重约 8.41 GB；CJ-Bench 全量批量评测（每批最多 65,536 tokens）时单卡峰值显存为 17.9 GB，实际占用取决于 --token-budget 与 --max-batch。测试服务：

curl http://127.0.0.1:8789/health
curl http://127.0.0.1:8789/v1/systemone -H 'Content-Type: application/json' --data-binary @examples/request.json
python scripts/verify_export.py --url http://127.0.0.1:8789

health 应显示 model=chinese-decision-4b、step=5446、calibrated=true、temperature=1.024757981300354。

Python 直接读取候选概率

以下示例仅需 PyTorch 和 Transformers，不需要训练库或文本生成。项目实测环境为 torch 2.8.0、transformers 5 系列；安装约束见 pyproject.toml。固定候选顺序并读取 decision_config.json 的温度，不使用通用 text-generation pipeline。

import json

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

path = "models/chinese-decision-4b"
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForCausalLM.from_pretrained(path, dtype=torch.bfloat16, attn_implementation="sdpa").to("cuda").eval()
config = json.load(open(f"{path}/decision_config.json", encoding="utf-8"))
temperature, max_length = config["temperature"], config["max_length"]

LETTERS = "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
letter_ids = [tokenizer.encode(c, add_special_tokens=False)[0] for c in LETTERS]


def text(value):
    return value if isinstance(value, str) else json.dumps(value, ensure_ascii=False, separators=(",", ":"))


def options_for(question):
    kind, criteria = question["type"], question.get("criteria")
    if kind == "choice":
        return [(str(k), text(v)) for k, v in criteria.items()]
    if kind == "score":
        return [(str(i), text(v)) for i, v in enumerate(criteria)]
    criteria = criteria or {}
    return [("false", text(criteria.get("false", "否"))), ("true", text(criteria.get("true", "是")))]


def build_prompt(state, instructions, options):
    content = ("待判断的上下文：\n" + text(state)
               + "\n\n问题：\n" + text(instructions)
               + "\n\n候选项：\n" + "\n".join(f"{LETTERS[i]}: {k} — {v}" for i, (k, v) in enumerate(options))
               + "\n只返回候选项对应的字母。")
    return tokenizer.apply_chat_template([{"role": "user", "content": content}], tokenize=False,
                                         add_generation_prompt=True, enable_thinking=False)


@torch.inference_mode()
def decide(state, question):
    options = options_for(question)
    ids = tokenizer.encode(build_prompt(state, question["instructions"], options), add_special_tokens=False)
    if len(ids) > max_length:
        raise ValueError(f"input is {len(ids)} tokens; the limit is {max_length}")
    logits = model(torch.tensor([ids], device=model.device), logits_to_keep=1, use_cache=False).logits
    probs = (logits[0, -1, letter_ids[:len(options)]].float() / temperature).softmax(-1).tolist()
    k, best = len(probs), max(range(len(probs)), key=probs.__getitem__)
    answer = {"probabilities": {key: round(p, 4) for (key, _), p in zip(options, probs)},
              "confidence": round((k * probs[best] - 1) / (k - 1), 4)}
    if question["type"] == "noul":
        answer["noul"] = round(probs[1], 4)
    elif question["type"] == "choice":
        answer["choice"] = options[best][0]
    else:
        answer["score"] = round(sum(i * p for i, p in enumerate(probs)), 4)
    return answer


state = "客户留言：付款后一直没有收到发票，我已经催了三次，今天必须拿到。"
questions = {
    "urgent": {"type": "noul", "instructions": "客户是否表达了紧迫性？"},
    "department": {"type": "choice", "instructions": "应该由哪个部门处理？",
                   "criteria": {"billing": "支付、发票及退款", "technical": "故障和系统问题", "sales": "购买咨询与升级"}},
    "frustration": {"type": "score", "instructions": "客户有多不满？", "criteria": ["平静", "不满", "非常愤怒"]},
}
for name, question in questions.items():
    print(name, decide(state, question))

导出验证时，上述三题在 HTTP 服务上的结果为：紧迫性 true 0.949，部门 billing 0.986，不满程度期望值 1.741（"非常愤怒" 0.759）。

每个请求最多 64 个问题，每题 2–26 个候选（类别更多时用 /v1/tournament，示例 examples/tournament.json 有 41 个客服意图），最长 16,384 tokens；超长或不合法输入返回 422，不静默截断。score 输出从 0 开始的等级期望值，不是最大概率等级；confidence = (K*p_max-1)/(K-1) 衡量分布尖锐程度，不等于经验准确率。

CJ-Bench 全量结果

CJ-Bench 全量为 307,900 条（304,822 条硬标签、3,078 条软标签），通用/医疗/法律/金融分别为 100,000 / 200,000 / 4,300 / 3,600 条。全部保留原始候选顺序，无过滤、无截断。ACC/ECE 仅计硬标签，ECE 使用 15 个等宽分箱；分布 NLL 与 Brier 包含软标签；Score MAE 覆盖 38,746 条评分题，计算预测期望等级与目标期望等级的绝对差。

整体 micro 按硬标签样本数加权，四领域 macro 是四个领域的等权平均，专业平均仅对医疗、法律、金融等权。不同量不能互换，整体 ECE 也不是领域 ECE 的平均。选模和温度拟合只使用验证数据，未使用 CJ-Bench 标签。

下表均为已发布的正式权重（LoRA 已合并，使用默认温度）；本仓库为 chinese-decision-4b，chinese-decision-4b-gguf 由它直接转换。加粗表示 4B 相对同格式 2B 提升的指标。

关于温度 T：概率按 p = softmax(z / T) 计算，z 为候选字母的 logits。T = 1 表示直接对 logits 做 softmax、不做温度校准。发布权重附带在独立验证划分上拟合的温度（0.8B 为 1.108，2B 为 1.075，4B 为 1.025），只调整概率的尖锐程度，不改变选出的答案。

相对 chinese-decision-2b，本模型 Micro +1.86、Macro +4.75、专业平均 +5.76 个百分点，NLL / Brier / Score MAE 分别下降 11.0% / 10.5% / 6.9%；整体 ECE 较高（1.00% vs 0.64%）。4B 与 2B 使用相同的训练数据、训练目标（CE + RLCD）、全局 batch、学习率和 LoRA rank，主要差别是基础模型规模。

分领域与分题型

本模型各领域的完整指标（"未校准 ECE"一列为合并前最终 checkpoint 在 T = 1 时的结果，用于说明温度校准的作用）：

领域 × 题型准确率（%）

12 个组合全部高于 chinese-decision-0.8b 与 chinese-decision-2b。2B 相对 0.8B 退步的两项在 4B 上都已超过 0.8B：法律判断（noul）88.87%（0.8B 85.60%、2B 82.07%），金融评分（score）88.17%（0.8B 82.83%、2B 80.33%）。提升最大的是法律 score（比 2B 高 12.16 个百分点）与金融 choice（高 9.58）。

与其他决策模型对比

下表的外部模型数字为 Chinese-Jev 原文 Table 1 / Table 2 的作者报告值，本项目没有重跑这些模型；本项目行为发布权重。加粗为每列最优。

通用领域（Table 1）

专业领域（Table 2）

本模型相对 Chinese-Jev（General + 三个 Specialist）在通用 / 医疗 / 法律 / 金融分别高 6.49 / 3.54 / 17.11 / 18.89 个百分点，专业平均高 13.18；相对闭源 Jev，专业平均高 6.99，金融也高 5.22。四个领域的 ECE 都低于论文中的所有模型。Chinese-Jev General 加上医疗、法律和金融 Specialist 是 四个分别训练的模型；本项目每个尺寸各使用一个模型覆盖四领域。Jev 为闭源 API。论文使用 H200，本地使用 A800；延迟口径和硬件不同，不做等价排名。

训练过程中各 checkpoint 的评测结果见 训练过程 checkpoint 评测。

Q8_0 版本

由本模型直接转换的 4B Q8_0 GGUF（4.48 GB，llama.cpp，CPU 可运行，不需要 PyTorch）沿用同一温度，在 CJ-Bench 全部 307,900 条上与本模型逐条配对：整体 ACC 85.9908%（本模型 85.9731%，净多对 54 条），首选项一致率 99.19%，ECE 0.9568%（本模型 0.9970%），NLL、Brier 略降。全量在 llama.cpp CUDA 上测得，CPU 只验证了接口与有限输入，细节见 4B Q8_0 模型卡。

校准验证与测试的区别

温度只在母记录分组后的验证划分 0（1,993 条硬标签）上拟合，选模使用划分 1–4。后者固定 1,200 条验证数据上：

4B 未校准时已接近校准，拟合温度只有 1.025：选模验证集上 NLL 与 Brier 略降，ECE 略升 0.03 个百分点；在 CJ-Bench 上，整体 ECE 从 1.26% 降到 1.00%，三种题型的 ECE 都下降，但法律（1.65% → 2.02%）和金融（1.40% → 1.65%）的 ECE 升高。验证 ECE 为 10 bins，不能混入使用 15 bins 的 CJ-Bench 测试表。全局温度不能保证所有领域、来源或题型都改善。

推理效率

同一组 25 条 CJ-Bench 输入（92–6,521 tokens，其中 16 条短输入为 92–255 tokens），每条预热后测 3 次，只统计已分词输入的前向与概率计算，不含分词、HTTP 和网络：

A800 80GB PCIe 与 Xeon Gold 5318Y 共享服务器，结果仅适用于该次测量。进程内存为 RSS，不是 GPU 显存。同口径下 2B 的 Transformers BF16 / GPU 全部输入 p50 为 44.77 ms，Q8_0 / CPU 为 817.99 ms：4B 的准确率更高，但单条延迟和内存也更高。Windows 台式机上的 CPU 测量见 4B Q8_0 模型卡。

训练细节

训练数据构成与 0.8B、2B 相同：通用 10,000,000 条、医疗 3,000,000 条、法律与金融各 24,000 条。法律与金融合计不到总量的 0.4%。

局限性

• 商品分类来源明显偏弱：通用领域的 mep3m_product_catalog（3,151 条）ACC 为 64.58%，低于 chinese-decision-2b 的 70.96%，来源 ECE 高达 22.64%；该来源在训练过程中持续波动。整体指标不能代替来源诊断。
• 校准不如更小的尺寸：整体 ECE 1.00%，高于 2B 的 0.64% 和 0.8B 的 0.27%；通用领域 ECE 2.91%，也高于 2B（1.93%）和 0.8B（1.68%）。全局温度使法律、金融的 ECE 升高。
• score 仍是最弱题型：准确率 60.43%，通用领域评分题只有 58.35%。
• 成本更高：权重 8.41 GB，约为 2B 的 2.2 倍；GPU 单条 p50 约 60 ms，CPU Q8_0 约 2 秒。对延迟、内存敏感的场景请先对比 2B 或 0.8B。
• confidence 不是准确率：它只反映分布的尖锐程度。若要按阈值自动执行，请先在自己的数据上验证校准效果。
• 标签含义来自上游任务：例如医疗匹配类标签表示原任务中的匹配关系，并不代表医学正确性。请勿将模型输出作为医疗、法律或金融决策的唯一依据。
• 不用于聊天或开放式生成，仅针对中文固定候选任务训练；单题输入不超过 16,384 tokens。

原始报告：reports/release-4b-5446-20261021（summary.json、evaluation_analysis.json、merged-calibrated/full.json）。数据 manifest SHA256 为 461bb692676e8c01bbc89a5478a6cda9e5d0096afd2c82919d73f45a018ea351。

归属、许可与引用

模型权重保留基础 Qwen3.5-4B 的 Apache-2.0 LICENSE。项目代码以 MIT 为主，RLCD 改编部分保留 Apache-2.0；原文与声明见 LICENSES/ 和 THIRD_PARTY_NOTICES.md。数据许可按来源分别适用（部分来源为非商业许可），模型交付不授予数据再分发权利。

方法参考 hmm，RLCD 与数据参考 Chinese-Jev。本项目没有复现 Microsoft Decision、Jev 或 Chinese-Jev 的训练过程。使用数据或基线时请同时引用 Chinese-Jev 论文。

@misc{chinese-decision-2026,
  title = {Chinese Decision: A Lightweight Chinese Probabilistic Decision Model},
  author = {yanqiangmiffy},
  year = {2026},
  howpublished = {\url{https://github.com/yanqiangmiffy/chinese-decision}}
}