🧠 BypBERT-tiny-zh-v1

轻量级中文 BERT 预训练模型（8.7M 参数），基于中文维基百科 129 万句语料，采用掩码语言模型（MLM）策略训练。

---

📋 模型概览

---

🎯 适用场景

✅ 推荐使用

⚠️ 不推荐直接使用

• 知识问答/填空题：MLM 命中率 10%，事实记忆能力有限
• 生成式任务：Encoder-only 架构不支持文本生成
• 长文档建模：最大序列长度 128 tokens

---

📊 评估结果

评估框架

本模型采用五维度评估框架，从不同侧面全面检验模型能力：

为什么需要多维度？ 单一指标只能反映模型的一个侧面。困惑度低不代表能精确填空，MLM 命中率高也不代表语言理解好。多维度交叉验证才能全面判断模型"学到了什么"。

训练语料覆盖

训练语料 corpus.txt 共 1,287,972 行，覆盖中文维基百科多个主题领域：

核心指标

📈 困惑度（Perplexity）

评估使用 8 段直接取自训练语料的文本，覆盖农业、政治、音乐、语言学、历史、野生动物、科幻、体育等主题。困惑度 2.05 属于优秀水平（< 100 为优秀）。

🎯 MLM 遮空预测（Top-5 命中率）

⚠️ 重要澄清：MLM 命中率低 ≠ 模型没用

MLM 填空测试要求模型精确回忆具体事实（如"德山""TCP""罗常培"等专有名词），而下游任务（分类、NER、句向量）需要的是语言理解能力——两者是完全不同的能力维度。

模型虽然填不对空，但预测并非随机，已学会：

• ✅ 词性判断（知道 [MASK] 位置应填什么词性）
• ✅ 语义搭配（知道"征"后接名词，"第"后接数字）
• ✅ 语法结构（知道"的""性"等结构词的用法）
• ❌ 具体事实（不知道"征银""第七位""德山"等低频专有名词）

下游任务依赖的是前三项，而非最后一项。

📝 语法判断

模型能正确区分通顺句与词序打乱/完全倒序的不通顺句，说明已学会中文语序规则（主-谓-宾结构）。

🔍 语义区分

同类主题句子对的 [CLS] 向量余弦相似度 consistently 高于异类主题，证明模型能捕捉主题语义信息。

🔄 上下文敏感性

"打"字在三个不同语境（打电话 / 打篮球 / 打字）中产生显著不同的向量表示，证明模型具备上下文相关的词表示能力——这正是 BERT 相对于传统词嵌入（如 Word2Vec）的核心优势。

训练进程

Quick Test (10K 句)     → 困惑度 868.90
Checkpoint-76000 (75%)  → 困惑度   3.50  （↓ 248 倍，质变阶段）
Final (100%)            → 困惑度   2.05  （↓ 1.7 倍，精调阶段）

---

快速使用

加载模型

from transformers import AutoModelForMaskedLM, AutoTokenizer

model = AutoModelForMaskedLM.from_pretrained("eebyp/BypBERT-tiny-zh-v1")
tokenizer = AutoTokenizer.from_pretrained("eebyp/BypBERT-tiny-zh-v1")

掩码语言模型（填空）

from transformers import pipeline

fill_mask = pipeline("fill-mask", model=model, tokenizer=tokenizer)
results = fill_mask("农业属于第[MASK]级产业。")
for r in results:
    print(f"{r['token_str']}: {r['score']:.4f}")
# 输出: 一: 0.4394, 二: 0.3070, 三: 0.1294 ...

提取句向量

import torch

inputs = tokenizer("今天天气很好", return_tensors="pt")
outputs = model(**inputs, output_hidden_states=True)
cls_embedding = outputs.hidden_states[-1][0, 0, :]  # [CLS] 向量，256 维
print(cls_embedding.shape)  # torch.Size([256])

微调文本分类器

from transformers import BertForSequenceClassification

classifier = BertForSequenceClassification.from_pretrained(
    "eebyp/BypBERT-tiny-zh-v1",
    num_labels=10  # 根据你的任务调整
)

---

️ 局限性

---

🔮 后续版本

---

📖 引用

如果在研究中使用本模型，请引用：

@misc{bai2026bypbert,
  title={BypBERT: A Series of Lightweight Chinese BERT Models},
  author={Bai, Yiping},
  year={2026},
  publisher={Hugging Face},
  howpublished={\url{https://huggingface.co/eebyp/BypBERT-tiny-zh-v1}}
}

---

👤 作者

• Yiping Bai（白毅平）
• ORCID：0009-0004-2842-8241
• Website：byp.com.cn
• Hugging Face：eebyp