BypBERT-tiny-zh-v2
全词遮盖（WWM）预训练的中文 Tiny BERT 模型
模型信息
策略说明
本模型采用 WWM（全词遮盖） 策略：使用 jieba 分词识别中文词边界，以词为单位进行遮盖——一个词的所有 WordPiece token 同时遮盖或同时保留。
原句：我喜欢吃苹果
分词：我 / 喜欢 / 吃 / 苹果
遮盖：我 喜欢 吃 [MASK][MASK] ← "苹果"两个字同时遮盖
与 v1（MLM 随机子词遮盖）相比，WWM 在每个对比检查点的 loss 均更低（差距约 0.05-0.10），表明全词遮盖策略在 tiny 规模上具有学习优势。
适用场景
不适用场景
快速使用
from transformers import AutoModelForMaskedLM, AutoTokenizer
model = AutoModelForMaskedLM.from_pretrained("eebyp/BypBERT-tiny-zh-v2")
tokenizer = AutoTokenizer.from_pretrained("eebyp/BypBERT-tiny-zh-v2")
inputs = tokenizer("我喜欢吃[MASK]", return_tensors="pt")
outputs = model(**inputs)
predicted_token_id = outputs.logits[0, 3].argmax().item()
print(tokenizer.decode([predicted_token_id])) # 预测被遮盖的词
系列模型
局限性
- Tiny 规模（8.7M）牺牲精度换取速度和资源效率
- 绝对性能低于 base 规模模型（110M）
- 仅在中文维基百科语料上预训练，未做领域自适应
引用
@misc{bai2026bypbert,
title={Tiny-Scale Chinese BERT Pretraining: A Controlled Comparison of MLM, WWM, and MacBERT Strategies},
author={Bai, Yiping},
year={2026},
publisher={Hugging Face},
url={https://huggingface.co/eebyp/BypBERT-tiny-zh-v2}
}
👤 作者
