OLMo3-190M-zh-full

为零基础 AI 大模型研发训练营（llm001）L04 Full 模型（190M 参数，完整 1 epoch，13040 步）。

模型配置

• hidden_size: 768, num_layers: 12, num_heads: 12, intermediate_size: 3072
• vocab_size: 48000, sliding_window: 4096

训练配置

• 数据：cmz1024/llm101-olmo3-zh-demo-data（6.37GB / 约 34 亿 tokens）
• 训练：H100, 完整 1 epoch（13040 步，34 亿 tokens 吃满一遍），有效 batch=16×8=128, lr=5e-4, warmup 0.02, cosine, bf16
• 结果：eval_loss 3.8203（train loss 3.6309，PPL ~46）

用法

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("lijinyan89/olmo3-190m-zh-full")
tok = AutoTokenizer.from_pretrained("lijinyan89/olmo3-190m-zh-full")