Qwen3-8B 运动指导 & 体重管理 专科模型(LoRA)
基于 Qwen/Qwen3-8B 使用 LoRA (QLoRA/SFT) 微调的中文「运动指导 & 体重管理」垂直领域专家模型。适配器文件(adapter)可直接用 PEFT 加载到 Qwen3-8B 基础模型上。
能力覆盖
该专科模型训练了 6 大类技能,均以《Med-Books-20260914》领域书籍为知识来源:
- 个性化运动 & 减重/增重计划 —— 依用户身体数据(性别/年龄/身高/体重/BMI/目标/运动偏好/运动伤病)生成每周有氧+无氧(力量)+热身+拉伸训练计划,给出强度与频率(含心率区间)。
- 上传体重数据分析/评价 —— 分析减重/增重进度、平台期成因,并给出个性化调整建议。
- 审核官/审判官 —— 判断给定的健康/运动说法是否准确,并给出依据(训练为医学循证风格)。
- 运动·体重科普内容输出 —— 热量、宏量营养、运动方式、慢病相关运动处方等知识问答。
- 跨域推理/综合 —— 需要结合多知识点推理的综合问题。
- 通用/防遗忘 —— 保持通用对话与领域常识,防止灾难性遗忘。
训练数据
- 来源:
/workspace/Med-Books-20260914/7 本书(4 本文字层 + 3 本 OCR 康复类),共 465 个领域 chunk,覆盖运动与体重管理。 - 通过 teacher LLM 蒸馏生成 6 类 QA,汇总 19,649 条 SFT 样本(train 19,060 / eval 589):
- 通用/防遗忘 11,762
- 跨域推理/综合 2,791
- 内容输出/运动·体重科普 2,642
- 个性化训练·体重管理 1,389
- 内容输出/运动医学·深度 601
- 审核官/审判官 464
训练配置
- 框架:Unsloth + HuggingFace TRL (SFT)
- 方法:QLoRA(4bit 基础模型 + LoRA r=64/alpha=128/rank 16 目标模块)
- 2 个 epoch,bf16,padding-free;最终 train_loss ≈ 0.98。
使用方式(PEFT 加载)
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_id = "Qwen/Qwen3-8B"
adapter = "chenhaodev/qwen3-8b-sport-weight-lora"
tokenizer = AutoTokenizer.from_pretrained(base_id)
model = AutoModelForCausalLM.from_pretrained(
base_id, torch_dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(model, adapter)
messages = [{"role": "user", "content": "我28岁男,175cm/82kg,想减脂并改善体能,请给我每周运动计划"}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=600)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
RAG 增强(降低幻觉)
本仓库同时提供配套 FAISS 检索知识库:chenhaodev/qwen3-8b-sport-weight-rag(BAAI/bge-small-zh-v1.5 512 维 L2 归一化,465 个文档块)。推荐问答时先检索相关文档块拼入 prompt,再让模型回答,以提高准确率、降低幻觉。
本地小模型部署(llama.cpp)
本模型另已合并且导出为 GGUF,量化 Q4_K_M 后可用 llama.cpp llama-server 本地运行(约 4.8GB),再与本仓库 FAISS 知识库联动,实现完全本地、离线、低成本的专科问答服务。
免责声明
本模型仅用于健康/运动/体重管理的科普与辅助参考,不构成医疗诊断或治疗建议;严重健康问题请咨询专业医师。