sft026
Qwen/Qwen3.5-0.8B(revision 2fc06364715b967f1860aea9cf38778875588b17)をLoRA で追加学習し、元の重みにマージしたモデルです。 LLM講座2 2026 最終課題(RAG)の回答生成用です。モデルの構造は元のモデルと同じです(言語部分の重みだけを更新)。
ベースモデル
- Qwen/Qwen3.5-0.8B (Apache-2.0) https://huggingface.co/Qwen/Qwen3.5-0.8B
学習データ
- JEMHopQA (CC BY-SA 4.0) https://github.com/aiishii/JEMHopQA . Modified: filtered and reformatted for training.
- cl-nagoya/auto-wiki-qa (CC BY-SA 4.0) https://huggingface.co/datasets/cl-nagoya/auto-wiki-qa . Modified: sampled, filtered and reformatted for training.
- 配布チャンク集合(日本語 Wikipedia 由来、CC BY-SA 4.0): 学習プロンプトの資料として使用。
- License of the datasets: CC BY-SA 4.0 https://creativecommons.org/licenses/by-sa/4.0/
学習の設定
LoRA r=16 alpha=32, lr=0.0001, epochs=1, 学習データ 1143 件(内訳 {"auto_wiki_qa": 443, "jemhopqa_train_sft/compositional": 369, "jemhopqa_train_ev/compositional": 267, "synth_compo/compositional": 64})