sft014avg
Qwen/Qwen3.5-0.8B を LoRA で追加学習してマージした複数のモデル(同じ学習データ、seed だけ違う)の重みを、要素ごとに平均したモデルです。 LLM講座2 2026 最終課題(RAG)の回答生成用です。モデルの構造は元のモデルと同じです(言語部分の重みだけが元と違います)。
平均した元のモデル
- OkamotoJP/llm2-qwen35-sft014 (revision 76f97b6fba0f5467a7e7044f563d49fc359e0c75), weight 0.50
- OkamotoJP/llm2-qwen35-sft014b (revision b2173e3cad7e464d1c987eb2c3cbeef82f7465aa), weight 0.50
ベースモデル
- Qwen/Qwen3.5-0.8B (Apache-2.0) https://huggingface.co/Qwen/Qwen3.5-0.8B
学習データ(元の2つのモデルの学習に使用)
- JEMHopQA (CC BY-SA 4.0) https://github.com/aiishii/JEMHopQA . Modified: filtered and reformatted for training.
- cl-nagoya/auto-wiki-qa (CC BY-SA 4.0) https://huggingface.co/datasets/cl-nagoya/auto-wiki-qa . Modified: sampled, filtered and reformatted for training.
- 配布チャンク集合(日本語 Wikipedia 由来、CC BY-SA 4.0): 学習プロンプトの資料として使用。
- License of the datasets: CC BY-SA 4.0 https://creativecommons.org/licenses/by-sa/4.0/