sft026avg
Qwen/Qwen3.5-0.8B を追加学習した複数のモデル(同じ学習データ・同じ設定で、seed だけ違うモデル)の重みを、要素ごとに平均したモデルです。 LLM講座2 2026 最終課題(RAG)の回答生成用です。モデルの構造は元のモデルと同じです(言語部分の重みだけが元と違います)。
平均した元のモデル
- OkamotoJP/llm2-qwen35-sft026 (revision f09eef0e8362ec34f8d9ecd795187146d374e2f7), weight 0.50
- OkamotoJP/llm2-qwen35-sft026b (revision e3c9ad8fb3cac558697f885ee23e9124712e53b9), weight 0.50
ベースモデル
- Qwen/Qwen3.5-0.8B (Apache-2.0) https://huggingface.co/Qwen/Qwen3.5-0.8B
学習データ(元の2つのモデルの学習に使用)
- JEMHopQA (CC BY-SA 4.0) https://github.com/aiishii/JEMHopQA . Modified: filtered and reformatted for training.
- cl-nagoya/auto-wiki-qa (CC BY-SA 4.0) https://huggingface.co/datasets/cl-nagoya/auto-wiki-qa . Modified: sampled, filtered and reformatted for training.
- 配布チャンク集合(日本語 Wikipedia 由来、CC BY-SA 4.0): 学習プロンプトの資料として使用。
- License of the datasets: CC BY-SA 4.0 https://creativecommons.org/licenses/by-sa/4.0/