Ch1c4g0/qwen3.5-0.8b-llmcourse2026-gen002
松尾・岩澤研究室「LLM講座2 2026」最終課題(Wikipedia RAG コンペ)の回答生成用に、 Qwen/Qwen3.5-0.8B を LoRA で追加学習し、元の重みに統合したモデルです。
ベースモデル
- Qwen/Qwen3.5-0.8B(revision
2fc06364715b967f1860aea9cf38778875588b17) - 作成者: Qwen チーム(Alibaba Cloud)。ライセンス: Apache License 2.0(同梱の LICENSE)
改変の内容
- LoRA(r=16、alpha=32、dropout=0.05)を言語モデルの各層の線形層(down_proj, gate_proj, in_proj_a, in_proj_b, in_proj_qkv, in_proj_z, k_proj, o_proj, out_proj, q_proj, up_proj, v_proj)に付けて 1 エポック学習し、 学習後に「元の重み + LoRA の差分」として元のモデルのファイルに書き戻した
- モデルの構造、config、トークナイザ、chat template、重みの名前・形・型は元のモデルと同じ
- 学習の内容: 質問と検索した資料 3 件を入力し、
{"answer": 回答, "chunk_id": 根拠の資料の番号}の JSON を出力する(学習 1998 件)
学習データ
| データ | 作成者・出典 | ライセンス | 改変 |
|---|---|---|---|
| JEMHopQA(train、ver1.2) | Ai Ishii ほか。aiishii/JEMHopQA | CC BY-SA 4.0 | 質問と回答を使用。検索した資料を付け、資料に根拠がない質問を除き、上の JSON の形に変換 |
| JSQuAD(train、v1.3。JGLUE の一部) | Kentaro Kurihara ほか(早稲田大学、ヤフー株式会社)。yahoojapan/JGLUE | CC BY-SA 4.0 | 無作為に 3,000 問を選び、JEMHopQA と同じ処理 |
| 日本語 Wikipedia のチャンク(コンペの配布データ bumbuboon/llm-course-final-2026) | Wikipedia の執筆者。日本語版ウィキペディア | CC BY-SA 4.0 | 検索結果として入力に含めた(本文は変更していない) |
学習データの作成と学習は、すべて Google Colab 上で行いました。外部の API や他の LLM は使っていません。