kenbou3/qwen3.5-0.8b-rag-lora02
Qwen/Qwen3.5-0.8B(revision 2fc06364715b967f1860aea9cf38778875588b17)に LoRA で追加学習し、元の重みに統合したモデル。 LLM講座最終コンペの開発モデル。モデルの構造は元モデルと同一。
学習データ
- JSQuAD(JGLUE, yahoojapan/JGLUE, datasets/jsquad-v1.3/train-v1.3.json) ライセンス CC BY-SA 4.0。著作者:Yahoo Japan Corporation ほか(JGLUE)。
- 配布コーパス(bumbuboon/llm-course-final-2026 のチャンク)を BM25 で機械的に取得した資料
- 学習件数 4999・エポック 1・LoRA r=16, alpha=32・学習率 0.0001