qwen2.5-1.5b-turkish-hukuki-sorular

Qwen/Qwen2.5-1.5B-Instruct için Türkçe hukuk soru-cevap verisiyle (sinanelms/hukukisorular) SFT uygulanmış LoRA adaptörü. Adaptör bağımsız bir model değildir; temel modelin üzerine yüklenir.

Model


Temel model	`Qwen/Qwen2.5-1.5B-Instruct` (Apache-2.0)
Yöntem	SFT, QLoRA (4-bit NF4 temel model, bf16 hesaplama), yalnızca assistant tokenlarında loss
LoRA	r=32, alpha=64, dropout=0.05, bias=none
Hedef modüller	q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
Eğitilen parametre	36,929,536
Maks. dizi uzunluğu	1024 token (system + user + assistant)
Prompt biçimi	Qwen2.5 chat template (`<

Eğitim verisi

Veri seti: sinanelms/hukukisorular @ 602f01617e5d (gemini-2.5-pro ile hukuk bürosu makalelerinden üretilmiş sentetik soru-cevap).
Temizlik: NFC ve boşluk normalizasyonu; üretim artıklarının (Kaynak: <site>, dosya_N.txt) silinmesi; görünmeyen kaynak metne atıf yapan örneklerin ("metne göre" vb.) çıkarılması; birebir ve yakın tekrar ayıklama (soru başına en fazla 3 cevap); 1024 tokendan uzun örnekler kesilmeden çıkarıldı.
Bölme: kaynak dosyası (dosya_adi) bazında 80/10/10 + bölümler arası soru/cevap sızıntı filtresi.
Kullanılan örnek: eğitim 30,000 / 206,054, eğitim içi validasyon alt kümesi 1,000.

Eğitim


Epoch	1
Optimizer adımı	1875
Batch	2 × grad. accum. 8 = 16
Learning rate	0.0001 (cosine, warmup ratio 0.03)
Weight decay	0.01
Optimizer	adamw_8bit
Hassasiyet	bf16
Packing	False
Seed	42
Donanım	1× NVIDIA GeForce RTX 5060 Ti (15.9 GB)
Eğitim süresi	1.74 saat
Hız	~1691 token/sn
VRAM zirve (reserved)	8.42 GB
Train loss (ortalama)	1.6715
En iyi eval loss	1.5391

Değerlendirme

Kaynak dosyaları eğitimden ayrık test bölümü. Loss: 2000 örnek (yalnızca assistant tokenları); üretim metrikleri: alan bazında tabakalı sabit 200 soru (greedy, repetition_penalty=1.1, max_new_tokens=768).

Metrik	Temel (`Qwen2.5-1.5B-Instruct`)	Bu adaptör
Test loss	2.5814	1.5120
Test perplexity	13.22	4.54
ROUGE-L F1	0.088	0.148
ROUGE-1 F1	0.118	0.213
Atıf recall (referansa göre)	0.273	0.323
Atıf içeren cevap oranı	0.360	0.685
Ort. üretilen token	481.5	204.1
Bozuk çıktı oranı (boş/döngü/latin-dışı)	0.765	0.025
Latin-dışı karakter oranı	0.020	0.000

ROUGE ve atıf örtüşmesi yüzeysel metriklerdir; hukuki doğruluğu ölçmez.

Kullanım

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct", dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(base, "thealper2/qwen2.5-1.5b-turkish-hukuki-sorular")
tok = AutoTokenizer.from_pretrained("thealper2/qwen2.5-1.5b-turkish-hukuki-sorular")

messages = [
    {"role": "system", "content": "Türkçe hukuk sorularını dikkatle yanıtla. Bilmediğin veya doğrulayamadığın hukuki bilgileri kesinmiş gibi sunma. Uygun olduğunda ilgili kanun maddesini belirt. Hukuki durumun somut olaylara ve yürürlükteki mevzuata bağlı olabileceğini göz önünde bulundur."},
    {"role": "user", "content": "Türk Borçlar Kanunu'na göre sözleşme nasıl kurulur?"},
]
ids = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(ids, max_new_tokens=512, do_sample=False, repetition_penalty=1.1)
print(tok.decode(out[0, ids.shape[1]:], skip_special_tokens=True))

Model yukarıdaki system prompt ile eğitildi; aynı system prompt'un kullanılması önerilir.

Sınırlamalar

Eğitim hedefleri sentetik ve doğrulanmamıştır; çıktılardaki madde numaraları ve mahkeme kararları yanlış veya uydurma olabilir.
Güncel mevzuata erişimi yoktur; bilgi, eğitim verisinin (2025 Q1 kaynakları) anlık görüntüsüyle sınırlıdır.
Hukuki tavsiye değildir. Veri seti kartının metadata başlığında lisans yoktur (README sonunda bir MIT bloğu bulunur); türev kullanımdan önce veri koşullarını kontrol edin.

Kütüphane sürümleri

unsloth 2026.10.3
transformers 5.19.0
trl 0.24.0
peft 0.18.1
torch 2.11.0+cu128
bitsandbytes 0.49.2
datasets 5.1.0