girenit-LLM-3B — Türkçe Talimat Modeli 💬🇹🇷
girenit-LLM-3B, Qwen2.5-3B-Instruct tabanının Türkçe talimatlarla QLoRA ile ince ayarlanmış (fine-tune) sürümüdür. Kompakt (3B), tek GPU'da çalışan, on-prem dağıtılabilir bir Türkçe sohbet / talimat modeli olarak tasarlanmıştır — büyük bulut modellerine bağımlı kalmadan Türkçe metin üretimi, soru-cevap ve özetleme için.
Örnek çıktılar
Soru: Türkiye'nin başkenti neresidir? Cevap: Türkiye'nin başkenti Ankara'dır. 1923'te kuruldu ve önemli bir idari merkezdir.
Soru: Yapay zeka nedir? İki cümleyle açıkla. Cevap: Yapay Zeka (YZ), insan benzeri problem çözme ve veri analizi gibi görevlerde kullanılan bilgisayar sistemleridir. Bu sistemler, verilerden öğrenerek yeni görevleri çözmek için tasarlanmıştır.
Eğitim
- Taban: Qwen/Qwen2.5-3B-Instruct (Apache-2.0)
- Veri: MercanAI/turkce-sft-qa-3.7m'den kalite skoru ≥ 0,6 ile seçilmiş 80.000 örnek
- Yöntem: 4-bit NF4 QLoRA (rank 16, alpha 32), yalnız asistan cevaplarına loss, 8-bit AdamW, bf16, tek RTX 3090
- Bu depo LoRA adaptörüdür; kullanım için taban modelle birlikte yüklenir.
Kullanım
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("girenit/girenit-LLM-3B")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-3B-Instruct",
torch_dtype=torch.bfloat16, device_map="cuda")
model = PeftModel.from_pretrained(model, "girenit/girenit-LLM-3B")
msgs = [{"role": "user", "content": "Yapay zeka nedir?"}]
text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
ids = tok(text, return_tensors="pt").to("cuda")
out = model.generate(**ids, max_new_tokens=256)
print(tok.decode(out[0, ids["input_ids"].shape[1]:], skip_special_tokens=True))
Sınırlamalar
- Araştırma/prototip sürümüdür; kritik kullanımda insan kontrolü önerilir.
- Halüsinasyon yapabilir; tarih/rakam gibi kesin bilgiler doğrulanmalıdır.
- Güvenlik hizalaması taban modelden gelir; ayrıca hizalama yapılmamıştır.