🇹🇷 Turkish LLM LoRA - Mistral 7B Fine-tuned Model

Bu model, Mistral-7B üzerine Türkçe metinler ile eğitilmiş bir LoRA (Low-Rank Adaptation) versiyonudur.

Model Bilgileri

• Temel Model: mistralai/Mistral-7B
• Tür: Causal Language Model (CLM)
• Kuantizasyon: 4-bit LoRA
• Eğitim Verisi: Türkçe metinlerden oluşan özel bir veri kümesi

Eğitim Bilgileri

• Donanım: i7 14700KF işlemci, RTX 4070 Super ekran kartı
• Eğitim Süresi: 6 saat
• Ayarlar: 4 epoch, batch size 1, gradient accumulation 16

Veri Seti

• "oscar/unshuffled_deduplicated_tr" veri setinden ilk 10,000 örnek
• Her veri 512 kelimeye kesildi

Değerlendirme

Türkçe cümle tamamlama yaptı, sonuçlar fena değildi.

CO2 Emisyonları

Hesaplanmadı