trenet v3
trenet v3, sıfırdan eğitilmiş, yaklaşık 100 milyon parametreli deneysel bir Türkçe sohbet modelidir.
Amacı büyük modellerle yarışmak değil; "bu kadar küçük bir model Türkçe gündelik sohbeti ne kadar götürebilir?" sorusuna cevap aramak.
Bu bir araştırma denemesidir. Verdiği bilgilere güvenmeyin; ciddi işlerde kullanmayın.
Neler yapabiliyor
- Kısa, gündelik Türkçe sohbet: selamlaşma, hal hatır, gündelik tavsiye, dertleşme.
- Konuşma içinde söylenen bilgileri hatırlama.
- Basit talimatlar: belirli sayıda madde, tek kelime, kısa cevap.
- Basit sözel hesaplar. Bazı hesap, talimat ve mantık sorularında cevaptan önce kısa bir iç düşünce üretir;
chat.pybu düşünceyi gizler, yalnızca cevabı gösterir. - Bilmediği ya da bilemeyeceği şeylerde (güncel bilgi, kişisel bilgi, uydurma isimler) çoğu zaman bunu söyler.
sen> naber
trenet> İyiyim, sen nasılsın?
sen> 5 elmam vardı 2sini verdim kaç kaldı
trenet> 5 - 2 = 3. 3 elma kaldı.
sen> seni kim yaptı
trenet> Beni Tuğra Ege Ses geliştirdi; trenet onun projesi.
Neler yapamıyor
- Bilgi kaynağı değildir. Kişiler, tarihler ve sayılar hakkında inandırıcı görünen yanlış bilgiler uydurabilir.
- Çok adımlı hesap ve muhakemede, kodun çıktısını tahmin etmede, ince anlam farklarında sık yanılır.
- Ayrı mesajlarla verilen biçim kurallarına her zaman uymaz.
- Uzun konuşmalarda konuyu kaybedebilir.
Kullanım
pip install torch tokenizers safetensors onnxruntime
python chat.py
Ekran kartı yoksa işlemcide de çalışır (--device cpu). Sohbet içinde /yeni geçmişi siler, /cik kapatır.
Varsayılan örnekleme sıcaklığı 0.3'tür (--temperature); daha yüksek değerlerde uydurma artar.
chat.py dört işlem sorularını küçük bir hesaplayıcıyla kontrol eder; kapatmak için --no-calculator.
İşlemcide 8 bitlik (int8) ONNX sürümü kullanılır: 4 çekirdekte saniyede yaklaşık 200 token. Tam hassasiyet için --slow.
Açık benchmarklar
| Benchmark | Soru | Şans | trenet v3 |
|---|---|---|---|
| XCOPA (tr) | 500 | %50 | %58.8 |
| HellaSwag (tr) | 2000 | %25 | %29.5 |
| WinoGrande (tr) | 1266 | %50 | %51.3 |
| ARC (tr) | 1172 | %25 | %27.3 |
| Belebele (tur_Latn) | 900 | %25 | %31.3 |
| TurkishMMLU | 900 | %20 | %19.9 |
| Ortalama | %32.5 | %36.4 |
Nasıl ölçüldü:
- lm-evaluation-harness yöntemi: her şıkkın log-olasılığı hesaplanır, en yüksek olan seçilir. Model metin üretmez; bu yüzden sıcaklık gibi örnekleme ayarları sonucu etkilemez.
- 0-shot, sohbet şablonu olmadan düz metin devamı.
- HellaSwag ve ARC'de bayt başına normalize edilmiş puan (acc_norm); WinoGrande'de kısmi puanlama; diğerlerinde ham doğruluk.
- Soru kümeleri: XCOPA test, HellaSwag doğrulama bölümünün ilk 2000 sorusu, WinoGrande doğrulama, ARC test, Belebele test, TurkishMMLU'dan 9 ders × 100 soru.
- Bu testlerin metinleri eğitim verisinden çıkarıldı (8 kelimelik ortak dizi taraması).
Bu boyuttaki modeller için bu testler zordur; özellikle WinoGrande ve TurkishMMLU şans düzeyine yakındır.
Dosyalar
| Dosya | İçerik |
|---|---|
model.safetensors |
Ağırlıklar |
model_cpu_int8.onnx |
İşlemci için hızlı, 8 bitlik sürüm |
config.json |
Model yapılandırması |
tokenizer.json |
Türkçe tokenizer |
trenet/, chat.py |
Modeli çalıştırmak için gereken kod |
Kısaca model
| Parametre | 98.8 milyon |
| Yapı | Yalnızca çözücü (decoder-only) Transformer, küçük ölçek için kendi tasarımımız |
| Dil | Türkçe |
| Bağlam | 4096 token (kalite 2048'den sonra yavaşça düşer, 3072'den sonra belirgin biçimde bozulur; chat.py bu yüzden konuşmayı 2048 token içinde tutar) |
| Eğitim | Yaklaşık 6.3 milyar token ön eğitim, ardından sohbet ince ayarı ve tercih eğitimi (DPO) |
Veri kümesi ve eğitim ayrıntıları paylaşılmıyor.
Lisans
MIT. Dilediğiniz gibi kullanabilir, değiştirebilir ve dağıtabilirsiniz; tek koşul lisans metnindeki telif satırını korumanız.
Rivayete göre Tuğra bir toplantıda "Bana GB200 verin, size GPT'yi üreteyim" demiş.