Filiz-118M
Türkçe · English below
🔗 GitHub (sözlük + örnek) · Kaggle Models · © 2026 Samet Türkan
Filiz-118M, sıfırdan eğitilmiş küçük bir Türkçe dil modelidir (118 milyon parametre, 8.192 tokenlık kök-ek sözlüğü). Az veriyle verimli öğrenme üzerine kurulu bir projenin ilk yayınıdır: yaklaşık 1,5 milyar token ile eğitildi ve Türkçe akıl yürütme (XCOPA) ile dil bilgisi (TurBLiMP) ölçülerinde 3-5 kat büyük modelleri geçer.
Bu bir temel modeldir (base). Genel sohbet asistanı değildir; cihaz içinde çalışan dar görevler için tasarlandı: araç / komut çağrısı, verilen metinden cevap çıkarma (RAG okuyucusu), kısa soru-cevap ve ince ayar için başlangıç noktası.
Komut uzmanı: Filiz-118M-Komut — aynı boyut, MASSIVE tr-TR test bölümünde niyet %95,0, tam doğruluk %58,0 (bu model %88,5 / %40,5).
Sonuçlar
Hepsi aynı düzenekte ölçüldü: lm-evaluation-harness 0.4.12, sıfır örnek (0-shot), log-olasılık.
| Model | Parametre | Eğitim tokenı | XCOPA-tr | TurBLiMP | Belebele-tr |
|---|---|---|---|---|---|
| Filiz-118M | 118M | ~1,5B | 58,6 | 79,8 | 26,1 |
| ufakzeka-1-base | ~165M | 13,5B | 59,2 | 81,9 | 27,8 |
| turkish-gpt2 | 124M | — | 57,4 | 54,7 | 24,2 |
| SmolLM2-135M | 135M | 2T | 53,2 | 50,5 | 22,8 |
| SmolLM2-360M | 360M | 4T | 54,2 | 54,8 | 23,4 |
| Qwen3-0.6B (base) | 600M | 36T | 54,0 | 57,1 | 42,0 |
- XCOPA-tr (sebep-sonuç akıl yürütmesi) ve TurBLiMP (Türkçe dil bilgisi çiftleri,
turblimp_core) bu boyutta ayırt edici ölçülerdir. - Belebele ve TurkishMMLU 0,5B altındaki bütün modellerde şans düzeyindedir (Filiz TurkishMMLU 18,2; ufakzeka-1 19,1).
Araç çağrısı (MASSIVE tr-TR, test bölümü)
Model ön eğitimde fonksiyon çağırma biçimini gördü (ince ayar yok). MASSIVE tr-TR test bölümünden 500 komut; test bölümü eğitimde hiç kullanılmadı.
| Düzen | Çağrı yaptı | Niyet doğru | Niyet + alanlar tam |
|---|---|---|---|
| Doğru araç + 3-7 çeldirici araç | %99,4 | %85,6 | %42,6 |
| 8-12 rastgele araç (ort. 9,4) | %99,4 | %73,0 | %37,2 |
Doğru aracı seçmede güçlü, alan değerlerinde zayıf (ör. saat ifadesinin bozulması). Bağlam 1.024 token; 8k sözlükte araç tanımı başına ~40 token düştüğünden pratikte en çok ~12 araç sığar. Daha fazla araçta listenin önceden daraltılması (yönlendirici) önerilir.
Gerçek araçla bilgi sorusu (tr_wiki_qa test, 200 soru)
| Düzen | Doğru |
|---|---|
| Araçsız (kapalı kitap) | %1,5 |
| Vikipedi aracı: model başlığı seçer, araç paragraf döndürür | %37,0 |
| Doğru paragraf verildiğinde (okuyucu tavanı) | %73,0 |
Model kendi bilgisine güvenilecek boyutta değildir; arama / RAG ile kullanılmalıdır. Çok adımlı matematik problemlerini kurmakta zayıftır (hesap aracı bunu düzeltmez).
Kullanım
Model standart Qwen3ForCausalLM mimarisindedir; trust_remote_code gerekmez. Sözlük ayrı bir Python paketidir
(kök-ek bölücü, Hugging Face tokenizers biçimine çevrilemediği için):
pip install transformers torch git+https://github.com/smtturkan-droid/filiz
import torch
from transformers import AutoModelForCausalLM
from filiz_sozluk import FilizSozluk
model = AutoModelForCausalLM.from_pretrained("smtturkan/filiz-118m").eval()
s = FilizSozluk()
x = torch.tensor([s.sohbet([{"role": "user", "content": "Türkiye'nin başkenti neresidir?"}])])
y = model.generate(x, max_new_tokens=60, do_sample=False, eos_token_id=s.eos_token_id, pad_token_id=s.pad_token_id,
begin_suppress_tokens=[s.token_to_id("<|dusun|>")])
print(s.decode(y[0, x.shape[1]:].tolist())) # Türkiye'nin başkenti Ankara'dır.
ornek.py üç örnek içerir: soru-cevap, verilen metinden cevap ve araç çağrısı.
Biçim. Roller <|sistem|>, <|kullanici|>, <|filiz|>, her mesaj <|son|> ile biter. Araçlar sistem metninde
Araçlar: [{"name": ..., "parameters": [...]}] olarak verilir; model <|arama|>ad {"alan": "değer"} üretir, aracın cevabı
<|sonuc|> … <|/sonuc|> içinde geri verilir.
Üretim ayarı. Açgözlü üretim önerilir. Hugging Face repetition_penalty ve no_repeat_ngram_size istemdeki
tokenları da cezalandırır; bu, metinden kopyalamayı ve araç adlarını bozar, kullanmayın.
Mimari ve eğitim
- 24 katman, gizli boyut 624, 12 dikkat başı (baş boyutu 52), SwiGLU ara boyutu 1680, RMSNorm, RoPE, baş başına QK-norm, gömme ve çıkış ağırlıkları bağlı. Bağlam 1.024 token.
- Sözlük: 8.192 token; Türkçe kökler + ek birimleri + yedek BPE parçaları; büyük harf ayrı işaretle (
<|B|>,<|BB|>). Türkçede kelime başına ~2,2 token (50k sözlüklü Türkçe modellerde ~1,5). - Eğitim: önce 50M boyutunda (~0,6B token), sonra işlevi koruyan genişletmeyle 118M'e büyütülüp devam (~0,9B token). Muon + AdamW, sabit öğrenme hızı 4e-4, Kaggle T4.
- Veri (yalnız açık lisanslı: CC BY, CC BY-SA, CC0, kamu malı, Apache-2.0, MIT, ODC-By; ticari olmayan (NC) lisanslar dışarıda): Türkçe Vikipedi ve kardeş projeler, Vikikaynak, akademik özetler, masal ve edebiyat, Tatoeba cümleleri, okuma / soru-cevap görevleri (tr_wiki_qa vb.), MASSIVE tr-TR (train bölümünün yarısı), Glaive / Hermes fonksiyon çağırma (Apache-2.0), GSM8K ve matematik çözümleri (hesap aracı çağrılarıyla), kurallı görev şablonları.
- Değerlendirme setleri (XCOPA, Belebele, TurBLiMP, TurkishMMLU, MASSIVE test) eğitime alınmadı; n-gram sızıntı süzgeci uygulandı.
Sınırlar
- Bilgi doğruluğu düşüktür; uydurma (halüsinasyon) yapar. Bilgi gerektiren işlerde metni bağlam olarak verin (RAG).
- Hesap yapamaz; hesap aracını çağırması için tasarlandı.
- İngilizce üretimi zayıftır (İngilizce doğal metin payı çok düşük).
- Uzun cevaplarda tekrar döngüsüne girebilir.
- Güvenlik ayarı (hizalama) yapılmamıştır; ürünlerde çıktı denetimi kullanın.
İletişim
Sorular, iş birliği ve ticari kullanım için: Samet Türkan · smtturkan@gmail.com · GitHub issues
Lisans
Apache 2.0. Eğitim verisinin lisansları yukarıda listelenmiştir.
English
Filiz-118M is a small Turkish language model trained from scratch (118M parameters, 8,192-token root–suffix vocabulary). It is the first release of a project focused on data-efficient training: trained on roughly 1.5B tokens, it outperforms models 3–5× larger on Turkish causal reasoning (XCOPA) and grammaticality (TurBLiMP).
This is a base model, not a general chat assistant. It is designed for narrow on-device tasks: tool / command calling, answering from a given passage (RAG reader), short QA, and as a starting point for fine-tuning.
Results (lm-evaluation-harness 0.4.12, 0-shot, log-likelihood): XCOPA-tr 58.6, TurBLiMP 79.8 — see the table above. ufakzeka-1-base (~165M, 13.5B tokens) scores 59.2 / 81.9 with ~9× more tokens; SmolLM2-360M 54.2 / 54.8; Qwen3-0.6B 54.0 / 57.1. Belebele and TurkishMMLU are at chance level for all models under 0.5B.
Tool calling (MASSIVE tr-TR test split, 500 commands, never seen in training, no fine-tuning): with the correct tool plus 3–7 distractors, intent accuracy 85.6%, exact intent + slots 42.6%. With 8–12 random tools (avg 9.4): 73.0% / 37.2%. Strong at choosing the tool, weak at slot values. The 1,024-token context fits ~12 tool definitions; use a router beyond that.
Real tool loop (tr_wiki_qa test, 200 questions): closed-book 1.5% → with a Wikipedia tool (model picks the article) 37.0% → gold paragraph given 73.0%. Use it with retrieval, not as a knowledge source.
Usage. Standard Qwen3ForCausalLM, no trust_remote_code. The tokenizer ships as a separate Python package
(pip install git+https://github.com/smtturkan-droid/filiz) because the morphological splitter cannot be expressed as a Hugging Face tokenizers file.
See the code above and ornek.py. Use greedy decoding; avoid repetition_penalty / no_repeat_ngram_size, which also
penalize prompt tokens and break copying and tool names.
Limitations. Low factual accuracy (hallucinates — provide context), no arithmetic (calls a calculator tool instead), weak English generation, may loop on long outputs, not safety-aligned.
Contact: Samet Türkan · smtturkan@gmail.com · GitHub issues
License. Apache 2.0. Training data: openly licensed sources only (CC BY, CC BY-SA, CC0, public domain, Apache-2.0, MIT, ODC-By; no NC licenses).