DizgeBERT — Turkish Syllable Segmentation
Türkçe sözcükleri hecelere ayıran BERT tabanlı token sınıflandırma modeli.
Model Bilgileri
| Özellik | Değer |
|---|---|
| Base Model | dbmdz/bert-base-turkish-cased |
| Görev | Token Classification (BIO) |
| Etiketler | B (hece başı), I (hece içi) |
| Eğitim Verisi | 48,715 Türkçe sözcük |
| Word Accuracy | %99.99 |
| F1 (weighted) | 0.9999 |
Kullanım
from bert_turkish_finetune import DizgeBERT
model = DizgeBERT("iatagun/dizge-syllable")
print(model.syllabize("bilgisayar")) # ['bil', 'gi', 'sa', 'yar']
print(model.syllabize("strateji")) # ['stra', 'te', 'ji']
print(model.syllabize("kontrol")) # ['kon', 'trol']
Özellikler
- ✅ Hiatus (ünlü çatışması): saat → sa-at, aile → a-i-le
- ✅ Ünsüz kümeleri: kontrol → kon-trol, elektrik → e-lek-trik
- ✅ Onset clusters: strateji → stra-te-ji, stres → stres
- ✅ Morfolojik sınırlar: renkli → renk-li, ahenkli → a-henk-li
- ✅ Uzun türetmeler: özelleştirilebilirlik → ö-zel-leş-ti-ri-le-bi-lir-lik
Eğitim
dizge kütüphanesinin çıktıları sistematik olarak düzeltilerek (1,595 düzeltme) eğitim verisi oluşturulmuştur. Düzeltmeler: hiatus (1,279), r-tabanlı onset kümeleri (287), manuel str-sözcükler (29).
Top 2 BERT katmanı açılarak (--freeze-layers 10) eğitilmiştir.