maske-modernbert-tr-bakeoff
Taban model karşılaştırması: 2026 ModernBERT-TR vs 2020 BERTurk
Base-model bake-off: 2026 ModernBERT-TR vs 2020 BERTurk
Türkçe · English
🇹🇷 Türkçe
Genel Bakış
maske-modernbert-tr-bakeoff, maske projesinin 1. aşamasında cevaplanan sorunun modelidir: 2026 tarihli bir ModernBERT-TR tabanı, klasik BERTurk tabanını Türkçe NER'de yener mi? Bu model, emi08/maske-berturk-baseline ile birebir aynı ince ayar tarifiyle (WikiANN-tr, 20.000 cümle, aynı hiperparametreler) eğitildi; yalnızca taban değiştirildi: ytu-ce-cosmos/modernbert-tr-base (~150M parametre, 144B Türkçe token, Apache-2.0).
Sonuç: berabere (0.929 F1). WikiANN-tr bu ölçekte doygun durumdadır; iki taban arasındaki mimari fark klasik NER kıyaslamasında görünmemektedir. Bu bulgu, projenin 2. aşamasında yeni taban avlamak yerine alan verisine (sentetik KVKK verisi + replay) odaklanma kararının temelidir. 19 etiketli PII modeli emi08/maske bu karşılaştırma sonucunda modernbert-tr-base tabanıyla kurulmuştur (daha yeni mimari, uzun bağlam, aktif bakım).
⚠️ Deneysel model — PER/ORG/LOC sınıflandırması yapar; KVKK/PII görevleri için emi08/maske kullanın.
Kullanım
from transformers import pipeline
ner = pipeline(
"token-classification",
model="emi08/maske-modernbert-tr-bakeoff",
aggregation_strategy="simple",
)
print(ner("Ayşe'ye 500 TL gönderdim, makbuzu Ahmet Bey'in e-postasına yazdım."))
Değerlendirme ve Karşılaştırma
Aynı betik, WikiANN-tr test bölümünün tamamı (10.000 cümle), varlık düzeyinde seqeval:
| Model | Taban | Precision | Recall | F1 |
|---|---|---|---|---|
| emi08/maske-modernbert-tr-bakeoff | modernbert-tr-base (2026) | 0.923 | 0.935 | 0.929 |
| emi08/maske-berturk-baseline | BERTurk 128k (2020) | 0.923 | 0.934 | 0.929 |
| savasy/bert-base-turkish-ner-cased | BERTurk 32k | 0.919 | 0.930 | 0.925 |
| Werea-co/Werea-TR-NER | BERTurk 32k | 0.907 | 0.917 | 0.912 |
| akdeniz27/bert-base-turkish-cased-ner | BERTurk 32k | 0.699 | 0.649 | 0.673 |
Tüm modeller aynı betik ve aynı test bölümüyle ölçüldü. WikiANN otomatik etiketli ve haber tarzıdır; skorlar gerçek dünya metni için tavan değerdir.
Eğitim
| Özellik | Değer |
|---|---|
| Taban model | ytu-ce-cosmos/modernbert-tr-base (Apache-2.0) |
| Eğitim verisi | WikiANN-tr — 20.000 cümle |
| Etiketler | O, B/I-PER, B/I-ORG, B/I-LOC |
| Tarif | BERTurk baseline ile birebir aynı (epok, LR, batch); yalnızca taban farklı |
| Donanım | T4 GPU (Colab/Kaggle) |
Sınırlar
- PER/ORG/LOC dışında varlık türü yoktur; PII türleri için emi08/maske kullanın.
- WikiANN gümüş etikettir; karşılaştırma yalnızca bu veri kümesi bağlamında anlamlıdır.
- Haber/ansiklopedi tarzı metin dışında ölçülmemiştir.
Atıf
@misc{maske_bakeoff_2026,
author = {emi08},
title = {maske-modernbert-tr-bakeoff: ModernBERT-TR vs BERTurk Turkish NER Bake-off},
year = {2026},
url = {https://huggingface.co/emi08/maske-modernbert-tr-bakeoff},
}
Lisans
Apache-2.0. Taban model ytu-ce-cosmos/modernbert-tr-base Apache-2.0 lisanslıdır; WikiANN katkısı gümüş etiket içerir.
🇬🇧 English
Overview
maske-modernbert-tr-bakeoff answers the question posed in stage 1 of the maske project: does a 2026 ModernBERT-TR base beat classic BERTurk on Turkish NER? It was trained with the exact same fine-tuning recipe as emi08/maske-berturk-baseline (WikiANN-tr, 20,000 sentences, identical hyperparameters); only the base changed: ytu-ce-cosmos/modernbert-tr-base (~150M params, 144B Turkish tokens, Apache-2.0).
Result: a tie (0.929 F1). WikiANN-tr is saturated at this scale; the architectural gap does not show in a classic NER benchmark. This finding grounded the stage-2 decision to invest in domain data (synthetic KVKK data + replay) rather than base-model hunting. The 19-label PII model emi08/maske was built on modernbert-tr-base following this bake-off (newer architecture, longer context, active maintenance).
⚠️ Experimental model — PER/ORG/LOC only; use emi08/maske for KVKK/PII tasks.
Usage
from transformers import pipeline
ner = pipeline(
"token-classification",
model="emi08/maske-modernbert-tr-bakeoff",
aggregation_strategy="simple",
)
print(ner("Ayşe'ye 500 TL gönderdim, makbuzu Ahmet Bey'in e-postasına yazdım."))
Evaluation & Comparison
Same script, full WikiANN-tr test split (10,000 sentences), entity-level seqeval:
| Model | Base | Precision | Recall | F1 |
|---|---|---|---|---|
| emi08/maske-modernbert-tr-bakeoff | modernbert-tr-base (2026) | 0.923 | 0.935 | 0.929 |
| emi08/maske-berturk-baseline | BERTurk 128k (2020) | 0.923 | 0.934 | 0.929 |
| savasy/bert-base-turkish-ner-cased | BERTurk 32k | 0.919 | 0.930 | 0.925 |
| Werea-co/Werea-TR-NER | BERTurk 32k | 0.907 | 0.917 | 0.912 |
| akdeniz27/bert-base-turkish-cased-ner | BERTurk 32k | 0.699 | 0.649 | 0.673 |
All models measured with the same script and split. WikiANN is auto-labeled and news-style; scores are an upper bound for real-world text.
Training
| Item | Value |
|---|---|
| Base model | ytu-ce-cosmos/modernbert-tr-base (Apache-2.0) |
| Training data | WikiANN-tr — 20k sentences |
| Labels | O, B/I-PER, B/I-ORG, B/I-LOC |
| Recipe | Identical to the BERTurk baseline (epochs, LR, batch); base model is the only difference |
| Hardware | T4 GPU (Colab/Kaggle) |
Limits
- No entity types beyond PER/ORG/LOC; use emi08/maske for PII types.
- WikiANN is silver-labeled; the comparison is meaningful only within this dataset.
- Unmeasured outside news/encyclopedic text.
Citation
@misc{maske_bakeoff_2026,
author = {emi08},
title = {maske-modernbert-tr-bakeoff: ModernBERT-TR vs BERTurk Turkish NER Bake-off},
year = {2026},
url = {https://huggingface.co/emi08/maske-modernbert-tr-bakeoff},
}
License
Apache-2.0. Base model ytu-ce-cosmos/modernbert-tr-base is Apache-2.0; the WikiANN contribution contains silver labels.