bert-restore-punctuation-turkish
This bert-base-cased model fine-tuned for punctuation restoration task on a mixture of open-source datasets. Model is able to predict [! ? , . ; :]
This model works on arbitrarily large Turkish text.
Usage
from transformers import pipeline
classifier = pipeline("token-classification", model="uygarkurt/bert-restore-punctuation-turkish", tokenizer="uygarkurt/bert-restore-punctuation-turkish")
txt = "Türkiye toprakları üzerindeki ilk yerleşmeler Yontma Taş Devri'nde başlar Doğu Trakya'da Traklar olmak üzere Hititler Frigler Lidyalılar ve Dor istilası sonucu Yunanistan'dan kaçan Akalar tarafından kurulan İyon medeniyeti gibi çeşitli eski Anadolu medeniyetlerinin ardından Makedonya kralı Büyük İskender'in egemenliğiyle ve fetihleriyle birlikte Helenistik Dönem başladı"
print(classifier(txt))
# Output
# Türkiye toprakları üzerindeki ilk yerleşmeler Yontma Taş Devri'nde başlar. Doğu Trakya'da Traklar olmak üzere Hititler, Frigler, Lidyalılar ve Dor istilası sonucu Yunanistan'dan kaçan Akalar tarafından kurulan İyon medeniyeti gibi çeşitli eski Anadolu medeniyetlerinin ardından Makedonya kralı Büyük İskender'in egemenliğiyle ve fetihleriyle birlikte Helenistik Dönem başladı.
Evaluation
| Epoch | Training Loss | Validation Loss | Precision | Recall | F1 | Accuracy |
|---|---|---|---|---|---|---|
| 1 | 0.100300 | 0.096145 | 0.862800 | 0.829047 | 0.845586 | 0.965330 |
| 2 | 0.084200 | 0.092011 | 0.878079 | 0.830346 | 0.853546 | 0.967148 |
| 3 | 0.075200 | 0.093337 | 0.878449 | 0.833345 | 0.855303 | 0.967539 |
Information
This is a plot project. Depending on the demand it can be improved.
Contact uygarsci@gmail.com