fin-bert-tr
Türkçe Finansal BERT — Türk finans metinleri üzerinde sıfırdan ön-eğitilmiş BERT modeli.
Model Detayları
| Parametre | Değer |
|---|---|
| Mimari | BERT (mini varyantı) |
| Vocab Boyutu | 32,000 |
| Tokenizer | Zemberek morfoloji + BPE |
| Ön-Eğitim Görevi | Masked Language Modeling (MLM, %15) |
| Eğitim Tarihi | 2026-03-12 |
Eğitim Verisi
Toplam ~0 MB Türkçe finans metni:
| Kaynak | Açıklama |
|---|---|
| Bloomberg HT | bloomberg.com.tr ekonomi ve piyasa haberleri |
| Investing TR | tr.investing.com finans haberleri |
| Bigpara | bigpara.hurriyet.com.tr BIST ve döviz haberleri |
| Dünya Gazetesi | dunya.com iş dünyası ve ekonomi |
| MASSIVE TR | Amazon/massive Türkçe utterance veri seti |
| WikiANN TR | Türkçe Wikipedia NER cümleleri |
| TCMB/BDDK | Merkez bankası ve düzenleyici kurum duyuruları |
| Sentetik | Şablon tabanlı Türkçe finans metinleri |
Kullanım
from transformers import BertForMaskedLM, PreTrainedTokenizerFast
import torch
tokenizer = PreTrainedTokenizerFast.from_pretrained("Toxotes/fin-bert-tr")
model = BertForMaskedLM.from_pretrained("Toxotes/fin-bert-tr")
text = "Merkez Bankası [MASK] oranını artırdı."
inputs = tokenizer(text, return_tensors="pt")
with torch.no_grad():
outputs = model(**inputs)
logits = outputs.logits
# En yüksek olasılıklı token
mask_idx = (inputs["input_ids"] == tokenizer.mask_token_id).nonzero()[0, 1]
top_token = tokenizer.decode(logits[0, mask_idx].argmax().item())
print(top_token) # → faiz
İnce-Ayar
Bu model aşağıdaki görevler için ince-ayarlanabilir:
- Finansal metin sınıflandırma
- NER (named entity recognition) — banka, şirket, oran isimleri
- RAG query routing (bkz.
fin-bert-tr-router) - Türk finans duygu analizi
Proje
MOSAIC — Federated Financial RAG System GitHub