DUSUNEN Rota 270M v3 — Türkçe Dense Retriever 🔍🇹🇷

Kompakt (270M) Türkçe dense retriever. v3, öğretmen damıtması (E5-large) ve tamamı doğal veri ile eğitildi: 220K MS MARCO-TR + 88K DUSUNEN çifti (sentetik şablon yok), çapraz in-batch negatifler ve margin-MSE damıtma.

Ölçülen sonuçlar

Sabit mteb/TurHistQuadRetrieval (1.024 sorgu / 1.213 belge), aynı değerlendirici, bf16:

v3, tabanı geçti (+%4,6 nDCG) ve E5-base'e yaklaştı; e-ticaret-dışı genel Türkçe RAG/arama için kompakt bir alternatiftir. Not: tam recall@100'de E5 hâlâ öndedir; v3 birinci-aşama aday üretimi için tasarlanmıştır.

Eğitim

• Taban: microsoft/harrier-oss-v1-270m · Öğretmen: intfloat/multilingual-e5-large
• Veri: 308K doğal çift (220K MS MARCO-TR + 88K DUSUNEN); yalnız doğal, sentetik yok
• Kayıp: in-batch InfoNCE + 0,1·margin-MSE (öğretmen skorları) · 2 epoch · bf16
• Not: Bu mimari bf16 ile çalıştırılmalıdır (fp16 gömme çıktısında NaN üretir).

Kullanım

import torch, torch.nn.functional as F
from transformers import AutoModel, AutoTokenizer

tok = AutoTokenizer.from_pretrained("Werea-co/DUSUNEN-Rota-270M-v3")
model = AutoModel.from_pretrained("Werea-co/DUSUNEN-Rota-270M-v3", torch_dtype=torch.bfloat16).cuda().eval()

def embed(texts, prefix):
    e = tok([prefix+t for t in texts], padding=True, truncation=True, max_length=192, return_tensors="pt").to("cuda")
    with torch.inference_mode():
        h = model(**e).last_hidden_state
        m = e["attention_mask"].unsqueeze(-1).float()
        return F.normalize((h.float()*m).sum(1)/m.sum(1), dim=-1)

q = embed(["Türkiye'nin başkenti neresi?"], "query: ")
d = embed(["Ankara, Türkiye'nin başkentidir."], "passage: ")
print((q@d.T).item())

Lisans

Apache-2.0. Taban: Harrier-OSS-270M. Eğitim: Werea.

_{💜 werea.co — Fikirden üretime.}