modernbert-tr-legal

ytu-ce-cosmos/modernbert-tr-base modelinin Türk hukuk metniyle kısa bir ek ön eğitimden (maskeli dil modeli, alana uyarlama) geçirilmiş hali.

Taban model Türkçeyi biliyor ama mahkeme kararı okumamış. Bu model okudu. Aşağıda ikisinin aynı cümlelerde ne yaptığını görebilirsiniz.

Ne öğrendi?

İki modele de aynı cümle verildi ve boşluğu doldurmaları istendi. Tabloda her birinin ilk tahmini ve o tahmine verdiği olasılık var.

Cümle	Taban	Bu model
Dosya incelendi, gereği [MASK].	yapıldı (0,76)	görüşüldü (0,82)
Mahkemece davanın [MASK] karar verilmiş, hüküm davalı vekilince temyiz edilmiştir.	reddine (0,87)	kabulüne (0,99)
Mahkemece davanın [MASK] karar verilmiş, hüküm davacı vekilince temyiz edilmiştir.	reddine (0,89)	reddine (0,95)
Boşanmaya sebep olan olaylarda tarafların eşit [MASK] olduğu kabul edilmiştir.	durumda (0,20)	kusurlu (1,00)
Kararın bu nedenle [MASK] gerekmiştir.	verilmesi (0,43)	bozulması (0,62)
Dava, zamanaşımı süresi içinde [MASK].	görülür (0,26)	açılmıştır (0,54)
Tanık beyanları ile dosya [MASK] göre davanın kabulüne karar verilmiştir.	içeriğine (0,62)	kapsamına (0,70)

Çoğu satır kalıp bilgisi. "Gereği görüşüldü", "dosya kapsamına göre", "eşit kusurlu" her gün yazılan ifadeler ve taban model bunları tanımıyor.

İkinci ve üçüncü satır kalıptan fazlası. Hükmü davalı temyiz ediyorsa dava kabul edilmiştir, davacı temyiz ediyorsa reddedilmiştir. Bu model kimin temyiz ettiğine bakıp cevabını değiştiriyor. Taban model iki cümlede de "reddine" diyor.

Tablodaki cümleler bu kart için elle yazıldı ve farkı iyi gösterenler seçildi. Seçmeden bakınca durum şu. Cevabı belli 25 hukuk cümlesinde bu modelin ilk tahmini 23 kez doğru çıktı, taban modelinki 17 kez. Doğru cevaba verilen ortalama olasılık 0,66'dan 0,86'ya yükseldi. Tabanın daha emin olduğu cümleler de var, hepsinde üstün değil.

Kanun maddelerinde

Aynı deneme gerçek kanun metniyle de yapıldı. On maddenin her kelime parçası sırayla gizlendi ve modelden geri istendi. Toplam 434 parça.

Madde	Taban	Bu model
TMK m. 2	%83	%96
TMK m. 6	%81	%90
TBK m. 1	%82	%86
TBK m. 49	%91	%98
TBK m. 112	%80	%97
TCK m. 21	%89	%90
TCK m. 81	%88	%88
HMK m. 27	%78	%99
Anayasa m. 36	%90	%97
FSEK m. 8	%78	%78
Toplam	%84	%91

Taban modelin yanlışları öğretici. TBK m. 49'daki "ahlaka aykırı bir fiille" ifadesinde "ahlaka" yerine "hukuka" diyor, "Kusurlu" yerine "Suçlu". TMK m. 6'da "olguların varlığını ispat" yerine "doğruluğunu kanıtlamak" öneriyor. Gündelik Türkçede doğru, kanun dilinde yanlış. Bu model üçünü de doğru buluyor.

Mevzuat bu modelin eğitim verisinde vardı, yani bu maddelerin çoğunu daha önce gördü. FSEK m. 8'de hiç fark çıkmaması da kayda değer.

Bu yüzden aynı deneme eğitimde hiç bulunmayan metin türleriyle tekrarlandı. Üç yönetmelik maddesi, iki Kişisel Verileri Koruma Kurulu kararı ve bir Rekabet Kurulu kararı, toplam 672 parça. Burada fark neredeyse kapanıyor. Taban %82, bu model %84. Belirgin kazanç yalnız Rekabet Kurulu kararında var (%59'a karşı %64).

Kısacası model, okuduğu türde güçlü. Mahkeme kararı ve kanun dilinde tabanı açık farkla geçiyor, kurul kararlarında ve yönetmeliklerde tabandan pek ayrışmıyor.

Daha geniş ölçümde model, hiç görmediği kararlarda maskelenen kelimeyi tabandan belirgin biçimde iyi kestiriyor. Perplexity 3,30'dan 1,96'ya iniyor. Bunu yaparken genel Türkçesinden bir şey kaybetmedi. Vikipedi metninde perplexity eğitimden önce 6,27 idi, sonra da 6,27.

Sözlüğü ve mimarisi tabanla aynı. Taban modeli kullanan bir kodda model adını değiştirmeniz yeter. 8.192 belirteçlik bağlam da duruyor, uzun kararlar tek seferde okunabiliyor.

Kullanım

from transformers import pipeline

doldur = pipeline("fill-mask", model="mfurkanakinci/modernbert-tr-legal")
doldur("Davanın [MASK] karar verilmiştir.")

Eğitim

Taban: ytu-ce-cosmos/modernbert-tr-base, sürüm d16b9da8. 150 milyon parametre, 22 katman, 50.008 parçalık sözlük. Tokenizer değişmedi.
Görev: maskeli dil modeli, yüzde 30 maske, 1.024 belirteçlik diziler.
Adım: 3.000, adım başına 512 dizi. Öğrenme oranı 1e-4, 100 adım ısınma, 1.500. adıma kadar sabit, sonra sıfıra iniyor.
Görülen veri: 1,57 milyar belirteç. Bu, aşağıdaki havuzun rastgele yüzde 42'si.

Veri

Havuz 3,72 milyar belirteç, 5,03 milyon belge.

Kaynak	Pay
Yargıtay	%39
İlk derece mahkemeleri	%21
Danıştay	%18
Bölge adliye mahkemeleri	%14
AİHM (İngilizce)	%2
Diğer yüksek mahkemeler ve mevzuat	kalan

Değerlendirme kümelerine sızıntıyı önlemek için 13.967 karar ve 413 kanun maddesi eğitimden çıkarıldı. 200 karakterden kısa kararlar ve birebir kopyalar atıldı.

Ölçüm

Perplexity, eğitimde görülmemiş 2.000 hukuk dizisinde ve Türkçe Vikipedi'den 1.000 dizide ölçüldü. Düşük olan iyi.

Adım	Hukuk	Genel Türkçe
0 (taban)	3,295	6,274
1.000	2,103	6,106
3.000 (bu model)	1,961	6,274

Kontrol noktası, sonuçlar görülmeden yazılmış bir kuralla seçildi: genel Türkçe perplexity'si tabanı aşmayanlar içinde hukuk perplexity'si en düşük olan.

Nelere dikkat etmeli?

Bu modelden ve tabandan aynı tarifle üç hukuk sınıflandırıcısı eğitildi (paragrafın mahkemenin kendi görüşü olup olmadığı, madde atfının işlevi ve türü). Üçünde de iki model arasındaki fark ölçüm belirsizliğinin içinde kaldı. Model bu işlerde tabandan kötü değil, ama iyi olduğu da gösterilemedi.
Eğitim verisi mahkeme kararlarıdır ve kişisel veri içerebilir. Model, maske doldururken eğitim metinlerindeki ifadeleri yeniden üretebilir.
Genel Türkçe metinle karıştırılarak eğitilmedi. Hukuk dışı işlerde taban modelden iyi olması beklenmemeli.
Hukuki tavsiye üretmez, bir hukuk kaynağı değildir.

Lisans

Apache 2.0, taban modelle aynı.

Loading…