turkish-bseby-classifier

What is this model? turkish-bseby-classifier is a multi-label Turkish classifier for banks that flags personal data, special-category data, sensitive data, customer secrets and bank secrets in text (BSEBY / BDDK).

EN: Turkish personal-data and secrecy category classifier for banks — multi-label classifier for personal data, special-category data, sensitive data, customer secret and bank secret (BSEBY / BDDK); ~32 ms/text on CPU. TR: Bankalar için Türkçe kişisel veri ve sır kategori sınıflandırıcısı — kişisel veri, hassas veri ve sır kapsamındaki verileri (BSEBY) sınıflandırır. Model page & setup help / Model sayfası ve kurulum desteği: halilneed.agency/models/turkish-bseby-classifier

Türkçe metinde bankanın veri envanterinde ve DLP hattında sorduğu üç soruyu cevaplayan çok etiketli sınıflandırıcı: bu metinde kişisel veri, hassas veri ya da sır kapsamında veri var mı? BSEBY md. 6/6 verilerin güvenlik sınıfının bu üç ölçüte bakılarak belirlenmesini, md. 14/9 ise dış ağa akan trafikte hassas veri ve sır kapsamındaki verinin sızdırılmasının engellenmesini ister. CPU'da metin başına ~32 ms.

Girdi : Demirtepe Yapı A.Ş.'nin nakdi kredi limiti 40 milyon TL'ye çıkarıldı
Çıktı : musteri_sirri                              (tüzel kişi: kişisel veri yok)

Girdi : müşteri kemoterapi gördüğü için kredi taksitlerinin ertelenmesini istedi
Çıktı : kisisel_veri, ozel_nitelikli, musteri_sirri

Girdi : internet şubesi parolanız: Kp!7731x, kimseyle paylaşmayın
Çıktı : kisisel_veri, hassas_veri

Girdi : core banking prod DB servis hesabı: svc_cb / Xr9!mQ2
Çıktı : banka_sirri

Girdi : abonenin son üç faturası ödenmemiş, hattı kısıtlanacak
Çıktı : kisisel_veri                               (banka dışı müşteri: sır değil)

Girdi : ihtiyaç kredisi faiz oranımız 1 Ekim itibarıyla %3,49'dur
Çıktı : (yok)

Kategori düzeyinde ayrım için: halilneed/turkish-kvkk-classifier · maskeleme için: halilneed/turkish-pii-detection · değerlendirme seti: halilneed/turkish-bseby-classification-benchmark (CC0)

Etiketler

Etiketsiz çıktı = kamuya açık bilgi, genel kural, duyuru, ürün anlatımı.

BSEBY: Bankaların Bilgi Sistemleri ve Elektronik Bankacılık Hizmetleri Hakkında Yönetmelik (RG 15/3/2020-31069). Sır Yönetmeliği: Sır Niteliğindeki Bilgilerin Paylaşılması Hakkında Yönetmelik (RG 4/6/2021-31501).

Yorum kararları

Yönetmelikler bu sınıfları işlevsel tanımlar; sınıflandırıcı için bir çizgi çekmek gerekti. Bankanızın varlık sınıflandırma kılavuzu (BSEBY md. 6/5) farklı çiziyorsa modeli o çizgiyle değerlendirin.

• Hassas veride sahiplik: yönetmelik "müşteriye ait" der. Metinden parolanın müşteriye mi çalışana mı ait olduğu çoğu zaman anlaşılmadığı için, bir kişinin doğrulama verisi sahibine bakılmadan hassas_veridir. Sistem/servis hesabı parolası ve API anahtarı kişiye değil kuruma aittir: banka_sirri.
• Değer metinde olmalı: "müşteri şifresini dolandırıcıya vermiş" hassas_veri değildir; maskeli değer (****) de değildir.
• Anne kızlık soyadı kendi başına hassas_veri değildir (BSEBY md. 34/10 onun kimlik doğrulamada kullanılmasını yasaklar); metin onu açıkça doğrulama cevabı olarak kullanıyorsa işaretlenir.
• Hesap tanımlayıcısı: IBAN, hesap no ve tam kart numarası, banka bağlamı açık olmasa da musteri_sirridir.
• Banka dışı müşteri ilişkisi (e-ticaret, telekom, sigorta) kişisel veridir, müşteri sırrı değildir. Borç, taksit, icra tek başına bankacılık içeriği sayılmaz.
• Banka sırrı: yönetmelik tanım vermez (md. 5/5: "yalnızca bankaya ait bilgiler"). Kurum açıkça banka dışıysa işaretlenmez; belirsizse banka varsayılır.
• Tüzel kişi müşterinin bilgisi musteri_sirridir, kisisel_veri değildir.

Sonuçlar

v2 (14 Eki 2026). v1'in kartında yazdığım zayıf dilimler (tüzel kişi müşteriler, banka dışı kurumların iç bilgisi, kamuya açık bilgi, iki sırrın birlikte geçtiği metinler) için 263 yeni eğitim şablonu eklendi ve aynı ayarlarla yeniden eğitildi. v1 hâlâ revision="v1" ile duruyor.

İki bağımsız değerlendirme seti var, ikisi de halilneed/turkish-bseby-classification-benchmark'ta:

1. Held-out (747, default, asıl sonuç): eğitim verisini görmeyen iki yazarın yalnızca etiket kılavuzundan yazdığı 750 metin, kör ikinci etiketleme, birebir uzlaşılan 747 metin. 2 Ekim'de, v2 şablonlarından önce ve onlardan bağımsız yazıldı.
2. Zor set (202, hard): v1'in zayıf dilimlerini hedefleyen, eğitim şablonlarını görmeyen bir yazarın yazdığı 202 metin, kör ikinci etiketleme, 202'sinde de birebir uzlaşma. Dikkat: v2 şablonları aynı dilimleri hedefliyor; yazarlar farklı ama aynı dil modeli ve aynı kılavuz. Bu setteki v2 kazancını held-out'takinden daha temkinli okuyun.

Etiket bazında F1 (kesinlik / duyarlılık):

Şablon düzeyinde ayrık test (v2'nin kendi bölmesi, 478 şablondan 1.102 örnek; v1'in bölmesiyle aynı değil, doğrudan kıyaslanmaz): micro-F1 0.950, macro-F1 0.917, tam eşleşme 0.905, tüzel dilim 0.939 (n=82).

"Sır var mı" = musteri_sirri ya da banka_sirri. "Tüzel kişi dilimi" = altın etikette müşteri sırrı olup kişisel veri olmayan metinler; model ikisini de doğru vermişse doğru sayılır.

Uzlaşma oranı hakkında: iki etiketleme de aynı dil modeliyle ve aynı kılavuzla yapıldı; held-out'ta %99,6, zor sette %100 birebir uzlaşma kılavuzun tutarlı uygulanabildiğini gösterir, iki bağımsız insanın uzlaşmasını değil. İnsan etiketleyiciyle ölçülmedi.

Kullanım

Etiket başına eşikler dev setinde ayarlandı (thresholds.json); kisisel_veri dışındaki dört etikette eşik 0.5'i geçmez (duyarlılık öncelikli).

import json, torch
from huggingface_hub import hf_hub_download
from transformers import AutoModelForSequenceClassification, AutoTokenizer

MODEL = "halilneed/turkish-bseby-classifier"
tok = AutoTokenizer.from_pretrained(MODEL)
model = AutoModelForSequenceClassification.from_pretrained(MODEL).eval()
esik = json.load(open(hf_hub_download(MODEL, "thresholds.json")))

def siniflandir(metin):
    with torch.inference_mode():
        p = torch.sigmoid(model(**tok(metin, return_tensors="pt", truncation=True, max_length=320)).logits)[0]
    return [model.config.id2label[i] for i, v in enumerate(p.tolist()) if v >= esik[model.config.id2label[i]]]

print(siniflandir("Demirtepe Yapı A.Ş.'nin nakdi kredi limiti 40 milyon TL'ye çıkarıldı"))
# ['musteri_sirri']

CPU gecikmesi: Intel i5-12400F, 8 iş parçacığı, ortalama 207 karakterlik metin → batch 1: 32 ms/metin. 320 belirteçten uzun metin kesilir; uzun belgeleri parçalayıp parça etiketlerinin birleşimini alın.

Eğitim

Sınırlar

• Eğitim verisi ve değerlendirme setleri sentetiktir ve bir dil modeliyle üretilmiştir; gerçek banka metninde ölçmeden kritik bir hatta koymayın.
• En zayıf etiket hâlâ hassas_veri (v2'de F1 0.88). v2 bu dilimi hedeflemedi: belirteç ve anahtar biçimlerinde yeni şablon yazılamadı. v1'in held-out'unda kaçanların çoğu belirteç ve anahtar biçimleri (JWT, özel anahtar bloğu, cihaz eşleştirme anahtarı, kişisel erişim belirteci) ile JSON gövdesindeki parola; yanlış alarmların çoğu maskeli kart numarası ve "sonu 7712 ile biten kartınız" türü bildirimler. Biçimi belli değerler (kart numarası, JWT, anahtar bloğu) için kural tabanlı bir denetimle birlikte kullanın.
• banka_sirri kesinliği held-out'ta 0.89'dan 0.96'ya çıktı, ama zor sette hâlâ 0.76. v1'de yanlış alarmlar üç yerde toplanıyordu: tüzel müşteriye ait teknik metinler (SWIFT MT mesajı, mali tahlil özeti), açıkça banka dışı kurumların iç bilgisi (fabrika üretim raporu, dökümhane servis hesabı) ve ilan edilmiş ücret tarifesi. Açıklanmış ile açıklanmamış bilgi arasındaki ayrım çoğu zaman metnin dışındaki bir olguya bağlıdır; model bunu yalnızca metindeki ipuçlarından çıkarabilir.
• musteri_sirri ile banka_sirrinin birlikte bulunduğu metinlerde v2 held-out'ta 27'nin 25'ini, zor sette 35'in 27'sini tam doğru veriyor (v1: 20/27, 18/35).
• Model tek bir metin parçasına bakar; müşteri sırrı çoğu zaman alanların birleşiminden doğar (md. 4/4). Tablo ve kayıt düzeyinde sınıflandırmada alanları birlikte verin.
• Etiketler bir sınıflandırma sinyalidir, hukuki nitelendirme değildir. BSEBY ve sır saklama yükümlülüğüne uyum kullananın sorumluluğundadır.

Tanıtım sayfası: halilneed.agency/models/turkish-bseby-classifier · Diğer Türkçe gizlilik modelleri: halilneed.agency/models

Related models / İlgili modeller

• halilneed/turkish-pii-detection — instruction-conditioned PII masking / talimatla kişisel veri maskeleme (270M)
• halilneed/turkish-pii-detection-GGUF — GGUF (BF16, Q8_0) for Ollama & llama.cpp, CPU / çevrimdışı GGUF sürümü
• halilneed/turkish-kvkk-classifier — KVKK / VERBİS personal-data category classifier / kişisel veri kategori sınıflandırıcı
• halilneed/turkish-bseby-classifier — BSEBY banking data & secrecy classifier / bankacılık veri ve sır sınıflandırıcı (this model / bu model)
• halilneed/turkish-prompt-injection-classifier — Turkish prompt injection detection / Türkçe prompt injection tespiti

All five in one collection / Hepsi tek koleksiyonda: Turkish Privacy & Safety Models

FAQ / Sık sorulan sorular

What labels does it predict? / Hangi etiketleri verir? kisisel_veri, ozel_nitelikli, hassas_veri, musteri_sirri, banka_sirri; no label means public information. / Etiketsiz çıktı = kamuya açık bilgi.

How accurate is v2? / v2 ne kadar doğru? Held-out (747): micro-F1 0.960, macro-F1 0.952, exact match 0.913. Hard set (202): micro-F1 0.933, macro-F1 0.908. / Zor setteki kazancı temkinli okuyun.

What are the main weaknesses? / Ana zayıflıklar neler? hassas_veri is weakest (F1 0.88 in v2), especially token/key formats; combine with rule-based checks for card numbers, JWTs and key blocks. banka_sirri precision on the hard set is 0.76. / Kural tabanlı denetimle birlikte kullanın.

Can I use the previous version? / Önceki sürümü kullanabilir miyim? Yes, v1 is available with revision="v1". / Evet, revision="v1".

Resources / Kaynaklar

• halilneed agency: halilneed.agency/models/turkish-bseby-classifier