🔒 maske
Türkçe metinde kişisel veri (PII) tespiti — KVKK odaklı, 9 varlık türü, 19 etiket
Turkish personal-data (PII) detection — KVKK-oriented, 9 entity types, 19 labels
Türkçe · English
🇹🇷 Türkçe
Genel Bakış
maske, Türkçe serbest metinde dokuz tür kişisel veriyi bulan 19 etiketli bir token sınıflandırma (NER) modelidir: PER, ORG, LOC, ADDR, TC_NO, IBAN, PHONE, PLATE, EMAIL (BIO şeması). Model, 6698 sayılı Kişisel Verilerin Korunması Kanunu'nun (KVKK) maskeleme ve anonimleştirme yükümlülükleri için tasarlanmıştır; müşteri e-postaları, destek kayıtları ve teslim belgeleri gibi gerçek dünya metinlerinde çalışmayı hedefler.
maske projesinin iki katmanlı tasarımındaki NER katmanıdır: kuralların belirleyici biçimle yakaladığı alanlar (TCKN, IBAN) için deterministik bir kural katmanı planlanırken, ek almış isimler (Ayşe'ye, Ahmet'ten) ve adresler gibi esnek varlıklar için bu model sorumludur. Taban model ytu-ce-cosmos/modernbert-tr-base (Apache-2.0, ~150M parametre, 144B Türkçe token) olup gövde ağırlıkları bir WikiANN-tr ince ayarından taşınmış, sınıflandırıcı başı 19 etiket için yeniden başlatılmıştır.
📰 Haberler
- 27 Ekim 2026 — E-posta tespitini iyileştiren bir eğitim güncellemesi sürüyor (parçalı tespiti düzelten son işlem katmanı + zorlayıcı negatif örnekler). Aşağıdaki gerçek-metin metrikleri eğitim sonrası değerlendirmeyle güncellenecektir.
- Ekim 2026 — İlk yayın: 19 etiketli KVKK modeli, modernbert-tr-base tabanı, sentetik + WikiANN replay eğitim tarifi.
🏷️ Etiket Şeması
| Etiket | Açıklama | Örnek |
|---|---|---|
PER |
Kişi adı | Ahmet Yılmaz, Ayşe Hanım |
ORG |
Kurum / şirket | Kolaykargo A.Ş. |
LOC |
Yer | Kadıköy, Ankara |
ADDR |
Açık adres | Bağdat Cad. No:12 D:3, Kadıköy/İstanbul |
TC_NO |
T.C. kimlik no (11 hane, sağlama toplamlı) | 34628194872 |
IBAN |
IBAN (TR + 26 hane, mod-97 geçerli) | TR33 0006 1005 1978 6457 8413 26 |
PHONE |
Telefon | 0532 123 45 67, +90 532 123 45 67 |
PLATE |
Araç plakası | 34 ABC 123 |
EMAIL |
E-posta adresi | ad.soyad@firma.com.tr |
Her tür B-/I- önekleriyle temsil edilir; toplam 19 etiket (18 + O).
📊 Sonuçlar
Tüm sonuçlar span-exact (birebir eşleşme) ölçütüyle, aynı değerlendirme betikleriyle hesaplanmıştır.
| Değerlendirme | Micro F1 | Ne kanıtlar, ne kanıtlamaz |
|---|---|---|
| WikiANN-tr test (replay karışımı) | 0.9317 (P 0.9260 / R 0.9374) | PER/ORG/LOC yeteneği 7→19 etiket yeniden eğitiminden sağlam çıktı (önceki model: 0.929). Gümüş etiket; PII kıyaslaması değildir. |
| maske-kvkk-synth test bölümü | 1.0000 | Üretici içi: eğitim şablonlarıyla aynı, görünmeyen değer dizgileri. Bağlantıların doğru kurulduğunu kanıtlar; gerçek dünya performansı ölçmez. |
| Werea-KVKK-Bench (çapraz üretici) | 0.2617 (P 0.1789 / R 0.4875; 240 satır, eşlenen türler) | Farklı bir üretim hattından (Werea-co) cue-yoğun, biçimlendirilmiş veri. Dış sentetik sözleşmeye uyumu ölçer. |
| Gerçek metin başlangıç seti | 0.7805 (P 0.6809 / R 0.9143; 29 doküman / 35 varlık; 8 tuzak dokümanda 7 FP) | El ile doğrulanmış 29 düz yazı dokümanı; 11 haneli sipariş no, kart no, VKN, URL içeren boş-altın tuzaklar dahil. Üretime en yakın ölçüm; küçük set. |
| Gerçek metin — tür bazında | P | R | F1 | gold |
|---|---|---|---|---|
| ADDR | – | – | – | 3 |
| – | – | – | 2 | |
| IBAN | – | – | – | 2 |
| LOC | – | – | – | 5 |
| ORG | – | – | – | 5 |
| PER | – | – | – | 7 |
| PHONE | – | – | – | 4 |
| PLATE | – | – | – | 2 |
| TC_NO | – | – | – | 5 |
| MICRO | 0.6809 | 0.9143 | 0.7805 | 35 |
Dürüstlük notu: Yukarıdaki hiçbir sayı doğal olarak oluşmuş Türkçe kişisel veri metninden, ölçekli biçimde gelmemektedir. Eğitim verisi tamamen sentetiktir (nötr taşıyıcı cümlelere varlık enjeksiyonu) ve WikiANN replay karışımı içerir. Bu modeli çözülmüş bir sorun değil, güçlü bir başlangıç noktası olarak değerlendirin.
🚀 Hızlı Başlangıç
# pip install -U transformers accelerate
from transformers import pipeline
import re
pipe = pipeline("token-classification", model="emi08/maske",
aggregation_strategy="simple")
EMAIL_RE = re.compile(r"[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}")
def detect(text):
ents = [(e["start"], e["end"], e["entity_group"]) for e in pipe(text)]
# e-posta kurtarma: parçalı tahminleri tam adresle normalize et
ents = [x for x in ents if not (x[2] == "EMAIL" and "@" not in text[x[0]:x[1]])]
for m in EMAIL_RE.finditer(text):
keep = [x for x in ents if not (x[0] < m.end() and m.start() < x[1])]
if len(keep) != len(ents):
ents = keep + [(m.start(), m.end(), "EMAIL")]
return sorted(ents)
def mask(text):
out, prev = [], 0
for s, e, t in detect(text):
out += [text[prev:s], f"[{t}]"]; prev = e
return "".join(out) + text[prev:]
print(mask("T.C. kimlik numaram 34628194872, faturayi destek@magazam.com'a gonderin, "
"telefonum 0532 123 45 67."))
# T.C. kimlik numaram [TC_NO], faturayi [EMAIL]'a gonderin, telefonum [PHONE] .
🛠️ Önerilen Son İşlem: E-posta Kurtarma
Tokenleştirici e-posta adreslerini @ ve . çevresinde alt parçalara böldüğü için model nadiren parçalı e-posta varlıkları üretebilir (örn. yalnız @ veya .com). Yukarıdaki detect() işlevindeki iki kural bu durumu üretimde giderir: (1) @ içermeyen EMAIL tahminleri atılır; (2) geçerli bir e-posta adresiyle çakışan herhangi bir tahmin tam adres aralığına normalize edilir. Ayrıntılı uygulama ve değerlendirme kodu GitHub deposundadır.
🏋️ Eğitim
| Öğe | Değer |
|---|---|
| Taban model | ytu-ce-cosmos/modernbert-tr-base (Apache-2.0) |
| Gövde | WikiANN-tr ince ayarından taşınan ağırlıklar; 19 etiket için yeniden başlatılan baş |
| Veri | 8.000 sentetik KVKK cümlesi (~%40 varlık yoğunluğu, sağlama toplamlı değerler) + 20.000 WikiANN-tr replay |
| Bölme | 28.000 eğitim / 11.000 doğrulama (karışımdan sonra) |
| Hiperparametreler | 3 epok, LR 2e-5, batch 16, max_len 192, fp32, tek T4 |
| Seçim | Doğrulama F1'i en iyi kontrol noktası |
🔒 Veri ve Gizlilik Beyanı
Sentetik veri kümesindeki her varlık değeri programatik olarak üretilmiştir: TC kimlik numaraları sağlama toplamı geçerli ancak hiç verilmemiş; IBAN'lar mod-97 geçerli ancak gerçek bir hesaba ait değil; adlar ve adresler kurgusaldır. Eğitim veya değerlendirmede hiçbir gerçek kişinin verisi kullanılmamıştır.
⚠️ Sınırlamalar ve Etik Kullanım
- Etiket uzayında VKN (vergi kimlik no), pasaport, IP, doğum tarihi, sağlık verisi vb. özel kategori türleri yoktur.
- Sözcüksel ipucu taşımayan çıplak anılımlar az test edilmiştir.
- Sentetik taşıyıcılar kısa ve temizdir; uzun belgeler, OCR gürültüsü ve gayri resmî metin ölçülmemiştir.
- WikiANN etiketleri gümüş/sezgisel etiketlerdir.
- Bilinen sorun (güncel eğitimde gideriliyor): e-posta adresleri nadiren parçalı yakalanmaktadır; yukarıdaki kurtarma katmanı bunu üretimde çözer.
- Otomatik maskeleme tek başına KVKK uyumu sağlamaz; tespit ≠ anonimleştirme. Kritik akışlarda insan denetimi gereklidir.
🔗 Kardeş Modeller ve Benzer Çalışmalar
- emi08/maske-berturk-baseline — aşama 1 referans modeli (PER/ORG/LOC, BERTurk tabanı)
- emi08/maske-modernbert-tr-bakeoff — aşama 1 taban karşılaştırması
- cagrigungor/pii-guard-turkish-270m — talimat okuyan Türkçe maskeleme modeli
- OpenMed/privacy-filter-multilingual — 16 dil, 54 PII kategorisi
📚 Atıf
@misc{maske_2026,
author = {emi08},
title = {maske: Turkish Personal Data (PII) Detection for KVKK Workflows},
year = {2026},
url = {https://huggingface.co/emi08/maske},
}
⚖️ Lisans
Apache-2.0. Taban model ytu-ce-cosmos/modernbert-tr-base Apache-2.0 lisanslıdır; WikiANN katkısı gümüş (otomatik) etiket içerir. Eğitim veri kümesi emi08/maske-kvkk-synth herkese açıktır.
🇬🇧 English
Overview
maske is a 19-label token-classification (NER) model that detects nine types of personal data in Turkish free text: PER, ORG, LOC, ADDR, TC_NO, IBAN, PHONE, PLATE, EMAIL (BIO scheme). It is built for masking and redaction obligations under Turkey's Law No. 6698 on Protection of Personal Data (KVKK) and targets real-world documents: customer e-mails, support tickets, delivery documents. It is the NER layer of the two-layer maske design (a deterministic rule layer for checksum fields is planned separately). Base model is ytu-ce-cosmos/modernbert-tr-base (Apache-2.0, ~150M params, 144B Turkish tokens); body weights were carried over from a WikiANN-tr fine-tune, with the classification head re-initialized for 19 labels.
News
- Oct 27, 2026 — A training update that fixes the observed e-mail span fragmentation (rescue post-processing + hard negatives) is in progress. Real-text metrics below will be refreshed after the re-evaluation.
- Oct 2026 — Initial release: 19-label KVKK model on modernbert-tr-base, synthetic + WikiANN replay recipe.
Label Schema
| Label | Meaning | Example |
|---|---|---|
PER |
Person name | Ahmet Yılmaz |
ORG |
Organization | Kolaykargo A.Ş. |
LOC |
Location | Kadıköy |
ADDR |
Street address | Bağdat Cad. No:12 D:3, Kadıköy/İstanbul |
TC_NO |
Turkish ID no (11 digits, checksum-valid) | 34628194872 |
IBAN |
IBAN (TR + 26 digits, mod-97 valid) | TR33 0006 1005 1978 6457 8413 26 |
PHONE |
Phone | 0532 123 45 67 |
PLATE |
License plate | 34 ABC 123 |
EMAIL |
E-mail address | ad.soyad@firma.com.tr |
Each type appears with B-/I- prefixes; 19 labels in total (18 + O).
Results
All numbers are span-exact, computed with the same evaluation scripts.
| Evaluation | Micro F1 | What it does / does not prove |
|---|---|---|
| WikiANN-tr test (replay mix) | 0.9317 (P 0.9260 / R 0.9374) | PER/ORG/LOC survived the 7→19 retraining (previous model: 0.929). Silver labels; a regression check, not a PII benchmark. |
| maske-kvkk-synth test split | 1.0000 | In-generator: same template skeletons, unseen entity strings. Proves wiring, not real-world performance. |
| Werea-KVKK-Bench (cross-generator) | 0.2617 (P 0.1789 / R 0.4875; 240 rows, mapped types) | Different generator (Werea-co); measures conformance to an external synthetic contract. |
| Real-text starter set | 0.7805 (P 0.6809 / R 0.9143; 29 docs / 35 entities; 7 FPs on 8 trap docs) | 29 hand-checked prose docs incl. traps (11-digit order numbers, card numbers, VKN, URLs) with empty gold. Closest to production behavior; small set. |
| Real text — per type | P | R | F1 | gold |
|---|---|---|---|---|
| ADDR | – | – | – | 3 |
| – | – | – | 2 | |
| IBAN | – | – | – | 2 |
| LOC | – | – | – | 5 |
| ORG | – | – | – | 5 |
| PER | – | – | – | 7 |
| PHONE | – | – | – | 4 |
| PLATE | – | – | – | 2 |
| TC_NO | – | – | – | 5 |
| MICRO | 0.6809 | 0.9143 | 0.7805 | 35 |
Honesty note: none of these numbers comes from naturally occurring Turkish personal-data text at scale. The training corpus is fully synthetic (entity injection into neutral carriers) mixed with WikiANN replay. Treat this model as a strong baseline, not a solved problem.
Quick Start
from transformers import pipeline
import re
pipe = pipeline("token-classification", model="emi08/maske",
aggregation_strategy="simple")
EMAIL_RE = re.compile(r"[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}")
def detect(text):
ents = [(e["start"], e["end"], e["entity_group"]) for e in pipe(text)]
ents = [x for x in ents if not (x[2] == "EMAIL" and "@" not in text[x[0]:x[1]])]
for m in EMAIL_RE.finditer(text):
keep = [x for x in ents if not (x[0] < m.end() and m.start() < x[1])]
if len(keep) != len(ents):
ents = keep + [(m.start(), m.end(), "EMAIL")]
return sorted(ents)
def mask(text):
out, prev = [], 0
for s, e, t in detect(text):
out += [text[prev:s], f"[{t}]"]; prev = e
return "".join(out) + text[prev:]
print(mask("T.C. kimlik numaram 34628194872, faturayi destek@magazam.com'a gonderin, "
"telefonum 0532 123 45 67."))
# T.C. kimlik numaram [TC_NO], faturayi [EMAIL]'a gonderin, telefonum [PHONE] .
Recommended Post-processing: E-mail Rescue
Because the tokenizer splits e-mail addresses around @ and ., the model can occasionally emit fragmented e-mail spans (e.g. only @ or .com). The two rules in detect() above fix this in production: (1) drop EMAIL predictions containing no @; (2) normalize any prediction overlapping a well-formed e-mail address to the full address span. Full implementation and evaluation code live in the GitHub repo.
Training
| Item | Value |
|---|---|
| Base model | ytu-ce-cosmos/modernbert-tr-base (Apache-2.0) |
| Body | Weights carried from a WikiANN-tr fine-tune; head re-initialized for 19 labels |
| Data | 8,000 synthetic KVKK sentences (~40% entity density, checksum-valid values) + 20,000 WikiANN-tr replay |
| Splits | 28,000 train / 11,000 val after mixing |
| Hyperparameters | 3 epochs, LR 2e-5, batch 16, max_len 192, fp32, single T4 |
| Selection | Best checkpoint by validation F1 |
Data & Privacy Statement
Every entity value in the synthetic corpus was generated programmatically: TC IDs are checksum-valid but never issued, IBANs pass mod-97 but belong to no real account, names and addresses are fictional. No real person's data was used in training or evaluation.
Limitations & Ethical Use
- No VKN (tax number), passport, IP, date-of-birth, health or other special-category types in the label space.
- Bare mentions without lexical cues are under-tested.
- Synthetic carriers are short and clean; long documents, OCR noise and informal text are unmeasured.
- WikiANN labels are silver/heuristic.
- Known issue (being fixed in the current retrain): e-mails were occasionally detected as fragments; the rescue layer above addresses this in production.
- Automated masking does not by itself guarantee KVKK compliance; detection ≠ anonymization. Human review remains necessary.
Related Models
- emi08/maske-berturk-baseline — stage-1 reference (PER/ORG/LOC, BERTurk base)
- emi08/maske-modernbert-tr-bakeoff — stage-1 base bake-off
- cagrigungor/pii-guard-turkish-270m · OpenMed/privacy-filter-multilingual
Citation
@misc{maske_2026,
author = {emi08},
title = {maske: Turkish Personal Data (PII) Detection for KVKK Workflows},
year = {2026},
url = {https://huggingface.co/emi08/maske},
}
License
Apache-2.0. Base model ytu-ce-cosmos/modernbert-tr-base is Apache-2.0; the WikiANN contribution contains silver (auto-generated) labels. The training dataset emi08/maske-kvkk-synth is public.