Loading…
Loading…
jhu-clsp/mmBERT-small con vocabolario ridotto a 32.768 token sui dati di training di aliasit-pii-dataset-v2. NON e' fine-tuned: e' il punto di partenza di aliasit-pii-edge.
Questo modello non e' addestrato al riconoscimento di PII. E' il backbone da cui si parte: jhu-clsp/mmBERT-small con l'embedding ristretto al vocabolario che serve. Serve come base_model di un fine-tuning, non come modello finito.
| prima | dopo | |
|---|---|---|
| vocabolario | 256.000 | 32.768 |
| parametri totali | 140,9M | 55,0M |
| di cui embedding | 98,3M | 12,6M |
| encoder | 42,6M | 42,4M |
| merge BPE | 580.604 | 60.641 |
Conteggio dei token su 48.000 documenti, 8.000 per ciascuna delle 6 lingue. Il campionamento e' bilanciato di proposito: contando il corpus cosi' com'e', con l'italiano al 45%, sarebbe uscito un vocabolario italiano.
I 32.768 token tenuti coprono il 98,088% delle occorrenze osservate, e includono sempre i token speciali e tutti i 256 token byte: con byte_fallback sono la garanzia che nessun carattere diventi <unk>.
Un merge BPE sopravvive solo se entrambe le sue meta' e il suo risultato sono nel vocabolario tenuto. Un merge che cita un token tagliato produce un tokenizer che si carica senza errori e sbaglia in silenzio.
Il pre-tokenizer isola la punteggiatura. Senza, la BPE puo' produrre un token che contiene la fine di un'entita' e la virgola che la segue (Inc. piu' ,): un confine che cade dentro un token non e' rappresentabile in BIO, e su un campione di 2.654 entita' rendeva irrecuperabile il 2,6% degli span. Isolando la punteggiatura si scende allo 0,377%.
La domanda che conta dopo un trimming: un codice fiscale ora si spezza in quanti pezzi in piu'?
| categoria | token prima | token dopo | rapporto |
|---|---|---|---|
email |
8,5 | 11,5 | x1,35 |
court_case_number |
12,7 | 14,3 | x1,13 |
cadastral_identifier |
18,5 | 20,5 | x1,11 |
passport_number |
9,0 | 9,3 | x1,04 |
codice_fiscale |
13,0 | 13,3 | x1,03 |
phone |
15,3 | 15,7 | x1,02 |
partita_iva |
12,3 | 12,3 | x1,00 |
iban |
26,0 | 26,0 | x1,00 |
credit_card_number |
18,5 | 18,5 | x1,00 |
postal_code |
6,2 | 6,2 | x1,00 |
Token <unk> prodotti su tutte le sonde: 0.
from transformers import AutoModelForTokenClassification, AutoTokenizer
tok = AutoTokenizer.from_pretrained("mapo80/mmbert-small-aliasit-32k")
model = AutoModelForTokenClassification.from_pretrained(
"mapo80/mmbert-small-aliasit-32k", num_labels=165, reference_compile=False
)
Il dataset per cui e' stato costruito e' mapo80/aliasit-pii-dataset-v2.
Generato da src/publish_hf.py il 2026-08-26T18:47:39+00:00.
jhu-clsp/mmBERT-small