MrBERT Legal Anonymization — Spanish NER

Fine-tune de BSC-LT/MrBERT-legal (ModernBERT, 307M params) para anonimización automática de textos legales mediante reconocimiento de entidades nombradas (NER).

El modelo identifica y clasifica entidades sensibles en documentos jurídicos: personas, direcciones, fechas, organizaciones, cantidades y tiempos.

Entidades reconocidas

Esquema de etiquetas IOB: O, B-PERSON, I-PERSON, B-ADDRESS, I-ADDRESS, B-DATE, I-DATE, B-ORGANISATION, I-ORGANISATION, B-AMOUNT, I-AMOUNT, B-TIME, I-TIME (13 etiquetas).

Uso

from transformers import pipeline

ner = pipeline(
    "token-classification",
    model="pauvanbr/mrbert-legal-anonymization-es",
    aggregation_strategy="simple",
)

text = (
    "El señor Juan García López, residente en Calle Mayor 15, Madrid, "
    "presentó la demanda el 14 de marzo de 2024 contra la empresa "
    "Construcciones Pérez S.L. por un importe de 25.000 euros."
)

entities = ner(text)
for ent in entities:
    print(f"  {ent['entity_group']:15s} {ent['score']:.3f}  → {ent['word']}")

Anonimización de texto

def anonymize(text, ner_pipeline):
    """Reemplaza entidades sensibles por marcadores [ENTIDAD]."""
    entities = ner_pipeline(text)
    # Procesar de derecha a izquierda para mantener índices
    for ent in sorted(entities, key=lambda e: e["start"], reverse=True):
        label = ent["entity_group"]
        text = text[:ent["start"]] + f"[{label}]" + text[ent["end"]:]
    return text

print(anonymize(text, ner))
# → "El señor [PERSON], residente en [ADDRESS], presentó la demanda
#    el [DATE] contra la empresa [ORGANISATION] por un importe de [AMOUNT]."

Pipeline de anotación y evaluación

Los scripts de carga de datos, preanotación, y evaluación están en el Space de anotación:

👉 pauvanbr/ner-anotation — scripts/

Incluye:

• Carga de leyes desde legalize-es con chunking por artículos
• Preanotación con este modelo + langextract (Gemini)
• Evaluación multi-modelo contra anotaciones humanas (exact + partial match)

Guía completa: PIPELINE.md

Resultados de evaluación

Mejor checkpoint (evaluación en validación — todas las lenguas)

⚠️ Estas métricas son sobre el dataset de entrenamiento (MAPA). Para una evaluación independiente, usa el pipeline de anotación con datos de legalize-es.

F1 por entidad (validación)

Nota: Las puntuaciones de 0.0 en ORGANISATION y AMOUNT en el mejor checkpoint se deben a la selección por F1 global — en epochs posteriores estos valores mejoraron significativamente (AMOUNT alcanzó 0.83, ORGANISATION 0.53). El best model fue epoch 1 por F1 global. Consulta la tabla de entrenamiento completa abajo.

Dataset: MAPA

Entrenado con el dataset Joelito/mapa — Multilingual Anonymisation for Public Administrations.

• Fuente: Documentos de EUR-Lex (sentencias y disposiciones legales de la UE)
• Idiomas: 21 lenguas oficiales de la UE (bg, cs, da, de, el, en, es, et, fi, fr, ga, hu, it, lt, lv, mt, nl, pt, ro, sk, sv)
• Anotación: Esquema de etiquetado del proyecto MAPA con dos niveles (coarse/fine-grained)
• Licencia: CC BY 4.0

Estrategia de entrenamiento: transferencia cross-lingüe

Se utilizaron todas las lenguas del dataset para entrenamiento (~28K+ muestras), aprovechando la naturaleza multilingüe de MrBERT-legal para maximizar los datos de entrenamiento. La evaluación final se realiza sobre el subconjunto en español.

Modelo base: MrBERT-legal

BSC-LT/MrBERT-legal es un modelo ModernBERT de 307M parámetros pre-entrenado por el Barcelona Supercomputing Center (BSC) específicamente para el dominio legal en español e inglés. Soporta secuencias de hasta 8192 tokens.

• Arquitectura: ModernBERT (22 capas, 768 hidden, 12 attention heads)
• Atención: Combinación de full attention y sliding attention (ventana local de 128)
• Referencia: arXiv:2602.21379

Procedimiento de entrenamiento

Hiperparámetros

Progresión del entrenamiento

Limitaciones

• Dominio: Entrenado exclusivamente con documentos legales de EUR-Lex; el rendimiento puede degradarse en otros tipos de textos legales (contratos, escrituras notariales, etc.).
• Entidades infrecuentes: ORGANISATION y AMOUNT tienen scores más bajos debido a su baja frecuencia en el dataset MAPA.
• Idioma: Aunque usa transferencia cross-lingüe, el rendimiento es óptimo en textos legales en español.

Cita del dataset

@article{DeGibertBonet2022,
  author    = {{de Gibert Bonet}, Ona and {García Pablos}, Aitor and Cuadros, Montse and Melero, Maite},
  title     = {{Spanish Datasets for Sensitive Entity Detection in the Legal Domain}},
  journal   = {Proceedings of the Language Resources and Evaluation Conference},
  pages     = {3751--3760},
  year      = {2022},
  url       = {https://aclanthology.org/2022.lrec-1.400}
}

Versiones de frameworks

• Transformers 5.6.1
• PyTorch 2.11.0+cu130
• Datasets 4.8.4
• Tokenizers 0.22.2