CIMA-RoBERTa-4.8

Modelo de lenguaje biomédico en español adaptado al subdominio de la farmacovigilancia mediante continued pre-training con masked language modeling (MLM). Parte de PlanTL-GOB-ES/roberta-base-biomedical-es y se especializa en la sección 4.8, «Reacciones adversas», de las fichas técnicas de medicamentos del CIMA de la AEMPS.

El modelo está pensado para fill-mask, generación de representaciones y como punto de partida para ajuste fino en tareas biomédicas en español. No es un modelo generativo ni un sistema de recomendación clínica.

Uso

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="guerrerotook/CIMA-RoBERTa-4.8",
)

predictions = fill_mask(
    "Las reacciones adversas más frecuentes son <mask>.",
    top_k=5,
)

Para obtener el modelo y el tokenizador directamente:

from transformers import AutoModelForMaskedLM, AutoTokenizer

model_id = "guerrerotook/CIMA-RoBERTa-4.8"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id)

Entrenamiento

• Modelo de partida: PlanTL-GOB-ES/roberta-base-biomedical-es.
• Corpus: guerrerotook/CIMA-4.8-ADR, formado por unas 27 000 secciones 4.8 de fichas técnicas CIMA normalizadas a Markdown.
• Separación: 49 medicamentos se excluyeron del continued pre-training y se reservaron para la evaluación intrínseca.
• Volumen tokenizado de entrenamiento: 44 431 529 subtokens con el tokenizador RoBERTa biomédico.
• Objetivo: MLM con probabilidad de enmascarado de 0.18.
• Longitud de secuencia durante la adaptación: 128 subtokens.
• Épocas: 3.
• Tamaño de lote por dispositivo: 16.
• Optimizador: AdamW, tasa de aprendizaje de 5e-5 y planificador lineal.
• Semilla: 42.

La adaptación se ejecutó con PyTorch 2.10 y Transformers 5.3 sobre una GPU CUDA. El vocabulario y el tokenizador del modelo de partida no se modificaron.

Evaluación

La evaluación se realizó sobre los 49 medicamentos reservados, con whole-word masking, probabilidad 0.18, ventanas de 128 subtokens y semilla 42. El mismo corpus enmascarado se reutilizó para este modelo y su modelo de partida.

Se evaluaron 11 150 posiciones enmascaradas en 493 ventanas. La pseudo-perplejidad se calcula como exp(CE). Tanto CE como pseudo-perplejidad dependen del tokenizador y solo deben compararse entre modelos de la misma familia. El informe completo y los parámetros de evaluación se publican en eval_results.json.

Limitaciones

• La adaptación se concentra en texto regulatorio farmacológico de España y puede no transferirse a historias clínicas, conversación médica u otros países.
• Una mejor métrica MLM no implica por sí sola mejor rendimiento en una tarea clínica o de extracción de información.
• El modelo puede reproducir errores y sesgos de sus datos y del modelo de partida.
• No se ha validado para diagnóstico, prescripción ni toma de decisiones clínicas.

Para extracción de reacciones adversas, principios activos, frecuencias y sistemas orgánicos, se recomienda el modelo ajustado para NER guerrerotook/CIMA-RoBERTa-4.8-NER-ADR-CONLL.

Autoría y cita

Modelo desarrollado por Luis Miguel Guerrero Guirado en el Proyecto Fin de Grado del Grado en Ingeniería Informática de la UNED, dirigido por Salvador Ros Muñoz.

@thesis{guerrero2026cima,
  author = {Guerrero Guirado, Luis Miguel},
  title = {Aplicación de modelos de Inteligencia Artificial para la identificación y catalogación de reacciones adversas de medicamentos},
  school = {Universidad Nacional de Educación a Distancia},
  year = {2026},
  type = {Proyecto Fin de Grado}
}

El uso de este checkpoint también debe atribuir el modelo biomédico original:

@misc{carrino2021biomedical,
  author = {Carrino, Casimiro Pio and Armengol-Estapé, Jordi and Gutiérrez-Fandiño, Asier and Llop-Palao, Joan and Pàmies, Marc and Gonzalez-Agirre, Aitor and Villegas, Marta},
  title = {Biomedical and Clinical Language Models for Spanish: On the Benefits of Domain-Specific Pretraining in a Mid-Resource Scenario},
  year = {2021},
  eprint = {2109.03570},
  archivePrefix = {arXiv},
  primaryClass = {cs.CL}
}

Licencia

Este modelo se publica bajo Apache 2.0, igual que el modelo RoBERTa biomédico de partida. El corpus CIMA usado para la adaptación se distribuye bajo CC BY 4.0; consulta su tarjeta para conocer la procedencia y las condiciones de atribución de los datos.