AI-Triage NER: RoBERTa clínico para transcripciones de triaje (v1)

Modelo de reconocimiento de entidades (NER) que detecta síntomas, enfermedades y fármacos en relatos de consultas de urgencias en español, tal como llegan de un reconocedor de voz. Es un componente del prototipo AI-Triage, una plataforma de apoyo al triaje por voz desarrollada como trabajo de grado en la Universidad del Valle (Colombia).

Aviso: es un prototipo de investigación. No es un dispositivo médico ni está validado clínicamente, y no debe usarse para tomar decisiones asistenciales. En AI-Triage sus menciones son una entrada más de un pipeline (catálogo terminológico, reglas del protocolo y un LLM) cuyo resultado revisa siempre un profesional.

Etiquetas

Esquema BIO con tres tipos de entidad:

Etiquetas del modelo: O, B-SINTOMA, I-SINTOMA, B-ENFERMEDAD, I-ENFERMEDAD, B-FARMACO, I-FARMACO.

Entrenamiento

Parte de PlanTL-GOB-ES/roberta-base-biomedical-clinical-es y se ajusta en dos etapas:

1. Etapa 1, corpus clínicos públicos. 1.000 documentos de casos clínicos (900 de entrenamiento y 100 de validación) que fusionan tres corpus anotados del Barcelona Supercomputing Center: SympTEMIST (SINTOMA), DisTEMIST (ENFERMEDAD) y DrugTEMIST (FARMACO). Cuando dos anotaciones se solapan se conserva una sola. 10 épocas, lr 5e-5, lote 16, 512 tokens con stride 128.
2. Etapa 2, adaptación al habla de urgencias. 150 relatos de triaje transcritos (split dev del corpus propio del proyecto, anotado por el equipo con una guía de límites). 20 épocas, lr 3e-5, lote 8. La configuración se eligió por validación cruzada de 5 particiones entre 10, 20 y 30 épocas.

Semilla 42. Entrenado el 2026-10-17 en una GPU T4 con transformers 5.18 y torch 2.11.

Resultados

Métricas por span: la exacta exige los mismos límites y etiqueta; la parcial acepta solapamiento con la misma etiqueta.

Validación cruzada de 5 particiones sobre los 150 relatos de triaje (etapa 2), media ± desviación:

Como referencia, el modelo de la etapa 1 sin adaptar obtiene 0,482 de F1 micro exacta (0,818 parcial) sobre esos mismos relatos. En la validación de la etapa 1, sobre casos clínicos escritos, la F1 micro exacta es 0,693 (0,828 parcial).

Cómo leer estas cifras:

• La mayoría de los errores restantes son de límites de la mención, no de detección. Por eso la métrica parcial es mucho más alta.
• ENFERMEDAD es la clase menos estable porque hay pocos ejemplos por partición.
• El split test del corpus propio está reservado para la evaluación final de la tesis y no se usó para entrenar ni para elegir la configuración.

Uso

from transformers import pipeline

ner = pipeline(
    "token-classification",
    model="HoraYMedia/ai-triage-ner-roberta",
    revision="v1",
    aggregation_strategy="simple",
)
ner("Refiere dolor en el pecho desde hace una hora, toma losartán y es alérgico a la penicilina.")

Algunos detalles de uso:

• tokenizer.json: lo generó transformers 5. Con versiones 4.x puede no cargar; en ese caso, construye RobertaTokenizerFast desde vocab.json y merges.txt con las opciones de tokenizer_config.json (así lo hace AI-Triage).
• Ajuste de spans: el modelo trabaja con subpalabras y a veces corta una palabra. AI-Triage extiende cada mención a palabras completas y descarta las formadas solo por palabras funcionales.
• Negación: el modelo no la detecta. «Niega fiebre» se etiqueta como SINTOMA, y es una regla aparte (tipo NegEx) la que la marca como negada.

Limitaciones

• Corpus sintético y pequeño. Los relatos de la etapa 2 los escribió el equipo imitando consultas reales, no son transcripciones de pacientes. Lo anotaron personas del propio equipo y el acuerdo entre anotadores aún no está medido.
• Desfase de dominio. El habla real de urgencias (ruido, interrupciones, errores del reconocedor de voz, coloquialismos regionales) puede rendir peor que estos relatos.
• Límites de mención. Algunos casos todavía se están revisando con una guía de límites: intensidad («muy fuerte»), duración («desde ayer»), verbos de marco («está con…») o el mecanismo de un trauma.
• Español de Colombia. Los coloquialismos del corpus propio son colombianos; en otras variantes del español el rendimiento puede ser distinto.

Licencia y atribución

• Modelo: Apache-2.0, la misma licencia del modelo base de PlanTL / BSC.
• Datos de la etapa 1: se usaron corpus publicados bajo CC BY 4.0, que exige citarlos:
  • SympTEMIST: Lima López, S., Gascó Sánchez, L., Farré, E., Vigil Gimenez, L., & Krallinger, M. (2024). SympTEMIST corpus: Gold standard annotations for clinical symptoms, signs and findings information extraction (versión 4) [Conjunto de datos]. Zenodo. 10.5281/zenodo.10635215.
  • DisTEMIST: Miranda-Escalada, A., Farré, E., Gasco, L., Lima, S., & Krallinger, M. (2022). DisTEMIST corpus: Detection and normalization of disease mentions in Spanish clinical cases (versión 5.1) [Conjunto de datos]. Zenodo. 10.5281/zenodo.7614764.
  • DrugTEMIST (en MultiCardioNER): Lima-López, S., Farré-Maduell, E., Rodríguez-Miret, J., & Krallinger, M. (2024). MultiCardioNER corpus: Multilingual adaptation of clinical NER systems to the cardiology domain [Conjunto de datos]. Zenodo. 10.5281/zenodo.11368861.
• Modelo base: Carrino, C. P., Armengol-Estapé, J., Gutiérrez-Fandiño, A., Llop-Palao, J., Pàmies, M., Gonzalez-Agirre, A., & Villegas, M. (2021). Biomedical and clinical language models for Spanish: On the benefits of domain-specific pretraining in a mid-resource scenario. arXiv. 10.48550/arXiv.2109.03570.
• Corpus propio: no se publica con el modelo.

Cita

Si usas este modelo, cita el trabajo de grado AI-Triage: asistente inteligente de voz para la clasificación médica automatizada en entornos hospitalarios y de telemedicina (Universidad del Valle, 2026) y los corpus y el modelo base indicados arriba.