DistilBERT – clasificador de titulares de El Comercio (Perú)

Modelo de la Tarea 1 del Diplomado de Ciencia de Datos con Python: ¿Pueden convertir titulares peruanos en un clasificador de noticias?

Es un distilbert-base-multilingual-cased ajustado (fine-tuning) para asignar un titular de noticia peruana a una de 4 categorías:

id	etiqueta
0	`politica`
1	`economia`
2	`deportes`
3	`ciencia_tecnologia`

Datos y entrenamiento

394 titulares de El Comercio, publicados entre el 6 y el 17 de octubre de 2026 y obtenidos de sus RSS y sitemaps oficiales. La etiqueta es la sección editorial.
Partición estratificada 70/15/15 (random_state=42): 275 de train, 59 de validación y 60 de test.
Trainer de Hugging Face en CPU: 8 épocas, batch 16, learning rate 5e-5, max_length=64, entrada = solo el titular (unos 11 minutos).

Resultados en test (60 titulares)

Enfoque	F1 macro
Zero-shot (`joeddav/xlm-roberta-large-xnli`)	0.695
LLM (`Qwen/Qwen2.5-1.5B-Instruct`)	0.779
Este modelo	0.885 (accuracy 0.883)

Uso

from transformers import pipeline

clf = pipeline("text-classification", model="Criswong92/distilbert-noticias-elcomercio", top_k=None)
clf("BCR mantiene su tasa de referencia en 4,25% por tercer mes consecutivo")

Limitaciones

Datos de un solo medio y de 12 días, y un test de solo 60 titulares (±0.08 de margen aproximado).
Solo tiene 4 categorías cerradas: cualquier titular recibe una de ellas, aunque sea de otro tema.
Es sobreconfiado: en el test, sus errores también tuvieron probabilidades altas (de 0.76 a 0.99).

Código, datos y dashboard: https://github.com/Cris92W/Python-Intermedio/tree/main/tarea_1

Loading…