BETO afinado para detección de sarcasmo en español
Clasificación binaria (NO_SARCASMO / SARCASMO) por fine-tuning de
dccuchile/bert-base-spanish-wwm-cased sobre el dataset sarcasmo_combinado
(Taller 1 de Procesamiento del Lenguaje Natural, Universidad del Valle, 2026-II).
Uso
from transformers import pipeline
clf = pipeline("text-classification", model="SamuelGal/beto-sarcasmo-combinado")
clf("¡Qué divertido, otro lunes de trabajo! 🙃")
Datos
- Train: 12,145 frases · Validación: 3,037 frases · clases balanceadas (≈50/50).
- Mayoría de titulares y frases cortas (mediana ≈13 palabras).
Entrenamiento
- Batch sizes probados: [8, 16, 32] (batch efectivo; acumulación de gradiente cuando no cabía).
- Máximo 10 épocas, early stopping con paciencia 2 sobre F1 macro de validación.
- learning rate 2e-05, weight decay 0.01, warmup 10 %, scheduler lineal, fp16, max_length 128.
- QLoRA (4-bit + LoRA): no.
- Modelo publicado: batch size 32 (mejor F1 macro de validación).
Resultados en validación
| batch_size | per_device | grad_accum | épocas_corridas | mejor_época | f1_macro | f1_weighted | accuracy | precision | recall | eval_loss | minutos | memoria_GB | estado |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 8 | 8 | 1 | 8 | 6 | 0.9137 | 0.9137 | 0.9137 | 0.9140 | 0.9137 | 0.7224 | 16.7000 | 1.9900 | ok |
| 16 | 16 | 1 | 7 | 5 | 0.9134 | 0.9134 | 0.9134 | 0.9143 | 0.9134 | 0.6283 | 7.3000 | 2.4100 | ok |
| 32 | 32 | 1 | 5 | 3 | 0.9150 | 0.9150 | 0.9150 | 0.9153 | 0.9150 | 0.3086 | 3.5000 | 3.2300 | ok |
F1 macro por longitud de la frase (modelo publicado):
| longitud | N | f1_macro |
|---|---|---|
| ≤10 palabras | 1055 | 0.8798 |
| 11–25 | 1932 | 0.9285 |
| >25 | 50 | 0.8831 |
Limitaciones
- El dataset mezcla titulares satíricos y noticias reales: el modelo puede aprender pistas de fuente, tema o época (nombres de políticos, ciudades, años) en vez de la intención irónica.
- Casi no hay frases de más de 40 palabras en el entrenamiento; el desempeño en textos largos es menos confiable.
- El sarcasmo depende del contexto y del tono; una frase aislada puede ser ambigua incluso para personas.