BERT para detección de comentarios tóxicos (Civil Comments)

Modelo bert-base-uncased ajustado (fine-tuning) para clasificar comentarios en inglés como tóxicos o no tóxicos. Fue desarrollado como componente inteligente del Proyecto Integrador de Desarrollo de Soluciones Inteligentes (Universidad Bernardo O'Higgins, 2026), integrado en un blog simulado que censura comentarios tóxicos y advierte de posible baneo ante reiteraciones.

• Autores: Branco Merino y Matías Díaz (paralelo D03)
• Código de la aplicación: https://github.com/merinobranco10/blog-toxicidad-bert
• Modelo base: google-bert/bert-base-uncased
• Idioma: inglés

Uso

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

MODEL_ID = "bmerino10/vigia-bert-toxicidad"
tok = AutoTokenizer.from_pretrained(MODEL_ID)
model = AutoModelForSequenceClassification.from_pretrained(MODEL_ID).eval()

texto = "You are a complete idiot and nobody wants you here."
enc = tok(texto, truncation=True, max_length=256, return_tensors="pt")
with torch.no_grad():
    probs = torch.softmax(model(**enc).logits, dim=-1)[0]

print(model.config.id2label)         # {0: 'No tóxico', 1: 'Tóxico'}
print(f"Prob. tóxico: {probs[1]:.4f}")  # decisión: tóxico si >= 0.5

Datos de entrenamiento

• Dataset: Civil Comments (google/civil_comments). Licencia del dataset: [CC0 1.0].
• Muestra: 50.000 filas del split train, seleccionadas con semilla 42.
• Etiqueta binaria: toxico = 1 si toxicity >= 0.5, 0 en caso contrario. El umbral es una decisión del equipo, no una etiqueta oficial del dataset.
• Limpieza: se eliminaron textos vacíos y 75 textos repetidos (se conserva la primera aparición). Quedaron 49.925 comentarios (92,09 % no tóxicos, 7,91 % tóxicos).
• Partición estratificada 70/15/15: 34.947 entrenamiento, 7.489 validación y 7.489 prueba, sin textos compartidos entre conjuntos.

Entrenamiento

Resultados (conjunto de prueba, 7.489 comentarios)

Detalle de BERT por clase:

El baseline que siempre predice "no tóxico" tiene buena accuracy pero no detecta ningún comentario tóxico; por eso se usa F1 macro como métrica principal.

Limitaciones y riesgos

• Solo inglés. En otros idiomas (por ejemplo español) su fiabilidad es nula.
• Desbalance de clases: la clase tóxica es minoritaria (~7,9 %). Con precisión de 0,63 en esa clase, aproximadamente 1 de cada 3 comentarios marcados como tóxicos puede ser un falso positivo (censura de contenido legítimo).
• Umbral arbitrario: comentarios con puntuación cercana a 0,5 son ambiguos.
• Ironía y contexto: puede fallar con sarcasmo, citas o lenguaje reclamado por comunidades.
• Sesgos: Civil Comments puede asociar ciertos términos de identidad con toxicidad. No se realizó una auditoría de sesgos.
• Uso previsto: apoyo a la priorización de revisión por moderadores. No debe usarse para decisiones automáticas sobre personas (sanciones, baneos reales) sin revisión humana.

Uso de IA generativa

Se utilizó Claude (Anthropic) como apoyo para estructurar el código y redactar documentación. El equipo ejecutó los entrenamientos, revisó los resultados y es responsable del contenido.

Cita

Merino, B. & Díaz, M. (2026). BERT para detección de toxicidad en Civil Comments.
Universidad Bernardo O'Higgins, Desarrollo de Soluciones Inteligentes.