taller-destilacion-slm-merged
Modelo fusionado (base + adaptador LoRA, bf16) a partir de HuggingFaceTB/SmolLM2-135M-Instruct (135 M parámetros), destilado en el Taller de destilación en pequeño
(Tópicos Avanzados en IA 2, Máster en IA, UAI). Un LLM grande (profesor, API de OpenAI gpt-6-luna) escribió preguntas y
respuestas, y el modelo pequeño aprendió a imitarlas con ajuste fino supervisado (SFT) en CPU.
Dominio: asistente que explica conceptos de IA generativa (fundamentos de LLM, prompts, RAG, agentes, ajuste fino y evaluación) a ejecutivos de empresas chilenas, con ejemplos de negocio. Responde en inglés, porque SmolLM2 entiende mal el español (en español la nota del modelo no superó 1,1 sobre 10).
Datos de entrenamiento
- 60 pares pregunta-respuesta en inglés generados por
gpt-6-luna(respuestas de máximo 90 palabras), en 6 temas. - Examen fijo de 12 preguntas, separado del entrenamiento, calificado de 1 a 10 por un LLM juez (
gpt-6-luna) contra la respuesta de referencia. - Entrenamiento: LoRA r=16, alpha=32, 3 épocas, lote 4, tasa de aprendizaje 5e-4; pérdida 3.8173 → 2.902.
Resultados en el examen fijo
| Antes (modelo base) | Después (destilado) | |
|---|---|---|
| Nota media del juez (1–10) | 2.00 | 2.75 |
| Aprobación (nota ≥ 7) | 0% | 0% |
| Tema | Antes | Después |
|---|---|---|
| Agentes de IA | 2.67 | 2.33 |
| Ajuste fino | 2.00 | 2.50 |
| Fundamentos de LLM | 1.50 | 2.50 |
| Ingeniería de prompts | 2.00 | 3.33 |
| RAG | 1.50 | 3.00 |
Cifras calculadas desde salidas/examen_antes.jsonl y salidas/examen_despues.jsonl. El juez es otro LLM: su nota tiene ruido
(≈ ±0,3 entre corridas) y, en una auditoría manual de 10 ítems, resultó levemente más generoso que un humano.
Uso
Versión fusionada: no necesita peft. El adaptador LoRA liviano (≈ 19 MB) está en richowell7/taller-destilacion-slm.
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("richowell7/taller-destilacion-slm-merged")
model = AutoModelForCausalLM.from_pretrained("richowell7/taller-destilacion-slm-merged")
msgs = [{"role": "system", "content": "You are an expert assistant in generative AI. Answer in English, clearly and briefly."},
{"role": "user", "content": "When should a company use RAG instead of fine-tuning?"}]
enc = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt", return_dict=True)
out = model.generate(**enc, max_new_tokens=120, do_sample=False, repetition_penalty=1.15)
print(tok.decode(out[0, enc["input_ids"].shape[1]:], skip_special_tokens=True))
Limitaciones y uso responsable
- Lo que este modelo NO es: con 135 M parámetros y 60 ejemplos, repite frases, se equivoca e inventa definiciones con seguridad. Ninguna respuesta del examen llegó al nivel aceptable (7/10). No lo uses para tomar decisiones reales: es un modelo educativo.
- Fuera del dominio responde como un modelo genérico y puede inventar datos.
- Licencia y origen: el modelo base SmolLM2 es Apache 2.0, y este derivado se publica con la misma licencia. Los datos de entrenamiento los generó un LLM comercial (OpenAI), cuyos términos restringen usar sus salidas para desarrollar modelos que compitan con OpenAI. Uso educativo; revisa esos términos antes de cualquier uso no educativo.
- Puede heredar sesgos y errores del profesor y del juez.