Qwen3-1.7B GGUF (Q4_K_M)
Modelo cuantizado en formato GGUF (Q4_K_M) del modelo original Qwen/Qwen3-1.7B.
Pruebas realizadas
- Equipo de prueba: Windows 10 64-bit, Intel Core i7-11700F, 32 GB RAM, NVIDIA RTX 3070 (8 GB VRAM).
- Velocidad de inferencia: 120,77 tokens/s (mediana de 3 ejecuciones con
ollama run --verbose).
- Memoria en uso: 1,6 GB (según
ollama ps, cargado al 100% en GPU).
- Resultado de la batería de validación: 17/20 puntos. (Comparativa: la versión Q8_0 del mismo modelo obtuvo 19/20, evitando la alucinación en la pregunta del Mundial 2030 y el error aritmético en la pregunta de las manzanas).
- Limitaciones detectadas: Al ser un modelo pequeño (1.7B) cuantizado a 4 bits, muestra tendencia a alucinar en preguntas de conocimiento futuro o ambiguo (ej. inventar un ganador del Mundial 2030) y puede cometer errores en razonamientos aritméticos simples si no se guía adecuadamente.
Ejemplo de uso en Ollama
Puedes usar este modelo directamente en Ollama creando un archivo Modelfile personalizado:
FROM hf.co/PabloDavid123/Qwen3-1.7B-Q4_K_M-GGUF
PARAMETER temperature 0.2
PARAMETER num_ctx 4096
SYSTEM """Eres el asistente de soporte técnico del IES. Respondes en español, de forma breve y clara. Si no sabes algo, lo dices."""