Qwen Concept 27B - GGUF Quants
Este repositorio contiene versiones cuantizadas en formato GGUF del modelo ConceptCountry/qwen-concept-27b, optimizadas para su ejecución local en herramientas como llama.cpp, LM Studio, Ollama, Jan o text-generation-webui con un consumo reducido de VRAM/RAM.
📦 Archivos Cuantizados
| Archivo | Cuantización | Tamaño Aprox. | Requisitos VRAM recomendados |
|---|---|---|---|
qwen-concept-27b-Q3_K_S.gguf |
Q3_K_S | ~12.3 GB | ~16 GB VRAM (o RAM compartida) |
| (Opcional: agrega otros quants si subes más) | - | - | - |
Nota sobre el uso:
Estas cuantizaciones permiten correr el modelo en hardware de consumo con menos memoria. Ten en cuenta que niveles de cuantización más bajos (como Q3) ahorran mucho espacio a costa de una pequeña variación en la precisión respecto a los pesos originales en FP16/BF16.
🚀 ¿Cómo usarlo?
Con llama.cpp
@echo off
set "LLAMA_EXE=F:\llama_cpp\llama-b12182\llama-server.exe"
set "MODEL_DIR=C:\Modelos_Pro\"
set "MODEL_FILE=qwen-concept-27b-Q3_K_S.gguf"
echo Cargando "%MODEL_DIR%%MODEL_FILE%"
"%LLAMA_EXE%" ^
-lv 4 ^
-m "%MODEL_DIR%%MODEL_FILE%" ^
-ngl 0 ^
-t 9 ^
-b 1024 ^
-ub 1024 ^
-c 120000 ^
--reasoning-preserve ^
--fit-target 1024 ^
--kv-unified ^
--load-mode mmap+mlock ^
--cache-type-k q4_0 ^
--cache-type-v q4_0 ^
--flash-attn on ^
--parallel 1 ^
--host 127.0.0.1 ^
--port 8080 ^
--metrics ^
--jinja ^
--temp 0.7 ^
--top-p 0.90 ^
--repeat-penalty 1.0 ^
--presence-penalty 0.0
pause