Si este GGUF te sirvió, déjale un ❤️ para apoyar el repositorio
DeepSeek-R1-Distill-Llama-70B-abliterated - GGUF
Esta es la colección integral y completa de cuantizaciones en formato GGUF del modelo DeepSeek-R1-Distill-Llama-70B-abliterated, preparadas localmente para su uso con llama.cpp, Ollama, LM Studio o Text-Generation-WebUI.
Este modelo combina la destilación de razonamiento avanzado (capacidad de pensamiento lógico profundo mediante tags) basada en el modelo Llama-70B de Meta, pero procesada con técnicas de abliteration para remover de raíz los bloqueos y filtros de censura artificiales del sistema, respondiendo sin restricciones.
📋 Archivos Disponibles (Colección Completa sin Splits)
| Archivo | Tamaño Est. | BPW (Bits por Peso) | Perfil de Uso Recomendado |
|---|---|---|---|
DeepSeek-R1-Distill-Llama-70B-abliterated-F16.gguf |
~141.1 GB | 16.00 | Molde Base Completo. Fidelidad absoluta de los pesos en coma flotante. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q8_0.gguf |
~75.0 GB | 8.50 | Calidad idéntica al original, ideal para exprimir en tarjetas masivas locales como la GPU NVIDIA A100. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q6_K.gguf |
~57.9 GB | 6.59 | Altísima retención del árbol de razonamiento lógico con un peso optimizado. Ideal para exprimir en tarjetas masivas locales como la GPU NVIDIA CMP-170HX. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q5_K_M.gguf |
~49.9 GB | 5.69 | Punto Dulce Recomendado. Mantiene intacta la coherencia del pensamiento profundo reduciendo el peso de forma crítica. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q5_K_S.gguf |
~48.7 GB | 5.54 | Variante de 5 bits compacta. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q4_K_M.gguf |
~42.5 GB | 4.85 | El más buscado. Balance óptimo para correr inferencias de 70B en setups hogareños avanzados. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q4_K_S.gguf |
~40.3 GB | 4.58 | Variante compacta de 4 bits para acelerar la velocidad de tokens por segundo. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q3_K_L.gguf |
~37.1 GB | 4.01 | Compresión media alta de 3 bits. Conserva el razonamiento básico. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q3_K_M.gguf |
~34.3 GB | 3.66 | Variante de 3 bits intermedia. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q3_K_S.gguf |
~30.9 GB | 3.44 | Variante de 3 bits ligera. |
DeepSeek-R1-Distill-Llama-70B-abliterated-Q2_K.gguf |
~26.4 GB | 2.90 | Compresión Extrema. Puede experimentar problemas menores en la estructura de las etiquetas internas. Solo para desarrollo experimental. |
Nota: Los tamaños son estimaciones iniciales de referencia basadas en el peso nativo del modelo en safetensors; se recomienda verificar el tamaño final en disco tras la compilación local.
💡 Modo de Uso Destacado
Al ser un modelo de razonamiento, se recomienda utilizar un formato de prompt limpio que respete la generación nativa de la cadena de pensamiento:
./llama-cli -m DeepSeek-R1-Distill-Llama-70B-abliterated-Q4_K_M.gguf -n 1024 -p "¿Cómo funciona un reactor de fusión nuclear?"
⚖️ Descargo de Responsabilidad
Este modelo es de acceso abierto y carece de filtros de seguridad artificiales. El contenido generado es responsabilidad exclusiva de quien ejecute la inferencia local.