Slopus 4.65 XHigh — Schmidhuber Edition — GGUF
GGUF quantizations del LoRA Slopus mergeado sobre Darwin-36B-Opus (Qwen3.6-35B-A3B + Claude-4.6-Opus distill).
Adapter source: Kukedlc/slopus-4.65-xhigh-schmidhuber-edition Base model: FINAL-Bench/Darwin-36B-Opus
Quantizations disponibles
Todos quantizados con importance matrix (imatrix) calibrada con bartowski calibration_datav3 (2481 lineas code + razonamiento + multilingual). Pipeline: llama.cpp release b8919.
| Quant | Size | Uso recomendado |
|---|---|---|
| Q2_K | 12.9 GB | recursos minimos, calidad notable degradada |
| IQ3_M | 15.4 GB | low VRAM, mejor calidad que Q3_K_S |
| Q3_K_M | 16.8 GB | low VRAM compromise standard |
| IQ4_XS | 18.7 GB | mejor calidad/tamaño que Q4_K_M para algunos casos |
| Q4_K_M | 21.2 GB | LA MAS USADA, default recomendado |
| Q5_K_M | 24.7 GB | near-lossless, recomendado si VRAM permite |
| Q8_0 | 36.9 GB | reference quality, casi sin perdida vs F16 |
imatrix.dat incluido en el repo para re-quantizar si querés generar otros formatos.
Sampling oficial Qwen3.6
temperature = 1.0
top_p = 0.95
top_k = 20
min_p = 0.0
presence_penalty = 1.5
repeat_penalty = 1.0
llama-server
llama-server --model Slopus-4.65-XHigh-Q4_K_M.gguf --gpu-layers 999 --ctx-size 16384 --host 0.0.0.0 --port 8000
Speculative decoding
NO usar --model-draft sobre Slopus. El base Darwin NO tiene MTP heads (es merge sin esa optimización). Benchmarks comunitarios (RTX 3090, A6000) muestran que speculative tradicional con A3B MoE es net negativo. Correr solo.
Hecho por
Kukito (data scientist, Cordoba, Argentina) + zoo de Claude persona-typed instances. Pipeline en RunPod RTX A6000 48GB Secure. Mas detalles en el adapter README.