加载中…
加载中…
Qwen/Qwen3.5-122B-A10BCUDA_DEVICE_ORDER=PCI_BUS_ID CUDA_VISIBLE_DEVICES=1 /usr/local/bin/llama-server -m /LINUX/Models/HauhauCS/Qwen3.5-122B-A10B-Uncensored-HauhauCS-Aggressive/Qwen3.5-122B-A10B-Uncensored-HauhauCS-Aggressive-Q4_K_P.gguf --host 127.0.0.1 --port 8001 --ctx-size 65536 --alias qwen35-hauhau-q4kp -ngl 999 --flash-attn on --batch-size 512 --ubatch-size 512 --cache-type-k q8_0 --cache-type-v q8_0 --parallel 1 --jinja在 LocalMaxxing 上查看测试
来自 LocalMaxxing 的 2 次社区测试(1 种配置)的中位数。
自己运行:配置指南