Qwen/Qwen3-30B-A3B-Thinking-2507
Prompt template
Prompt type: chatml
Prompt string
<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant
Context size: 256000
Run as LlamaEdge service
wasmedge --dir .:. --nn-preload default:GGML:AUTO:Qwen3-30B-A3B-Thinking-2507-Q5_K_M.gguf \
llama-api-server.wasm \
--model-name Qwen3-30B-A3B-Thinking-2507 \
--prompt-template chatml \
--ctx-size 256000
Quantized with llama.cpp b6031
Qwen3-30B-A3B-Thinking-2507-f16-00001-of-00003.gguf 30 GBQwen3-30B-A3B-Thinking-2507-f16-00002-of-00003.gguf 30 GBQwen3-30B-A3B-Thinking-2507-f16-00003-of-00003.gguf 1.8 GB有文件?提交种子。
提交种子