Spark-X2.6-4B — CMF

Spark-X2.6-4B (4.11 B dense, hybrid attention: 9 full layers + 27 sliding-window layers of 512 tokens, 1M-token context, thinking mode, tool calling) packaged as single CMF files. They run with cortiq, a Rust inference engine with no Python and no ML framework: NVIDIA, AMD and Intel GPUs through Vulkan/DX12, Apple silicon through Metal, and the CPU.

X2.6 keeps the Spark-X2.5-4B architecture and improves post-training (coding, agentic, long-context, multilingual, reasoning).

English · Русский · 中文

Quick start

cargo install cortiq-cli
hf download infosave/Spark-X2.6-4B-cmf spark-x2.6-4b-q8_2f.cmf --local-dir .
cortiq run spark-x2.6-4b-q8_2f.cmf --prompt "Explain quicksort in three sentences." --no-think

Use cortiq 0.8.43 or later; prebuilt binaries for Linux, macOS and Windows are on the releases page. The engine picks the GPU and its settings itself. --no-think asks for a direct answer; without it the model reasons in a <think> block first, so raise --max-tokens (default 256).

Files

Both files carry 362 tensors: 253 quantized projections + 109 f16 (embeddings, norms, rotary buffers), quantized from the bf16 checkpoint.

Perplexity: first 4096 tokens of wikitext-2 test with the model's BOS token in front, cortiq ppl --tokens 4096, exact attention, measured on the RTX 2000 Ada. Cross-check with the identical command on Spark-X2.5-4B-q8_2f.cmf gives 10.94 (that card lists 10.68; the text file here is rebuilt from the parquet, so a small protocol difference remains).

Performance

cortiq bench --core --ignore-eos --tokens 120, decode tok/s, one stream:

Prompt processing and decode at depth (--ctx, synthetic prompt of N tokens, RTX 2000 Ada, Vulkan):

The same on a Mac mini M4 (24 GB), Metal:

Time to first token on the RTX 2000 Ada at the bench's 41-token prompt: 0.91 s (q8_2f), 0.42 s (q4tp). The graph capture takes 119 of the 120 bench tokens.

Resident weights on the GPU: 4.11 GB (q8_2f), 2.14 GB (q4tp), against a reported VRAM budget of 14.49 GB — both profiles fit a 16 GB card at long context.

Quality checks

Greedy cortiq run --no-think battery, run on both files on the CPU and on the GPU (Vulkan); the answers agree across files and backends unless noted:

The roses/flowers item tests the undistributed middle; the model misses it consistently, while the structurally identical cats/mammals item passes. Treat it as a known reasoning miss, not a quantization artifact — both quant profiles and both backends behave the same.

Usage

cortiq run spark-x2.6-4b-q8_2f.cmf                             # interactive chat
cortiq run spark-x2.6-4b-q8_2f.cmf --prompt "..."              # one answer, with reasoning
cortiq run spark-x2.6-4b-q8_2f.cmf --prompt "..." --no-think   # answer without the thinking block
cortiq run spark-x2.6-4b-q8_2f.cmf --prompt "..." --greedy     # deterministic output

XHToken recommends temperature 1.0 and top-p 0.95 (the upstream generation example uses temperature=1.0, top_p=0.95, top_k=0):

cortiq run spark-x2.6-4b-q8_2f.cmf --temperature 1.0 --top-p 0.95 --top-k 0 --min-p 0 --rep-penalty 1.0 --max-tokens 4096 --prompt "..."

Without flags the CLI uses temperature 0.7, top-p 0.9, top-k 40, min-p 0.05, repetition penalty 1.1 and at most 256 new tokens. --top-k 0 and --rep-penalty 1.0 switch those filters off.

OpenAI-compatible server

cortiq serve spark-x2.6-4b-q8_2f.cmf --port 8080

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "spark-x2.6-4b-q8_2f", "temperature": 1.0, "top_p": 0.95,
       "messages": [{"role": "user", "content": "Hi!"}]}'

Endpoints: /v1/chat/completions, /v1/completions, /v1/models, plus a web dashboard on the same port. --host 127.0.0.1 keeps the server local. The reply reads <think>…</think> answer; "enable_thinking": false in the request gives a direct answer, and temperature: 0 means greedy decoding. tools are accepted in the usual OpenAI format and go through the embedded chat template. Each chat turn prefills only what changed since the previous one: with a 2 300-token history the next turn starts in about 0.6 s on a Mac mini M4.

Hardware

Apple silicon (Metal). Runs on the GPU out of the box.

Choosing a GPU (Vulkan). cortiq gpu lists the adapters; CMF_GPU_ADAPTER=1 (index or name substring) picks one. If the list is empty on Linux, install libvulkan1 libglvnd0 libegl1 libgl1 libglx0; on headless machines set XDG_RUNTIME_DIR=/tmp.

CPU only. CMF_GPU=0 keeps everything on the CPU. The CPU rows above come from a 6-core Xeon E5-2699 v4 at 2.2 GHz; CMF_THREADS=6 was the best of the 6/12 sweep.

Long context

The model supports 1 048 576 tokens (max_position_embeddings), with a 512-token sliding window on 27 of the 36 layers and full attention on the other 9. The KV state measured by bench --ctx: 294,912,000 B at 1 000 tokens and 1,335,361,536 B (1.24 GiB) at 16 000 tokens — about 72 KB per token for the 9 full-attention layers (4 KV heads × 256 dims × K+V × f32); sliding layers keep only the rows their window reads. Raise the context limit with CMF_MAX_SEQ:

CMF_MAX_SEQ=131072 cortiq run spark-x2.6-4b-q8_2f.cmf --prompt "..." --max-tokens 4096

Verify the download

sha256sum -c spark-x2.6-4b-q8_2f.cmf.sha256
sha256sum -c spark-x2.6-4b-q4tp.cmf.sha256
cortiq verify spark-x2.6-4b-q8_2f.cmf
cortiq info   spark-x2.6-4b-q8_2f.cmf

SHA-256:

• spark-x2.6-4b-q8_2f.cmf — e9331f8f1c620fee81c7f673bdcf702dcd4c81458111f10d258c425cf330494f
• spark-x2.6-4b-q4tp.cmf — 76fcaafe19e8c7119838bd2c1343751c2fdbcb37282417eb2838357ffd57937d

Weights derive from XHToken's release and remain under its Apache-2.0 terms.

---

Документация на русском

Spark-X2.6-4B (4.11 B dense, гибридное внимание: 9 полных слоёв + 27 слоёв со скользящим окном 512 токенов, контекст до 1M токенов, режим рассуждений, вызов инструментов) в виде отдельных файлов CMF. Запускается движком cortiq на Rust без Python и ML-фреймворков: GPU NVIDIA, AMD и Intel через Vulkan/DX12, Apple silicon через Metal, а также CPU.

X2.6 сохраняет архитектуру Spark-X2.5-4B и улучшен постобучение (код, агентные сценарии, длинный контекст, многоязычие, рассуждения).

Быстрый старт

cargo install cortiq-cli
hf download infosave/Spark-X2.6-4B-cmf spark-x2.6-4b-q8_2f.cmf --local-dir .
cortiq run spark-x2.6-4b-q8_2f.cmf --prompt "Объясни квиксорт в трёх предложениях." --no-think

Используйте cortiq 0.8.43 или новее; готовые сборки для Linux, macOS и Windows — на странице релизов. --no-think даёт прямой ответ; без него модель сначала рассуждает в блоке […], поэтому увеличьте --max-tokens (по умолчанию 256).

Файлы

Оба файла содержат 362 тензора: 253 квантованных проекции + 109 f16 (эмбеддинги, нормы, ротационные буферы), квантованы из bf16-чекпойнта.

Перплексия: первые 4096 токенов wikitext-2 test с BOS-токеном модели в начале, cortiq ppl --tokens 4096, точное внимание, замер на RTX 2000 Ada. Контроль тем же командой на Spark-X2.5-4B-q8_2f.cmf — 10.94 (в карточке X2.5 указано 10.68; текстовый файл здесь пересобран из parquet, поэтому остаётся небольшая разница протокола).

Скорость

cortiq bench --core --ignore-eos --tokens 120, декодирование, ток/с, один поток:

Обработка промпта и декодирование на глубине (--ctx, синтетический промпт из N токенов, RTX 2000 Ada, Vulkan):

То же на Mac mini M4 (24 ГБ), Metal:

Время до первого токена на RTX 2000 Ada при промпте бенча в 41 токен: 0.91 с (q8_2f), 0.42 с (q4tp). Граф захватывает 119 из 120 токенов бенча.

Веса, резидентные на GPU: 4.11 ГБ (q8_2f), 2.14 ГБ (q4tp) при заявленном бюджете VRAM 14.49 ГБ — оба профиля помещаются на карте с 16 ГБ и при длинном контексте.

Проверки качества

Батарея cortiq run --no-think на greedy: оба файла, CPU и GPU (Vulkan); ответы совпадают между файлами и бэкендами, кроме отмеченного случая:

Силлогизм про розы проверяет недоспределённую посылку; модель стабильно его промахивает, при этом структурно тот же случай про кошек проходит. Это известная ошибка рассуждения, а не артефакт квантизации — оба профиля и оба бэкенда ведут себя одинаково.

Использование

cortiq run spark-x2.6-4b-q8_2f.cmf                             # интерактивный чат
cortiq run spark-x2.6-4b-q8_2f.cmf --prompt "..."              # один ответ с рассуждением
cortiq run spark-x2.6-4b-q8_2f.cmf --prompt "..." --no-think   # ответ без блока рассуждений
cortiq run spark-x2.6-4b-q8_2f.cmf --prompt "..." --greedy     # детерминированный вывод

XHToken рекомендует temperature 1.0 и top-p 0.95 (пример генерации upstream: temperature=1.0, top_p=0.95, top_k=0):

cortiq run spark-x2.6-4b-q8_2f.cmf --temperature 1.0 --top-p 0.95 --top-k 0 --min-p 0 --rep-penalty 1.0 --max-tokens 4096 --prompt "..."

Без флагов CLI использует temperature 0.7, top-p 0.9, top-k 40, min-p 0.05, repetition penalty 1.1 и не более 256 новых токенов. --top-k 0 и --rep-penalty 1.0 отключают эти фильтры.

Сервер с OpenAI-совместимым API:

cortiq serve spark-x2.6-4b-q8_2f.cmf --port 8080

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "spark-x2.6-4b-q8_2f", "temperature": 1.0, "top_p": 0.95,
       "messages": [{"role": "user", "content": "Привет!"}]}'

Эндпоинты /v1/chat/completions, /v1/completions, /v1/models и веб-панель на том же порту. --host 127.0.0.1 оставляет сервер локальным. Ответ имеет вид <think>…[…] ответ; "enable_thinking": false даёт прямой ответ, temperature: 0 — greedy. tools передаются в обычном формате OpenAI и проходят через встроенный шаблон чата. Каждый ход чата обрабатывает только то, что изменилось с прошлого хода: при истории в 2 300 токенов следующий ход на Mac mini M4 начинается примерно через 0.6 с.

Железо

Apple silicon (Metal). Работает на GPU без настройки.

Выбор GPU (Vulkan). cortiq gpu показывает адаптеры; CMF_GPU_ADAPTER=1 закрепляет нужный. Если на Linux список пуст, установите libvulkan1 libglvnd0 libegl1 libgl1 libglx0; на машинах без дисплея задайте XDG_RUNTIME_DIR=/tmp.

Только CPU. CMF_GPU=0 оставляет всё на процессоре. Строки CPU выше — 6-ядерный Xeon E5-2699 v4 на 2.2 ГГц; CMF_THREADS=6 оказался лучшим из свипа 6/12.

Длинный контекст

Модель поддерживает 1 048 576 токенов, окно 512 токенов на 27 слоях из 36, полное внимание на остальных 9. Измеренный KV-стейт (bench --ctx): 294 912 000 Б на 1 000 токенов и 1 335 361 536 Б (1.24 ГиБ) на 16 000 токенов — около 72 КБ на токен для 9 полных слоёв (4 KV-головы × 256 измерений × K+V × f32); скользящие слои хранят только строки своего окна. Лимит контекста поднимается через CMF_MAX_SEQ:

CMF_MAX_SEQ=131072 cortiq run spark-x2.6-4b-q8_2f.cmf --prompt "..." --max-tokens 4096

Проверка загрузки

sha256sum -c spark-x2.6-4b-q8_2f.cmf.sha256
sha256sum -c spark-x2.6-4b-q4tp.cmf.sha256
cortiq verify spark-x2.6-4b-q8_2f.cmf
cortiq info   spark-x2.6-4b-q8_2f.cmf

SHA-256:

• spark-x2.6-4b-q8_2f.cmf — e9331f8f1c620fee81c7f673bdcf702dcd4c81458111f10d258c425cf330494f
• spark-x2.6-4b-q4tp.cmf — 76fcaafe19e8c7119838bd2c1343751c2fdbcb37282417eb2838357ffd57937d

Веса получены из релиза XHToken и распространяются на условиях Apache-2.0.

---

中文文档

Spark-X2.6-4B（4.11 B dense， 混合注意力：9 层全注意力 + 27 层 512 token 滑动窗口，最长 1M token 上下文， 支持思考模式与工具调用）打包为独立的 CMF 文件，由 cortiq 运行——一个不依赖 Python 和机器学习框架的 Rust 推理引擎： NVIDIA、AMD、Intel 显卡走 Vulkan/DX12，Apple silicon 走 Metal，也可在 CPU 上运行。

X2.6 保持 Spark-X2.5-4B 的架构，改进了后训练（代码、智能体、长上下文、 多语言、推理）。

快速开始

cargo install cortiq-cli
hf download infosave/Spark-X2.6-4B-cmf spark-x2.6-4b-q8_2f.cmf --local-dir .
cortiq run spark-x2.6-4b-q8_2f.cmf --prompt "用三句话解释快速排序。" --no-think

建议使用 cortiq 0.8.43 或更新版本；Linux、macOS、Windows 预编译二进制见 发布页面。--no-think 直接 给出回答；不加该参数时模型会先在 […] 块中思考，请调高 --max-tokens（默认 256）。

文件

两个文件均含 362 个张量：253 个量化投影 + 109 个 f16（嵌入、归一化、 旋转缓冲），由 bf16 检查点量化而来。

困惑度：wikitext-2 test 的前 4096 个 token，开头加模型的 BOS token， cortiq ppl --tokens 4096，精确注意力，测于 RTX 2000 Ada。用同一命令在 Spark-X2.5-4B-q8_2f.cmf 上交叉验证为 10.94（该卡标注 10.68；此处文本 从 parquet 重建，仍存在微小的协议差异）。

性能

cortiq bench --core --ignore-eos --tokens 120，解码速度，tok/s，单流：

提示词处理与深度解码（--ctx，N token 合成提示词，RTX 2000 Ada，Vulkan）：

Mac mini M4（24 GB），Metal：

RTX 2000 Ada 上 41 token 提示词的首 token 延迟：0.91 s（q8_2f）、0.42 s （q4tp）。图捕获了 120 个 bench token 中的 119 个。

GPU 常驻权重：4.11 GB（q8_2f）、2.14 GB（q4tp），VRAM 预算为 14.49 GB—— 两个配置在长上下文下都能放进 16 GB 显卡。

质量检查

greedy cortiq run --no-think 测试组，两个文件、CPU 与 GPU（Vulkan）均 已运行；除标注项外答案一致：

玫瑰/花的题目考查中项不周延，模型稳定地答错；结构相同的猫/哺乳动物题 则通过。这是已知的推理失误，而非量化伪影——两种量化配置和两个后端表现 一致。

使用

cortiq run spark-x2.6-4b-q8_2f.cmf                             # 交互式对话
cortiq run spark-x2.6-4b-q8_2f.cmf --prompt "..."              # 单次回答（含思考）
cortiq run spark-x2.6-4b-q8_2f.cmf --prompt "..." --no-think   # 不输出思考块
cortiq run spark-x2.6-4b-q8_2f.cmf --prompt "..." --greedy     # 确定性输出

XHToken 推荐 temperature 1.0、top-p 0.95（上游生成示例： temperature=1.0, top_p=0.95, top_k=0）：

cortiq run spark-x2.6-4b-q8_2f.cmf --temperature 1.0 --top-p 0.95 --top-k 0 --min-p 0 --rep-penalty 1.0 --max-tokens 4096 --prompt "..."

不加参数时 CLI 使用 temperature 0.7、top-p 0.9、top-k 40、min-p 0.05、 repetition penalty 1.1，最多生成 256 个新 token。--top-k 0 和 --rep-penalty 1.0 关闭这两项过滤。

OpenAI 兼容 API 服务器：

cortiq serve spark-x2.6-4b-q8_2f.cmf --port 8080

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "spark-x2.6-4b-q8_2f", "temperature": 1.0, "top_p": 0.95,
       "messages": [{"role": "user", "content": "你好！"}]}'

提供 /v1/chat/completions、/v1/completions、/v1/models 端点，同一端口 还有网页控制台。--host 127.0.0.1 仅限本机访问。回答形式为 […] […] 回答；请求中 "enable_thinking": false 直接给出回答， temperature: 0 表示贪心解码。tools 按常规 OpenAI 格式传入，经内置聊天 模板处理。每轮对话只处理与上一轮相比新增的部分：历史为 2 300 token 时， Mac mini M4 上下一轮约 0.6 s 开始输出。

硬件

Apple silicon（Metal）。 开箱即用 GPU 加速。

选择显卡（Vulkan）。 cortiq gpu 列出所有适配器；CMF_GPU_ADAPTER=1 指定使用哪一块。若 Linux 上列表为空，请安装 libvulkan1 libglvnd0 libegl1 libgl1 libglx0；无显示器的机器需设置 XDG_RUNTIME_DIR=/tmp。

仅用 CPU。 CMF_GPU=0 让所有计算留在 CPU 上。表中 CPU 数据来自 2.2 GHz 的 6 核 Xeon E5-2699 v4；CMF_THREADS=6 是 6/12 线程扫描中最优的。

长上下文

模型支持 1 048 576 个 token，36 层中 27 层为 512 token 滑动窗口，其余 9 层 全注意力。实测 KV 状态（bench --ctx）：1 000 token 时 294 912 000 B， 16 000 token 时 1 335 361 536 B（1.24 GiB）——9 个全注意力层每 token 约 72 KB（4 个 KV 头 × 256 维 × K+V × f32）；滑动层只保留窗口读取的行。 用 CMF_MAX_SEQ 提高上下文限制：

CMF_MAX_SEQ=131072 cortiq run spark-x2.6-4b-q8_2f.cmf --prompt "..." --max-tokens 4096

校验下载

sha256sum -c spark-x2.6-4b-q8_2f.cmf.sha256
sha256sum -c spark-x2.6-4b-q4tp.cmf.sha256
cortiq verify spark-x2.6-4b-q8_2f.cmf
cortiq info   spark-x2.6-4b-q8_2f.cmf

SHA-256：

• spark-x2.6-4b-q8_2f.cmf — e9331f8f1c620fee81c7f673bdcf702dcd4c81458111f10d258c425cf330494f
• spark-x2.6-4b-q4tp.cmf — 76fcaafe19e8c7119838bd2c1343751c2fdbcb37282417eb2838357ffd57937d

权重来自 XHToken 的发布，受其 Apache-2.0 条款约束。