Русская голосовая TTS: текст на входе, речь на выходе. Голос задаётся короткой записью (клон по 3 секунды), ударения ставит по меткам U+0301 в тексте. Сборка Qwen3-TTS-12Hz-1.7B-Base с русским стресс-дообучением, текстовый словарь ужат на 23.7 %, квант Q4_K_M — 1.11 ГБ, целиком в видеопамять от 4 ГБ, RTF ≈ 0.19–0.21 на RTX 3060 Laptop (1 минута озвучки за ~12 с).
Текстовый словарь: 151 936 → 116 000 токенов (−23.7%)
Параметров вырезано: 73.6M
Размер Q4_K_M: 1 219 245 248 B → 1 157 193 440 B (−5.1%)
Словарь аудиокодека (3072), code-predictor, attention/FFN: не тронуты
Выход: 24 kHz mono WAV, 12.5 кадров/с (1 кадр = 80 мс)
🔹 Голос по текстовому описанию — не умеет
Это сборка варианта Base. По официальной таблице Qwen у Base колонка «Instruction Control» пустая: голос берётся только из записи-референса (
--ref-wav, 3 секунды достаточно), текстовым описанием («молодая, низкий тембр, усталая») он не задаётся.
Нужен Какая модель голос по записи (клон) эта сборка (Base) голос по текстовому описанию Qwen3-TTS-12Hz-1.7B-VoiceDesign— отдельная модель,--instructготовые тембры (9 шт.) + управление стилем инструкцией Qwen3-TTS-12Hz-1.7B-CustomVoice— отдельная модельВ рантайме это видно напрямую:
--instructна этой сборке отклоняется. Голос из описания всё равно можно получить — цепочкой из двух моделей, см. раздел «Голос из описания — цепочкой». Файл VoiceDesign в кванте Q4_K_M лежит в этом же репозитории, отдельно его скачивать не нужно.Ударения: модель ставит их по знаку U+0301 после ударной гласной в тексте («за́мок», «замо́к»), включая случаи против словаря. Без меток читает по словарю.
Изменён только текстовый словарь и одна матрица — talker.text_embd.weight. Из словаря
вырезаны письменности, не используемые в русско-английском тексте (CJK, корейский, арабский,
иврит, деванагари, тайский и т. п.).
| Текстовый словарь | Словарь аудиокодека | |
|---|---|---|
| Размер | 151 936 → 116 000 строк | 3072 — не тронут |
| Что в нём живёт | im_start/im_end, tts_bos/tts_eos/tts_pad, BPE-куски текста |
codec_bos/eos/pad, think*, language_ids |
| Прунинг | да, −23.7 % | нет |
Прунинг lossless для русского и английского: special- и байтовые токены целые, все токены русско-английского корпуса сохранены, замыкание по merges соблюдено, сегментация корпуса старым и новым токенизатором совпадает токен-в-токен (расхождений 0). Поэтому веса не переобучались и переучивания не требуется. Байтовый фолбэк целая — любой редкий символ остаётся достижимым, просто дороже по токенам.
Служебные id после remap: <|endoftext|> = 115 967, <|im_start|> = 115 968,
<|im_end|> = 115 969, tts_pad = 115 995, tts_bos = 115 996, tts_eos = 115 997.
Один пайплайн, один seed (42), один референсный голос (женский, 3 с), --lang Russian.
Контроль — та же модель без прунинга, тем же командным вызовом.
| Текст | CER контроль | CER эта сборка | Кадры до EOS | Длина звука |
|---|---|---|---|---|
| Длинный рассказ (181 слово) | 4.06 % | 4.06 % | 1108 / 1108 | 88.64 с / 88.64 с |
| Перечень стресс-пар (123 слова) | 13.81 % | 13.81 % | 913 / 913 | 73.04 с / 73.04 с |
| 12 размеченных фраз (U+0301, омографы) | — | — | 48…84 / те же | 3.84…6.72 с / те же |
Вывод побитово идентичен контролю: WAV-пары совпали по MD5 (100 % семплов, maxdiff 0), остановка по EOS на тех же кадрах. Ужатие словаря поведение модели не изменило.
Проверка на тексте с метками ударений (12 фраз по 1–2 омографа: «За́мок стои́т на холме́,
а ма́стер почини́л замо́к в двери́.», а́тлас/атла́с, му́ки/мука́, ча́сы/часы́, сто́ит/стои́т,
па́ря/пари́т, о́браз/обра́з, зе́мля/земля́, пи́ла/пила́, ка́ша/каша́, сы́р/сыро́в, до́ма/дома́) —
12 фраз из 12 совпали с контролем побитово, EOS на тех же кадрах (48…84). Проверено и в
auto, и с --lang Russian. На ударениях прунинг не сказался.
CER — faster-whisper small (CUDA, compute_type int8, language="ru"), расстояние по
символам до эталонного текста, очищенного от меток U+0301 и пунктуации. У автора базового
стресс-дообучения метрика снималась моделью large-v3-turbo — его 2.9 % и наши 4.06 %
не одна и та же линейка.
--lang Russianвлияет на разбор. Тот же текст, тот же seed, та же модель:
режим перечень стресс-пар CER --langне задан (auto)364 кадра, 29.12 с 57.06 % --lang Russian913 кадров, 73.04 с 13.81 % В auto-режиме модель на плотном перечне слов без синтаксиса бросает читать список на середине. С явным языком дочитывает его целиком. Контроль ведёт себя точно так же, идентичность pruned/контроль сохраняется в обоих режимах.
Работает только в qwentts.cpp — форке
llama.cpp для Qwen3-TTS. В llama.cpp эти GGUF не запускаются: архитектура qwen3-tts идёт с
двумя потоками (talker + code-predictor) и внешним кодеком.
.\qwen-tts.exe `
--model .\qwen-talker-1.7b-base-ru-pruned-Q4_K_M.gguf `
--codec .\qwen-tokenizer-12hz-Q8_0.gguf `
--ref-wav .\my_voice.wav `
--lang Russian `
--seed 42 `
-o out.wav `
< text.txt
--ref-wav — запись целевого голоса (короткая, чистая, 24 kHz). Тембр и манера берутся из неё.--lang Russian — задавать явно (см. рамку в разделе приёмки: на перечне слов CER
57.06 % → 13.81 %).--seed <int> — детерминированный вывод; по умолчанию сэмплирование (temp 0.9,
top_k 50, top_p 1.0, repetition 1.05).--greedy — argmax. На длинном тексте не останавливается: доходит до потолка
--max-new (2048 кадров = 163.84 с) без EOS. То же и в контроле — свойство базовой
модели. Для длинного текста — сэмплирование с seed и/или --max-new.--max-new <кадров> — потолок длины (по умолчанию 2048 ≈ 164 с звука).--instruct на этой сборке отклоняется (см. раздел про голос).--device CPU работает, RTF ≈ 1.2–1.5 на 8 потоках.| CUDA | CPU | |
|---|---|---|
| RTF (сэмплирование) | 0.19–0.21 | 1.22–1.47 |
| мс на кадр (12.5 кадров/с) | 13.1–14.4 | 56–67 |
| первый кадр (TTFA) | 60–140 мс | 0.65–3.4 с |
| prefill промпта | 28–90 мс | 0.6–3.3 с |
| старт процесса (загрузка моделей) | 2.0 с | 2.1 с |
| VRAM | ~1.4 ГБ | — |
Короткая фраза 13.4 с озвучивается за 2.5 с вместе с загрузкой; 88.6 с текста — за 18 с. Основная стоимость кадра — не talker (6.8 с на 1108 кадров), а code-predictor (9.1 с); декод аудиокодека — 1.9 с, ~11 % времени.
Одним запуском совмещить описание голоса и озвучку нельзя: режим читается из model_type
внутри GGUF, и флаги несовместимы (--instruct отвергается на Base, --ref-wav требует
Base). Поэтому два последовательных шага, оба файла — из этого репозитория:
# шаг 1: голос из текстового описания — модель VoiceDesign (не эта сборка)
.\qwen-tts.exe `
--model .\qwen-talker-1.7b-voicedesign-Q4_K_M.gguf `
--codec .\qwen-tokenizer-12hz-Q8_0.gguf `
--instruct "female, teenage girl, very high pitch, bright shrill youthful voice" `
--lang Russian -o voice.wav `
< sample.txt
# шаг 2: озвучка нужного текста этим файлом, голос — из шага 1
.\qwen-tts.exe `
--model .\qwen-talker-1.7b-base-ru-pruned-Q4_K_M.gguf `
--codec .\qwen-tokenizer-12hz-Q8_0.gguf `
--ref-wav .\voice.wav `
--lang Russian --seed 42 -o out.wav `
< text.txt
Замер на 3060: шаг 1 — 2.5 с (12.6 с звука), шаг 2 — 18 с (88.6 с звука). Голос из шага 1 можно сохранить и использовать многократно, тогда останется один шаг.
Файл VoiceDesign — оригинальный, без ужатия словаря (151 936) и без русского стресс-дообучения: он отвечает только за тембр по описанию. Ударения по меткам U+0301 читает шаг 2, то есть эта сборка.
Работает как раньше:
--stream-by-line);Ухудшилось — и это цель:
Честные ограничения:
--greedy на длинном тексте не останавливается (см. «Запуск»).| Файл | Байт | Что это |
|---|---|---|
qwen-talker-1.7b-base-ru-pruned-Q4_K_M.gguf |
1 157 193 440 | target: talker Base, Q4_K_M, текстовый словарь 116 000 — озвучка по записи-референсу |
qwen-talker-1.7b-voicedesign-Q4_K_M.gguf |
1 182 630 816 | голос по текстовому описанию (--instruct), Q4_K_M, словарь 151 936 — для шага 1 цепочки, файл без изменений |
qwen-tokenizer-12hz-Q8_0.gguf |
291 150 624 | аудиокодек (talker выдаёт коды, звук делает он) — без изменений, без него не запустить |
qwen-talker-1.7b-base-ru-full-Q4_K_M.gguf |
1 219 245 248 | контроль: та же модель без ужатия словаря, для честного A/B |
Четыре файла вместе = 3 850 220 128 B (3.85 GB), с этой карточкой — 3 850 237 460 B. Голос-референс, на котором делалась приёмка, не выкладывается.
SHA-256:
qwen-talker-1.7b-base-ru-pruned-Q4_K_M.gguf
BD6D673FBB9D4306596BCB0C9C1E822742441A3F6B8FE374FDF3822695C63EFC
qwen-talker-1.7b-voicedesign-Q4_K_M.gguf
7605ED0CC5E72059F27468C27F70C070E05D1CC0C7B1C76BFB9CBA717A59EEE3
qwen-tokenizer-12hz-Q8_0.gguf
1883BEEED99348FC35E23DD225E9082F93F6F8C109330A33D935BAA8ACDBFD94
qwen-talker-1.7b-base-ru-full-Q4_K_M.gguf
F99FEF28E66194CAADA1FED8E1136256A9CC9F5C6BB355C3B57188C0DC3ACC6D
Apache-2.0 — та же лицензия, что у исходной модели, без дополнительных ограничений.