LFM3-1.7B Meeting Protocol RU (GGUF)
Модель на 1.7B параметров, которая по расшифровке разговора на русском составляет протокол встречи: тему, краткое содержание, принятые решения, задачи с исполнителем и сроком, ключевые факты. Отвечает строгим JSON. Рассчитана на работу на устройстве: телефон или ноутбук, CPU, без интернета.
Основа — LiquidAI/LFM3-1.7B, дообучение LoRA (r=32, все линейные слои, 2 эпохи), слито с базой и сконвертировано в GGUF.
A 1.7B model that turns a Russian conversation transcript into structured meeting minutes (JSON): title, summary, decisions, action items with assignee and due date, key points. Fine-tuned from LFM3-1.7B, built for on-device CPU inference.
Файлы
| Файл | Размер | Примечание |
|---|---|---|
lfm3-protocol-ru-Q4_K_M.gguf |
1.10 ГБ | рекомендуется: на задаче не хуже bf16 |
lfm3-protocol-ru-Q8_0.gguf |
1.85 ГБ | |
lfm3-protocol-ru-f16.gguf |
3.47 ГБ | для своей квантизации |
Нужен llama.cpp с поддержкой архитектуры lfm3 (master от ноября 2026 и новее).
Формат запроса
Реплики подаются строками спикер_N: текст (анонимные участники, как на выходе диаризации). Рассуждения
выключены: ход ассистента начинается с <think></think>.
<|startoftext|><|im_start|>system
Ты — секретарь встреч. Работаешь только с переданной расшифровкой: ничего не выдумывай, имена и сроки бери только из текста.<|im_end|>
<|im_start|>user
Расшифровка (спикер_N — анонимные участники, имена в репликах — упоминания людей):
спикер_1: Так, коллеги, первый вопрос — поставки на следующий квартал.
спикер_2: Поставщик поднял цену на тридцать процентов.
...
Составь протокол встречи. Верни JSON: {"title", "summary", "decisions": [...], "tasks": [{"task", "assignee", "due"}], "key_points": [...]}.<|im_end|>
<|im_start|>assistant
<think></think>
Другие поддерживаемые инструкции (тот же формат запроса, меняется последняя строка):
Кратко перескажи встречу. Верни JSON: {"title", "summary"}.Выпиши поручения и задачи с исполнителями и сроками. Верни JSON: {"tasks": [{"task", "assignee", "due"}]}.Выпиши принятые решения и договорённости. Верни JSON: {"decisions": [...]}.
assignee — имя, если оно прозвучало, иначе спикер_N, если понятно, кто берёт задачу, иначе null.
due — срок так, как его назвали, иначе null.
Пример ответа:
{"title":"Поставки и монтаж","summary":"Обсудили рост цен на поставки и отставание по монтажу. Договорились взять пробную партию у нового поставщика и закончить монтаж до пятницы.","decisions":["Купить пробную партию у второго поставщика."],"tasks":[{"task":"Закончить монтаж в оставшихся секторах","assignee":"Ирина","due":"до пятницы"}],"key_points":["Поставщик поднял цену на 30% и сдвинул сроки на 2 недели."]}
Запуск
llama-completion -m lfm3-protocol-ru-Q4_K_M.gguf -f prompt.txt -c 4096 -n 1024 \
--temp 0 --repeat-penalty 1.1 --repeat-last-n 64 -no-cnv
Рекомендации:
- Жадное декодирование и штраф за повторы 1.1 на последних 64 токенах. Без штрафа модель изредка зацикливается.
- Задавайте контекст явно (
-c 4096). По умолчанию llama.cpp берёт весь обучающий контекст, и памяти нужно больше 4 ГБ. - Длинные расшифровки режьте по репликам на части до ~2200 токенов и объединяйте протоколы частей. Модель обучалась на разговорах до ~2.5 тыс. токенов.
use_extra_bufts=false(без перепаковки весов) снижает пик памяти Q4_K_M с ~2 до ~1.3 ГБ почти без потери скорости.
Данные и качество
Обучающий набор синтетический: 2300 разнообразных разговоров на русском с эталонными протоколами, сгенерированных большой LLM. 1800 рабочих встреч в 40 сферах (ИТ, стройка, медицина, ЖКХ, финансы, энергетика, семья и др.), 2–5 участников, 8–55 реплик. Ещё 500 подкастов и интервью. Текст стилизован под выход распознавания речи: разговорные обороты, перебивания, числа словами, ослышки.
На 50 отложенных встречах (задача засчитывается, если совпали исполнитель и срок):
| Модель | Валидный JSON | Задачи: точность | Задачи: полнота |
|---|---|---|---|
| LFM3-1.7B без дообучения | 37/50 | 0.05 | 0.08 |
| эта модель (bf16) | 49/50 | 0.85 | 0.79 |
Q4_K_M на подвыборке из 12 примеров: точность 0.81, полнота 0.75 против 0.79 и 0.75 у bf16.
Скорость Q4_K_M на 4 ядрах x86 CPU с AVX2: чтение промпта ~100 ток/с, генерация ~13 ток/с, протокол двухминутной встречи — 30–40 с.
Ограничения
- Только русский язык. Рассчитана на диалоги и встречи, не на монологи и художественный текст.
- Это маленькая модель: возможны неточные формулировки, путаница ролей в кратком содержании, редкие грамматические ошибки. На бессвязном или очень коротком входе может досочинять детали. Показывайте результат как черновик, который человек проверяет.
- Текст расшифровки модель не правит и не предназначена для этого.
Лицензия
Производная от LFM3-1.7B, распространяется на условиях LFM Open License v1.0 (Liquid AI, Inc.), включая ограничения на коммерческое использование для организаций с выручкой от 10 млн долларов в год.