Это незавершённая экспериментальная версия. Мы делимся промежуточным результатом, чтобы желающие могли попробовать модель и помочь её развитию, а не держать её закрытой до идеального состояния.
TABIS 1.1 0.8B — небольшая локальная языковая модель, адаптированная для работы с языком саха. Автор адаптации и сборки — tabis. В основе лежит Qwen3.5-0.8B команды Qwen. Данная версия использует выбранный вариант Human sensitivity: CPT на текстах саха, затем SFT на диалогах, включая небольшое количество исправлений человека. Файлы можно запускать локально, в том числе в LM Studio.
Режим размышления (Thinking): при использовании модели рекомендуется отключить его в настройках программы. В LM Studio выключите переключатель Enable Thinking. Остальные параметры генерации выбирайте по своему усмотрению; необязательные ориентиры приведены в конце карточки.
Модель может отвечать на простые обращения на саха, выдавать короткие разговорные реплики и работать локально без обращения к облаку после скачивания. В небольшой сравнительной проверке вариант Human sensitivity получил наиболее благоприятную оценку на четырёх базовых вопросах; этого недостаточно, чтобы считать его лучшим на всех темах или подтвердить идеальную грамматику. Модель компактная: Q4_K_M занимает примерно 505 МиБ, F16 и BF16 — около 1,41 ГиБ каждый.
Модель может отвечать бессвязно, уходить от вопроса, повторяться, путать лица и уверенно выдумывать биографические и исторические факты. По наблюдениям автора при проверке модели переходов на русский и обрывов ответов не обнаружено; это наблюдение не является исчерпывающим тестом. В нашей проверке она не назвала Ысыах в ответ на вопрос о крупном летнем празднике саха. Математика и логические задачи также могут выполняться неверно. Не следует считать её ответы проверенным источником фактов или использовать без дополнительной проверки там, где важна точность.
Это не результат полноценной независимой оценки носителями языка и не полный YakutEval. Часть предыдущих сравнений оценивалась GigaChat, который сам может ошибаться в саха. Хороший ответ на несколько вопросов не гарантирует стабильного качества в других ситуациях.
r=16, alpha=32; контекст 1024 токена, batch 1 с накоплением градиента 8. Для CPT learning rate 5e-5, для SFT 2e-5; оптимизатор AdamW 8-bit. SFT обучал ответы ассистента, продолжался одну эпоху и завершился на 1 210 шагах. NEFTune в этой версии не использовался.Loss — показатель ошибки на конкретных данных: меньше обычно означает лучшее соответствие этим данным, но сам по себе он не измеряет естественность речи, правдивость или качество диалога.
| Этап | Проверочная loss до | Проверочная loss после | Дополнительные сведения |
|---|---|---|---|
| CPT | 4,1013 | 1,6447 | Последний восстановленный запуск; в истории сохранены промежуточные проверки. |
| SFT Human sensitivity | 1,9337 | 1,5661 | Train loss 1,6365; одна эпоха, 1 210 шагов. |
В истории CPT validation loss: 1,8482 на шаге 10 000; 1,7476 на 20 000; 1,6977 на 30 000; 1,6696 на 40 000; 1,6514 на 50 000; 1,6447 в конце. В SFT: 1,6610 на шаге 250; 1,6135 на 500; 1,5876 на 750; 1,5711 на 1 000; 1,5661 в конце. Дообучение и сохранение CPT продолжались через несколько запусков; показатель времени последнего запуска не является общим временем всего обучения.
Полные сохранённые журналы: evaluation/cpt_training_metrics_resumed.json и evaluation/sft_training_metrics.json. Они включают историю и технические сведения; loss не доказывает улучшение общей способности говорить на саха.
gguf/ — F16, BF16 и Q4_K_M. F16 и Q4 загрузились в LM Studio на GPU и проверены на четырёх отдельных вопросах. BF16 загружен и проверен генерацией через llama.cpp CPU; в LM Studio отдельно ещё не проверен.source/merged-hf-bf16/ — объединённые веса Safetensors, токенизатор и шаблон, используемые для конвертации.source/adapter/ — сохранённый адаптер Human sensitivity с конфигурацией и токенизатором. Для использования нужны соответствующая базовая модель и корректная обработка добавленных токенов.source/ — профиль обучения и отчёт о подготовке; scripts/ — скрипты проекта и повторной конвертации. Они зависят от исходной структуры рабочего проекта и установленных инструментов; это не полностью автономный пакет обучения.evaluation/ — метрики и небольшие проверки; SHA256SUMS.txt — контрольные суммы.Обучающие датасеты не включены в этот репозиторий; права на материалы исходных источников следует проверять отдельно. Модель распространяется по лицензии Apache 2.0.
Эти значения — только отправная точка для экспериментов, а не обязательные настройки. Подбирайте их под свои задачи и предпочтения.
Результаты могут отличаться в зависимости от программы, промпта и выбранного квантования.
Qwen/Qwen3.5-0.8B