Qwen3.5-2B Uncensored Aggressive — IQ4_NL (любительская сборка)
Разлоченная и агрессивная 2B-модель, квантованная в формат IQ4_NL с двумя вариантами калибровки.
Цель эксперимента — показать, что даже на небольшом калибровочном наборе (1 МБ) IQ4_NL достигает своего качественного потолка, а дальнейшее увеличение данных не улучшает метрики.
🧠 Модели в репозитории
| Файл | Калибровка | Размер (ГБ) |
|---|---|---|
Qwen3.5-2B-Uncensored-HauhauCS-Aggressive-IQ4_NL_smart.gguf |
1 МБ (~243 тыс. токенов) | 1.15 |
Qwen3.5-2B-Uncensored-HauhauCS-Aggressive-IQ4_NL_72mb.gguf |
72 МБ (~19.35 млн токенов) | 1.15 |
BF16 и Q4_K_M — позаимствованы у автора файнтюна, в репозиторий не включены.
🚀 Как использовать
llama-cli -m Qwen3.5-2B-Uncensored-HauhauCS-Aggressive-IQ4_NL_smart.gguf -ngl 99 -c 16384
💡 Для русского языка добавьте системный промпт, явно указывающий, что модель — русскоязычный ассистент. Базовая модель англоцентрична, для свободного русского потребуется дообучение.
📊 Методика тестирования и результаты
Платформа: RTX 5070, llama-perplexity (llama.cpp) с -ngl 99, контексты от 64 до 32768 токенов.
Скорость вычисления PPL: ~2000 токенов/сек на матрице (для 2B модели).
Скорость генерации (инференс):
- BF16 (несжатый) — около 100 токенов/с
- IQ4_NL / Q4_K_M — около 200 токенов/с (ускорение в 2 раза)
Для сравнения, 9B модель с IQ3_XS на этой же карте даёт около 100 токенов/с, но значительно выигрывает по качеству знаний.
Данная 2B сборка — компромисс для экспериментов на слабом оборудовании и изучения влияния калибровки.
Графики и выводы
Основные наблюдения:
IQ4_NL_smartиIQ4_NL_72mbпоказали практически идентичную перплексию на всех контекстах.- Увеличение калибровочного объёма с 1 МБ до 72 МБ не дало статистически значимого улучшения.
- Даже когда калибровка 72 МБ покрывала 99.7% тестового набора
hybrid_test_256, её PPL не стал ниже. - Для 2B‑моделей достаточно ~243 тыс. токенов калибровки; дальнейшее наращивание объёма не имеет практического смысла.
🔬 Пересечение данных (MinHash)
Метод MinHash (5‑граммы) подтвердил отсутствие утечки на основном независимом тесте wiki.test.raw:
| Калибровка | Тестовый набор | Пересечение (калибр. / тест) |
|---|---|---|
| smart_1mb | wiki.test | 2.10% / 3.45% |
| smart_1mb | hybrid_test_256 | 31.33% / 42.56% |
| full_72mb | wiki.test | 0.59% / 13.11% |
| full_72mb | hybrid_test_256 | 5.47% / 99.69% |
📂 Структура репозитория
*.gguf— квантованные модели (только IQ4_NL_smart и IQ4_NL_72mb)Тест.sh— bash-скрипт для замера PPLДопППЛ.py— извлечение поблочной PPL и построение графиковА1.py— интерактивный график PPL от длины контекста (Plotly)plot_bench.gp— gnuplot-версия общего графикаMinHash.py— анализ пересечения датасетовcontext_scan_results.csv— итоговые значения PPL*.png— графики
Скрипты самодостаточны, могут быть переиспользованы.
Тестовые датасеты и логи не выложены из соображений размера — воспроизвести эксперимент можно по скриптам и собственным данным.
⚠️ Ограничения
- Модель имеет характер «Uncensored» и «Aggressive», возможен нежелательный контент.
- Русский язык присутствует, но ограничен, требуется дообучение для свободного владения.
- 2B параметров — компромисс между скоростью и глубиной знаний.
- Проверено только на RTX 5070 (Blackwell), другие карты должны поддерживать IQ4_NL (требуется актуальный llama.cpp).
🙏 Благодарности
Qwen, HauhauCS, сообществу llama.cpp, ikawrakow за IQ‑методы.
📧 Автор и поддержка
Nic22Of2003 – профиль на Hugging Face
Это любительская сборка. Если ваша версия llama.cpp не поддерживает такой формат квантизации или модель не запускается — напишите в обсуждения репозитория, постараемся помочь.
По всем вопросам обращайтесь туда же.
Открыт к совместным экспериментам, дообучению и любым идеям — если есть что предложить, не стесняйтесь.