加载中…
加载中…
language:
I.Good 1.2 Coder — это специализированная версия моей серии I.Good, обученная с нуля исключительно на HTML-коде, CSS и JavaScript.
Это не ChatGPT и не Copilot. Это 8.9M параметров, которые знают все HTML-теги наизусть, но понятия не имеют, что такое человеческий язык. Модель обучалась на серверном процессоре Intel Xeon без использования видеокарт.
Запрос: <|user|> напиши кнопку "я тут"<|assistant|>
Ответ модели:
</p>
<label>
<span>
<input type="reg src="emarea>
<label><input type="time="Сырой HTML</p>Стки не отлинарный текту:</label>
<input type="Содержимое</p>
<span itemprop="Пеблямогресладка: <label="Кон:</p>
Да, это бред. Но обратите внимание: она знает теги <label>, <input>, <span> и атрибуты type="...">.
Запрос: <|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body>
Ответ модели:
<h4 class="hint">
<h2>This isFari
<div class="world-modal">
<p>
<h3 id="card">
Здесь видно, что она выучила структуру, помнит классы (world-modal, hint) и вкладывает теги.
| Параметр | Значение |
|---|---|
| Параметров | 8,946,432 |
| Слоёв (n_layer) | 6 |
| Голов внимания | 8 |
| Размер hidden | 320 |
| Контекст | 512 токенов |
| Токенизатор | BPE, 4096 токенов |
| Train Loss (финал) | 0.86 |
| Железо | Intel Xeon E5-2690 v4 (без GPU) |
| Время | ~1 час |
| Данные | 400 КБ чистого HTML + 86 КБ JS (Tycoon) |
В процессе обучения модель столкнулась с двумя датасетами:
<div>, <h1>, <p>.Из-за того, что модель слишком маленькая (8.9M), она не смогла разделить эти два домена. В результате:
Из-за того, что модель обучена на специфическом формате, важно использовать "затравку" (priming):
model.gguf.<|user|>, <|endoftext|><|user|>Напиши HTML страницу с тегами h1, p<|assistant|><!DOCTYPE html><html><body>