OneAI 1.2 (38M Parameters)

Ten model to mały, lekki asystent konwersacyjny typu GPT-2 o rozmiarze ~38 milionów parametrów. Model ten został wyuczony od zera (from scratch) – bez wykorzystywania jakichkolwiek wcześniej pretrenowanych wag bazowych. Jego wiedza oraz sposób prowadzenia konwersacji opierają się wyłącznie na zestawie danych OneAI 1.2 Dataset składającym się z 50.000 syntetycznych przykładów SFT.

Szczegóły Treningowe

• Architektura: GPT-2 (Custom)
• Parametry: ~38M
  • n_layer: 4
  • n_head: 8
  • n_embd: 512
  • n_positions (Maksymalny kontekst): 512
• Wagi początkowe: Losowa inicjalizacja (trained from scratch)
• Tokenizator: Oparty na rozwiązaniu zapożyczonym z EleutherAI/pythia-14m (BPE), posiadający predefiniowany, dodany chat_template pod format uczycia konwersacyjnego z tagami User: oraz Assistant:.

Umiejętności Modelu

Ze względu na to, iż model uczył się na małym zbiorze specjalistycznych, syntetycznych zapytań nie dysponuje kompetencjami gigantów LLM na rynku. Skupia się w głównej mierze na:

1. Prowadzeniu małych konwersacji (Greetings): Potrafi naturalnie odpowiadać na ludzkie powitania i zaczynać dialog interakcją.
2. Zachowaniu tożsamości (Identity): Jest głęboko wyuczony, że reprezentuje asystenta o nazwie "OneAI 1.2" wspierającego w podstawowych zadaniach.
3. Podstawowa Wiedza Ogólna: Reprezentuje niewielki wycinek podstawowej, prostej wiedzy o świecie (np. wielkie miasta, planety układu słonecznego, pojęcia powiązane ze słowem "AI").

Uwaga: Model celowo nie był uczony matematyki, ani wykonywania obliczeń. Nie potrafi rozwiązywać skomplikowanych zagadek logicznych, jego przeznaczeniem jest szybkie testowanie mechanizmów Supervised Fine-Tuning bezpośrednio w notatniku (np. Google Colab).

Jak uruchomić z transformers?

Formatowanie promptu opiera się o rygorystyczny schemat budowania okna czatu w formacie User: ... \nAssistant:.

from transformers import pipeline, AutoTokenizer, GPT2LMHeadModel

repo_id = "onedevelopment/oneai-1.2-38m

tokenizer = AutoTokenizer.from_pretrained(repo_id)
model = GPT2LMHeadModel.from_pretrained(repo_id)

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)

# Pamiętaj u użyciu odpowiedniego formatowania promptu!
prompt = "User: Hello!\nAssistant:"

outputs = pipe(
    prompt,
    max_new_tokens=40,
    do_sample=True,
    temperature=0.7,
    pad_token_id=tokenizer.eos_token_id,
    eos_token_id=tokenizer.eos_token_id
)

print(outputs[0]['generated_text'])