Small LLM1
재미로 만든 약 5M(4.98M) 파라미터짜리 초소형 언어 모델입니다.
⚠️ 재미로 만든 모델이라 성능은 낮습니다. 실제 용도로 쓰기에는 부족하고, 짧은 영어 동화 문장을 이어 쓰는 정도만 할 수 있습니다.
⚠️ 파인튜닝(instruction tuning / chat tuning)은 하지 않았습니다. 사전학습만 한 base 모델이라 질문에 답하거나 대화하지 못하고, 주어진 문장을 이어서 쓰기만 합니다.
모델 정보
| 항목 | 값 |
|---|---|
| 구조 | Llama 스타일 decoder-only Transformer (처음부터 학습) |
| 파라미터 | 4.98M |
| 레이어 / hidden / heads | 6 / 256 / 8 |
| FFN 크기 | 512 |
| 어휘 크기 | 4,096 (직접 학습한 byte-level BPE) |
| 컨텍스트 길이 | 256 토큰 |
| 학습 데이터 | TinyStories 앞부분 약 40만 개 이야기 (약 92M 토큰) |
| 학습 | 6,000 step × 64 × 256 토큰, RTX 5070 1장에서 약 4분 |
| 검증 loss | 1.77 (perplexity 약 5.9, TinyStories 검증 구간) |
사용법
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("aaaaaaaieuyd/Small-LLM1")
tok = AutoTokenizer.from_pretrained("aaaaaaaieuyd/Small-LLM1")
x = tok("Once upon a time", return_tensors="pt")
out = model.generate(**x, max_new_tokens=80, do_sample=True, temperature=0.8, top_k=40)
print(tok.decode(out[0], skip_special_tokens=True))
출력 예시:
Once upon a time, there was a little girl named Lily. She had a little tooth that was very important to her. The tooth was her special tooth, and she could always count on it to show it to her friends.
한계
- 영어 동화체 문장만 학습해서 한국어나 다른 주제는 거의 못 다룹니다.
- 사실 정보, 추론, 코드 같은 건 기대하면 안 됩니다.
- 앞뒤가 안 맞는 이야기를 자주 만듭니다.
- 파인튜닝을 하지 않아서 지시를 따르지 못합니다.
English: Small LLM1 is a ~5M-parameter toy language model trained from scratch on TinyStories, just for fun. Performance is low, and it is a base model with no fine-tuning (no instruction or chat tuning). It can only continue short, simple English stories.