tinystories-gpt2-30m

GPT-2 구조(6 layers, 6 heads, 384 dim, context 256, 약 30M 파라미터)를 PyTorch로 직접 구현해 TinyStories로 처음부터 사전학습한 뒤, GPT2LMHeadModel 형식으로 변환한 학습용 모델입니다.

• 학습: 9,000 steps, 약 295M tokens, bf16 mixed precision, RTX 4060 Laptop
• 학습 데이터: TinyStories (CDLA-Sharing-1.0)
• 검증 loss: 1.5472
• 토크나이저: GPT-2 (vocab 50257)
• fp16 추론 검증: fp32 대비 greedy 생성 일치

사용법

from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("skmbkang/tinystories-gpt2-30m")
model = AutoModelForCausalLM.from_pretrained("skmbkang/tinystories-gpt2-30m")
ids = tok("Once upon a time", return_tensors="pt")
out = model.generate(**ids, max_new_tokens=100, do_sample=True, temperature=0.8, top_k=50)
print(tok.decode(out[0], skip_special_tokens=True))

한계

어린이용 짧은 영어 이야기만 학습했습니다. 일반 지식, 다른 언어, 사실 정확성이 필요한 용도에는 맞지 않습니다.