yejin-korean-3b-v1-sft-gguf

yejin-korean-3b-v1은 8x NVIDIA H200 환경에서 한국어 고품질 코퍼스로 From-Scratch 사전학습한 한국어 파운데이션 모델입니다.

모델 스펙

• 아키텍처: Llama 3.2 3B 규격 (hidden=3072, layers=28, heads=24, kv_heads=8, GQA 3:1)
• 토크나이저: EleutherAI/polyglot-ko-1.3b (30,003)
• 학습: Pre-training → SFT → gguf
• 컨텍스트: 4,096 토큰

사용 예시

from transformers import pipeline

gen = pipeline("text-generation", model="cooler8/yejin-korean-3b-v1-sft-gguf", torch_dtype="bfloat16", device_map="auto")
print(gen("한국의 수도는", max_new_tokens=100)[0]['generated_text'])