GPT-OSS Mini Thai Chat
GPT-OSS Mini Thai Chat เป็นโมเดลภาษาไทยขนาดเล็กที่พัฒนาขึ้นโดยอ้างอิงสถาปัตยกรรม GPT-OSS และ Mixture of Experts (MoE) ออกแบบมาเพื่อการทดลองและใช้งานบนเครื่องที่มีทรัพยากรจำกัด เช่น Google Colab T4 หรือ GPU ที่มีหน่วยความจำไม่มาก โมเดลนี้ได้รับการฝึกด้วยข้อมูลสนทนาภาษาไทยที่มีลักษณะเป็น instruction, input และ output
Model Specifications
| Specification | Value |
|---|---|
| Architecture | GPT-OSS Mini (MoE) |
| Number of Layers | 6 |
| Hidden Size | 768 |
| Attention Heads | 8 |
| Intermediate Size | 3072 (SwiGLU) |
| Mixture of Experts | 4 |
| Top-K Active Experts | 2 |
| Vocabulary Size | 50,000 |
| Maximum Sequence Length | 512 |
| Normalization | RMSNorm |
| Activation Function | SwiGLU |
| Tokenizer | ZombitX64/Hanuman |
Training Data
- Dataset: ZombitX64/ThaiChatbotConversation
- Domain: สนทนาภาษาไทย (instruction → input → output)
- Task: Causal Language Modeling (CLM)
Training Details
- Framework: Hugging Face Transformers + Trainer
- Loss Function: Cross Entropy (ignore index = -100)
- Optimizer: AdamW
- Mixed Precision: FP16
- Epochs: 3
- Batch Size: 2 (gradient accumulation steps = 8)
- Learning Rate: 5e-4
Usage
Installation
pip install transformers accelerate sentencepiece
Load Model
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("JonusNattapong/gptoss-mini-thaichat", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("JonusNattapong/gptoss-mini-thaichat", trust_remote_code=True)
inputs = tokenizer("สวัสดีครับ", return_tensors="pt").to(model.device)
outputs = model.generate(
**inputs,
max_length=50,
do_sample=True,
top_p=0.9,
temperature=0.7
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Example Output
Input: สวัสดีครับ
Output: สวัสดีครับ ยินดีที่ได้สนทนาด้วยครับ ต้องการให้ช่วยเรื่องใดเพิ่มเติมหรือไม่
Limitations
- โมเดลนี้เป็นขนาดเล็กเพื่อการทดลอง อาจไม่เหมาะสมกับการใช้งานในระดับ production
- ความสามารถด้าน reasoning และการทำงานกับโจทย์ซับซ้อนยังมีข้อจำกัด
- ไม่ได้ผ่านการปรับ fine-tune ด้านความปลอดภัยหรือการกลั่นกรองเนื้อหา
License
MIT License