Sejong-Qwen-test-v1_inference.ipynb:
Usage:
8.7 GB์ GPU RAM์ ์ฌ์ฉํ์ฌ, Colab์์ T4๋ก ์์ ์ ์ธ Inference๊ฐ ๊ฐ๋ฅํฉ๋๋ค.
!pip install transformers einops accelerate
!pip install qwen
!pip install unsloth
from transformers import AutoTokenizer, AutoModelForCausalLM
# ํ ํฌ๋์ด์ ์ ๋ชจ๋ธ ๋ก๋
tokenizer = AutoTokenizer.from_pretrained(
"SejongKRX/Sejong-Qwen-test-v1",
trust_remote_code=True,
use_fast=False
)
model = AutoModelForCausalLM.from_pretrained(
"SejongKRX/Sejong-Qwen-test-v1",
trust_remote_code=True
)
# ์
๋ ฅ ํ
์คํธ
input_text = """
๋ค์ ์ค ํํ์ ์๊ฐ๊ฐ์น์ ๊ดํ ์ค๋ช
์ผ๋ก ์ณ์ง ์์ ๊ฒ์ ๋ฌด์์ธ๊ฐ?
A. ์ ๋ณต๋ฆฌ์ ๊ฒฝ์ฐ, ๋งค์ ์ ์ฉ๋๋ ์ด์์จ์ ์ฐ๊ฐ ๋ช
๋ชฉ ์ด์์จ์ 1/12๋ก ๋๋์ด ์ฐ์ถํ๋ค.
B. ํฌ์ ์๊ธ ๋ฐ ๊ธฐํ ์กฐ๊ฑด์ด ๋์ผํ ๊ฒฝ์ฐ, ๋จ๋ฆฌ ๋ฐฉ์๋ณด๋ค ๋ณต๋ฆฌ ๋ฐฉ์์์ ๋ฐ์ํ๋ ์ด์๊ฐ ๋ ํฌ๋ค.
C. ์ผ์๋ถ๋ก ์ง๊ธ๋ ๊ธ์ก์ ํ์ฌ ๊ฐ์น๋ ๋ฏธ๋ ๊ฐ์น๋ฅผ ์ผ์ ๊ธฐ๊ฐ ๋์ ํ ์ธ์จ์ ์ ์ฉํด ์ฐ์ถํ ์ ์๋ค.
D. 1,000,000์์ ์ฐ 5% ๋ณต๋ฆฌ๋ก 2๋
๋์ ์์นํ์ ๊ฒฝ์ฐ, ๋ง๊ธฐ์ ๋ฐ์ ์ธ์ ์ด์๋ 100,000์์ด๋ค.
### ์ ๋ต:
"""
# ํ ํฐํ ๋ฐ ์
๋ ฅ ํ
์๋ฅผ GPU๋ก ์ด๋
inputs = tokenizer(input_text, return_tensors="pt").to("cuda")
# ๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ ํ
์คํธ ์์ฑ
output = model.generate(**inputs, max_length=1500)
# ๊ฒฐ๊ณผ ๋์ฝ๋ฉ
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)
output:
๋ค์ ์ค ํํ์ ์๊ฐ๊ฐ์น์ ๊ดํ ์ค๋ช
์ผ๋ก ์ณ์ง ์์ ๊ฒ์ ๋ฌด์์ธ๊ฐ?
A. ์ ๋ณต๋ฆฌ์ ๊ฒฝ์ฐ, ๋งค์ ์ ์ฉ๋๋ ์ด์์จ์ ์ฐ๊ฐ ๋ช
๋ชฉ ์ด์์จ์ 1/12๋ก ๋๋์ด ์ฐ์ถํ๋ค.
B. ํฌ์ ์๊ธ ๋ฐ ๊ธฐํ ์กฐ๊ฑด์ด ๋์ผํ ๊ฒฝ์ฐ, ๋จ๋ฆฌ ๋ฐฉ์๋ณด๋ค ๋ณต๋ฆฌ ๋ฐฉ์์์ ๋ฐ์ํ๋ ์ด์๊ฐ ๋ ํฌ๋ค.
C. ์ผ์๋ถ๋ก ์ง๊ธ๋ ๊ธ์ก์ ํ์ฌ ๊ฐ์น๋ ๋ฏธ๋ ๊ฐ์น๋ฅผ ์ผ์ ๊ธฐ๊ฐ ๋์ ํ ์ธ์จ์ ์ ์ฉํด ์ฐ์ถํ ์ ์๋ค.
D. 1,000,000์์ ์ฐ 5% ๋ณต๋ฆฌ๋ก 2๋
๋์ ์์นํ์ ๊ฒฝ์ฐ, ๋ง๊ธฐ์ ๋ฐ์ ์ธ์ ์ด์๋ 100,000์์ด๋ค.
### ์ ๋ต:
D
Dataset
๋ณธ ๋ชจ๋ธ์ ๋ค์ํ ์ถ์ฒ์ ๋ฐ์ดํฐ(Wikipedia ๋ฐ ํ๊ตญ์ํ์ ๊ณต๊ณต ๋ฐ์ดํฐ)๋ฅผ ํ์ฉํ์ฌ ํ์ต๋์์ผ๋ฉฐ, ๋ชจ๋ ๋ฐ์ดํฐ๋ ์ ์๊ถ ๋ฐ ์ฌ์ฉ ์ ์ฑ ์ ๋ฐ๋ผ ์ ์ ํ ์ฌ์ฉ๋์์ต๋๋ค.
- Wikipedia ๋ฐ์ดํฐ๋ CC BY-SA 4.0 ๋ผ์ด์ ์ค๋ฅผ ๋ฐ๋ฆ ๋๋ค. ์์ธํ ์ ๋ณด๋ ์ฌ๊ธฐ์์ ํ์ธํ ์ ์์ต๋๋ค.
- ํ๊ตญ์ํ์ ๋ฐ์ดํฐ๋ ํ๊ตญ์ํ์ ์ ์๊ถ ๋ณดํธ๋ฐฉ์นจ์ ๋ฐ๋ผ ์ฌ์ฉ๋์์ต๋๋ค.