argos-harness-qwen3.5-4b
Qwen3.5-4B ์์ ํ์ตํ LoRA ์ด๋ํฐ์ ๋๋ค. Argos v0.2 ๋ค์ดํฐ๋ธ ์์ด์ ํธ ํ๋ค์ค์ 29๊ฐ ํด์ ์ฌ๋ฌ ํด์ ๊ฑธ์ณ ์ ํํ ํธ์ถํ๋๋ก SFTํ์ต๋๋ค. ํ์ต์ 8GB ์๋น์ GPU(RTX 3060 Ti)์์ Unsloth 4bit QLoRA๋ก ์งํํ์ต๋๋ค. llama.cpp / Ollama์์ ๋ฐ๋ก ์ธ ์ ์๋ Q4_K_M GGUF๋ ํจ๊ป ์ ๊ณตํฉ๋๋ค.
A LoRA adapter for Qwen3.5-4B, fine-tuned (SFT) to drive the 29-tool native agent harness of Argos v0.2, a personal study/project dashboard with channels, kanban, calendar, notes and LMS sync. Trained with Unsloth 4-bit QLoRA on a single 8 GB consumer GPU. A ready-to-run Q4_K_M GGUF is included.
| Base model | unsloth/Qwen3.5-4B (= Qwen/Qwen3.5-4B) |
| Adapter | LoRA r=16, ฮฑ=32, dropout 0, all attention + MLP projections (q/k/v/o/gate/up/down_proj) of the language model |
| Training | Unsloth QLoRA (4-bit NF4) + TRL SFTTrainer, 2 epochs, batch 1 ร grad-accum 8, peak LR 2e-4, linear schedule, warmup 5%, 98 optimizer steps, max seq len 4736, loss on assistant turns only |
| Data | 385 train / 65 eval conversations (~1.72M train tokens / epoch) |
| Final loss | train 0.0011 (last logged step; run average 0.0587) ยท eval 0.0032 |
| Hardware | 1 ร RTX 3060 Ti 8 GB (WSL2), ~95 min |
| W&B | training 4vaun76g ยท eval SFT fs7qdlb7 ยท eval base 2nxzjvrh |
| Languages | Korean (primary user turns), English (tool schemas, code) |
Files
| Path | |
|---|---|
adapter_model.safetensors, adapter_config.json |
LoRA adapter (PEFT), 42.5 MB |
tokenizer*.json, chat_template.jinja, processor_config.json |
Qwen3.5 tokenizer / chat template used in training |
gguf/Qwen3.5-4B.Q4_K_M.gguf |
Merged (base + LoRA) model, Q4_K_M, 2.8 GB |
gguf/Qwen3.5-4B.BF16-mmproj.gguf |
Vision projector (Qwen3.5 is natively multimodal; optional, not fine-tuned) |
Argos ํ๋ค์ค ยท The harness
Argos์ ๋ค์ดํฐ๋ธ ํ๋ค์ค(backend/src/argos/harness.py)๋ OpenAI ํธํ chat.completions ๋๋ Anthropic Messages API๋ก
๋ชจ๋ธ ์๋ต์ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ผ๋ฉด์ ํด ๋ฃจํ๋ฅผ ๋๋ฆฝ๋๋ค. ํด์ read / write / destructive๋ก ๋ถ๋ฅ๋๊ณ , ๊ถํ ๋ชจ๋์ ๊ฒฝ๋ก ํ์ฉ ๋ชฉ๋ก์ ๋ฐ๋ผ
์๋ ์คํ๋๊ฑฐ๋ ์ฌ์ฉ์์๊ฒ ์ธ๋ผ์ธ ์น์ธ์ ๋ฐ์ต๋๋ค. ๊นจ์ง ํด ์ธ์๋ repair_json์ผ๋ก ๋ณต๊ตฌํ์ง๋ง, ์ด ์ด๋ํฐ๋
๊ทธ๋ฐ ๋ณต๊ตฌ๊ฐ ํ์ ์๋๋ก ์ฒ์๋ถํฐ ์ฌ๋ฐ๋ฅธ ํด๊ณผ ์ธ์๋ฅผ ๋ด๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค.
| ๊ทธ๋ฃน ยท Group | Tools |
|---|---|
| ์กฐํ ยท Read | list_channels, get_today, get_schedule, search_notes, search_course_lms, search_knowledge, list_tasks, list_inbox, get_course_progress |
| ์ฐ๊ธฐ ยท Write | create_channel, add_task, update_task, move_task, create_event, update_event, capture_note |
| ์ญ์ ยท Destructive (์ธ๋ผ์ธ ์น์ธ) | delete_task, delete_event, delete_file |
| ํ์ผ ยท ์ ธ ยท Files & shell | read_file, list_dir, glob_files, grep_files, write_file, edit_file, run_command |
| ํ์ฅ ยท Extra | render_artifact, web_fetch, ask_agent |
ํ์ต ๋ฐ์ดํฐ ยท Training data
training/generate_seed_data.py๊ฐ ํ๋ค์ค์ ์ค์ ํด ์คํค๋ง(argos.sft_export.tool_specs())๋ก ์์ฑํ ํฉ์ฑ ๋ค์ค ํด ๊ถค์ ์
๋๋ค
(OpenAI messages + tools JSONL ํ์์ด๊ณ , run_id ํด์๋ก train/eval์ ๊ณ ์ ๋ถํ ). ์ค์ run์ ๋ด๋ณด๋ด๋ argos.sft_export์ ๊ฐ์ ํ์์
๋๋ค.
- 385 train / 65 eval ๋ํ, ๋ํ๋น ์ต๋ 11๊ฐ ๋ฉ์์ง, ์ํ๋น ์ฝ 4.2kโ4.7k ํ ํฐ (๊ทธ์ค system ํ๋กฌํํธ์ 29๊ฐ ํด ์คํค๋ง๊ฐ ์ฝ 4.05k)
- 29๊ฐ ํด ์ ๋ถ ๋ฑ์ฅ (train ๊ธฐ์ค ํด ํธ์ถ 1048ํ; ์์
add_task126,read_file76,render_artifact56,get_schedule54,create_event53,web_fetch49) - ์๋๋ฆฌ์ค: ํ ์ผยท์ผ์ ยท์ฑ๋ยท๋
ธํธยทLMS ์กฐํ/์์ , ์์
ํด๋ ํ์ผ ํ์ยทํธ์งยท๋ช
๋ น ์คํ,
์๋ฌ ๋ณต๊ตฌ(ํด์ด
์ค๋ฅ: <Type>: โฆ๋ฅผ ๋๋ ค์ฃผ๋ฉด ์ธ์๋ฅผ ๊ณ ์ณ ์ฌ์๋), ์ญ์ ์ ์ธ๋ผ์ธ ์น์ธ ํ๋ฆ,render_artifact๋ก ํยท์ฐจํธยทMermaid ์ธ๋ผ์ธ ์๊ฐํ,ask_agent๋ก ๋ค๋ฅธ ์์ด์ ํธ์ ์์,web_fetch, ๊ทธ๋ฆฌ๊ณ ํด์ด ํ์ ์๋ ์ผ๋ฐ ๋ํ ํด(๋ถํ์ํ ํด ํธ์ถ ์ต์ )
ํ์ต ์ ์ฃผ์์ ยท Training notes
Qwen3.5๋ก ๊ฐ์ ๋ฐ์ดํฐ๋ฅผ ํ์ตํ ๋ ํ์ธ๋ ํจ์ ๋ ๊ฐ์ง๋ฅผ ํ์ต ์คํฌ๋ฆฝํธ์์ ์์ ํ์ต๋๋ค.
- ์ํ์ค ๊ธธ์ด: ์ฒซ ์ด์์คํดํธ ํด ์์ ํ๋กฌํํธ๋ง ์ฝ 4.05k ํ ํฐ์
๋๋ค.
max_seq_length=2048์ด๋ฉด ์ด์์คํดํธ ํ ํฐ์ด ํ๋๋ ํ์ต๋์ง ์๊ณ system ํ๋กฌํํธ๋ง ์๊ธฐํฉ๋๋ค(loss๊ฐ 0.007๋ก ๋จ์ด์ง์ง๋ง ์๋ฏธ ์์). ๊ทธ๋์ 4736์ผ๋ก ํ์ตํ๊ณ , ์๋ฆฐ ์ํ์ ์์ต๋๋ค. - ํด ์ธ์ ๋ ๋๋ง: OpenAI ํ์์
tool_calls[].function.arguments๋ JSON ๋ฌธ์์ด์ธ๋ฐ, Qwen3.x chat template์arguments๊ฐ dict์ผ ๋๋ง<parameter=โฆ>๋ธ๋ก์ ์ถ๋ ฅํฉ๋๋ค. ๋ฌธ์์ด์ ๊ทธ๋๋ก ๋๊ธฐ๋ฉด ๋ชจ๋ ํด ํธ์ถ์ด ์ธ์ ์์ด(<function=add_task></function>) ๋ ๋๋ง๋ฉ๋๋ค. ๊ทธ๋์ ํ์ต ์ ์json.loads๋ก dict๋ก ๋ฐ๊ฟจ์ต๋๋ค. (llama.cpp--jinja, vLLM ์๋น ๊ฒฝ๋ก๋ ์ด ๋ณํ์ ์์ฒด์ ์ผ๋ก ํฉ๋๋ค.)
๋ํ loss์ ์ฝ 94%๊ฐ ๋งค ์ํ ๋์ผํ system/ํด ์คํค๋ง ํ ํฐ์์ ๋์ค๋ฏ๋ก, Unsloth train_on_responses_only๋ก ์ด์์คํดํธ ํด๋ง ํ์ตํ์ต๋๋ค
(ํด ๊ฒฐ๊ณผ๋ ChatML์์ user ํด์ผ๋ก ๋ ๋๋ง๋๋ฏ๋ก ํจ๊ป ๋ง์คํน๋จ).
9B(
Qwen3.5-9B)๋ ์๋ํ์ง๋ง 8GB GPU์๋ ๋ค์ด๊ฐ์ง ์์์ต๋๋ค. 248k ์ดํ์ bf16 embedding๊ณผ ๋ถ๋ฆฌ๋lm_head๋ง ์ฝ 4GB์ด๊ณ , ๊ฑฐ๊ธฐ์ ๋น์ ํ์๊ฐ ๋ํด์ง๋๋ค. ๋ ์ด์ด ์คํ๋ก๋ฉ(offload_layers="auto")์ ์จ๋, 4.7k ํ ํฐ ์ํ์ค์ logit ๋ฒํผ๊น์ง ๋ํ๋ฉด ๋ค์ด๊ฐ์ง ์์์ต๋๋ค.
ํ๊ฐ ยท Evaluation
training/eval_harness.py๊ฐ eval ๋ํ์ ๊ฐ ์ด์์คํดํธ ์คํ
๋ง๋ค ๊ทธ ์ด์ ๋งฅ๋ฝ์ ์ฃผ๊ณ , ๋ชจ๋ธ์ด ๋ธ ๋ค์ ์๋ต์ ์ฑ์ ํฉ๋๋ค.
Base์ SFT ๋ชจ๋ ๊ฐ์ eval ์
, ๊ฐ์ ์๋น ์กฐ๊ฑด(llama.cpp llama-server --jinja, Q4_K_M GGUF, CPU, temperature 0,
enable_thinking=false)์์ ์ธก์ ํ์ต๋๋ค. ์์น๋ reports/eval-qwen3.5-4b-{base,sft}.json ์๋ณธ ๊ทธ๋๋ก์
๋๋ค.
| ์งํ ยท Metric | Base Qwen3.5-4B | SFT (this model) |
|---|---|---|
| JSON ์ ํจ์จ ยท JSON validity | 98.9% | 98.9% |
| ํด ์ ํ ์ ํ๋ ยท Tool selection | 73.6% | 98.9% |
| ์คํค๋ง ์ค์์จ ยท Schema compliance | 98.9% | 98.9% |
| ์ธ์ ์์ ์ผ์น ยท Exact argument match | 35.2% | 91.2% |
| ํด ์๋ ํด ์ ํ๋ ยท No-tool accuracy | 87.1% | 92.5% |
| ํ๊ฐ ์คํ ์ ยท Steps | 182 tool + 93 no-tool | 182 tool + 93 no-tool |
Base๋
unsloth/Qwen3.5-4B-GGUF์Qwen3.5-4B-Q4_K_M.gguf์ด๊ณ , SFT๋ ์ด ์ ์ฅ์์gguf/Qwen3.5-4B.Q4_K_M.gguf์ ๋๋ค. ๋์ ์์ํ ํ์ดํ๋ผ์ธ์ด ์์ ํ ๊ฐ์ง๋ ์์ต๋๋ค(Unsloth ๋ฐฐํฌ๋ณธ vs.save_pretrained_gguf).
- JSON ์ ํจ์จ / ์คํค๋ง ์ค์ / ํด ์ ํ: ํด์ ๋ถ๋ฌ์ผ ํ๋ 182๊ฐ ์คํ ์์ ์ฌ๋ฐ๋ฅธ ํด ์ด๋ฆ๊ณผ ์คํค๋ง์ ๋ง๋ JSON ์ธ์๋ฅผ ๋๋์ง. Base๋ ํ์(JSONยท์คํค๋ง)์ ์ ์งํค์ง๋ง ์ด๋ค ํด์ ๋ถ๋ฅผ์ง์ ์ธ์ ๊ฐ์์ ํฌ๊ฒ ์ฐจ์ด๊ฐ ๋ฉ๋๋ค.
- ์ธ์ ์์ ์ผ์น: ๊ธฐ๋ ์ธ์์ ์์ ํ ๊ฐ์์ง. SFT์ ๋ถ์ผ์น 16๊ฑด์ ์ฃผ๋ก
glob_files7(*.md/*.py๋ฅผ ์ฐพ์์ผ ํ ๋*.txtํจํด์ ๋),add_task5(์ฑ๋ ์ด๋ฆ ์ค์ ํ),create_event2์ ๋๋ค. ํด์ ๋ง๊ณ ์ธ์ ๊ฐ๋ง ๋ค๋ฅธ ๊ฒฝ์ฐ์ ๋๋ค. - ํด ์๋ ํด ์ ํ๋: ํด์ด ํ์ ์๋ 93๊ฐ ์คํ
์์ ํด์ ๋ถ๋ฅด์ง ์๊ณ ๋ตํ๋์ง. SFT์ ์ค๋ฅ 7๊ฑด์ ๋ตํด์ผ ํ ๋
get_today5ํ,web_fetch2ํ๋ฅผ ๋ถ๋ฅธ ๊ฒฝ์ฐ์ ๋๋ค (Base๋ ์ฃผ๋กask_agent7ํ,create_event3ํ).
์ฌ์ฉ๋ฒ ยท Usage
llama.cpp / Ollama (GGUF, ๊ถ์ฅ)
hf download sciencemj/argos-harness-qwen3.5-4b gguf/Qwen3.5-4B.Q4_K_M.gguf --local-dir .
# OpenAI ํธํ ์๋ฒ (ํด ํธ์ถ ํ์ฑ ํฌํจ)
llama-server -m gguf/Qwen3.5-4B.Q4_K_M.gguf --jinja -c 8192 --chat-template-kwargs '{"enable_thinking":false}'
ํ์ต ๋ฐ์ดํฐ์ ์ด์์คํดํธ ํด์ ๋น <think></think> ๋ธ๋ก์ ์ฐ๋ฏ๋ก, enable_thinking=false๋ก ์๋นํ๋ ๊ฒ์ ๊ถ์ฅํฉ๋๋ค.
system ํ๋กฌํํธ์ ํด ์คํค๋ง๊ฐ ์ฝ 4k ํ ํฐ์ด๋ฏ๋ก ์ปจํ
์คํธ๋ 8k ์ด์์ผ๋ก ์ก์ผ์ธ์.
Argos ์ค์ โ ๋ชจ๋ธ ์ฐ๊ฒฐ์์: ์ข
๋ฅ openai (OpenAI ํธํ), ์ฃผ์ http://127.0.0.1:8080/v1, ์์ด์ ํธ ๋ฐฑ์๋ native.
PEFT + Transformers
import json
from peft import PeftModel
from transformers import AutoModelForImageTextToText, AutoTokenizer
base_id = "unsloth/Qwen3.5-4B"
tok = AutoTokenizer.from_pretrained("sciencemj/argos-harness-qwen3.5-4b")
model = AutoModelForImageTextToText.from_pretrained(base_id, torch_dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(model, "sciencemj/argos-harness-qwen3.5-4b")
tools = [...] # OpenAI-style tool schemas, e.g. argos.sft_export.tool_specs()
messages = [
{"role": "system", "content": "You are Argos, the user's study/project assistant. Use tools when needed."},
{"role": "user", "content": "๋ด์ผ ์คํ 3์์ ์ด์์ฒด์ ์คํฐ๋ ์ผ์ ์ก์์ค."},
]
# ๊ณผ๊ฑฐ assistant ํด์ tool_calls[].function.arguments๋ dict์ฌ์ผ ํฉ๋๋ค (์์ ํ์ต ์ ์ฃผ์์ 2 ์ฐธ๊ณ ).
inputs = tok.apply_chat_template(messages, tools=tools, add_generation_prompt=True,
enable_thinking=False, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=512)
print(tok.decode(out[0][inputs.shape[-1]:], skip_special_tokens=False))
Unsloth (4-bit, 8GB GPU)
from unsloth import FastLanguageModel
model, tok = FastLanguageModel.from_pretrained("sciencemj/argos-harness-qwen3.5-4b", max_seq_length=8192, load_in_4bit=True)
FastLanguageModel.for_inference(model)
์ฌํ ยท Reproduce
# ํ์ต (8GB GPU)
uv run python train_sft.py --model unsloth/Qwen3.5-4B --train-file train.jsonl --eval-file eval.jsonl \
--output-dir outputs/qwen3.5-4b --max-seq-length 4736 --batch-size 1 --grad-accum 8 --epochs 2 --lr 2e-4 \
--wandb-project argos-sft
# ํ๊ฐ (llama-server๋ฅผ :8081์ ๋์ด ๋ค)
uv run python eval_harness.py --eval-file eval.jsonl --base-url http://127.0.0.1:8081/v1 --api-key x \
--model argos-qwen3.5-4b-sft --timeout 600
ํ๊ณ ยท Limitations
- ํ์ตยทํ๊ฐ ๋ฐ์ดํฐ๊ฐ ๋ชจ๋ ํฉ์ฑ ์๋ ๊ถค์ ์ ๋๋ค. ์ค์ ์ฌ์ฉ์ ๋ก๊ทธ์ ๋ถํฌ(๊ธด ๋ํ, ๋ชจํธํ ์์ฒญ, ํฐ ํด ์ถ๋ ฅ)์์๋ ์์น๊ฐ ๋ฎ์ ์ ์์ต๋๋ค. eval loss 0.003์ ํ ํ๋ฆฟํ๋ ๋ฐ์ดํฐ๋ฅผ ๊ฑฐ์ ์ธ์ ๋ค๋ ๋ป์ด๊ธฐ๋ ํฉ๋๋ค.
- ํด ์ด๋ฆ์ ๊ฑฐ์ ์๋ฒฝํ๊ฒ ๊ณ ๋ฅด์ง๋ง, ์ธ์ ๊ฐ(glob ํจํด, ์ฑ๋ ์ด๋ฆ)์ ๋ํ ๋งฅ๋ฝ์ด ์ ๋งคํ ๋ ํ๋ฆฝ๋๋ค.
- Argos 29๊ฐ ํด ์คํค๋ง์ ๋ง์ถฐ ํ์ตํ์ต๋๋ค. ๋ค๋ฅธ ํด ์ธํธ์์๋ base๋ณด๋ค ์ผ๋ฐ ํด์ฝ ๋ฅ๋ ฅ์ด ๋์์ง๋ค๋ ๋ณด์ฅ์ ์์ต๋๋ค.
- ๋น์ ํ์๋ ํ์ตํ์ง ์์์ต๋๋ค(ํ ์คํธ ์ ์ฉ SFT).
- ์ญ์ ยท์ฐ๊ธฐ ๊ฐ์ ๋ถ์์ฉ์ ๋ชจ๋ธ์ด ์๋๋ผ ํ๋ค์ค์ ๊ถํ ๊ฒ์ดํธ๊ฐ ๋ง์ต๋๋ค. ์ด ์ด๋ํฐ๋ฅผ ๊ถํ ํ์ธ ์์ด ์คํ ํ๊ฒฝ์ ์ฐ๊ฒฐํ์ง ๋ง์ธ์.
- ๋ผ์ด์ ์ค๋ base model(
Qwen/Qwen3.5-4B, Apache-2.0)์ ๋ฐ๋ฆ ๋๋ค.
Framework versions
- PEFT 0.21.3 ยท TRL 1.15.0 ยท Transformers 5.17.0 ยท Unsloth 2026.11.6 ยท PyTorch 2.14.1 (CUDA 13.0)
- llama.cpp (GGUF export & eval serving)