toti-qwen-1.7b-v9 (GGUF Q4_K_M)
LoRA fine-tune Qwen3-1.7B untuk chatbot WhatsApp Toti Cakery (pemanggilan tool
bahasa Indonesia/Inggris, jawaban FAQ dari konteks RAG). Dilatih dari
LasagnaS/toti-cakery-toolcall revisi v9.
ollama pull hf.co/LasagnaS/toti-qwen-1.7b-v9-gguf:Q4_K_M
Evaluasi: model dasar vs fine-tuned
Diukur pada split test dataset yang sama, prompt persis seperti yang dikirim
chatbot di produksi, sampling temperature 0.7 / top_p 0.8, cap 192 token.
Rincian mentah: hasil_metrik_v9.json.
toti-qwen3-17b: sebelum vs sesudah fine-tuning (split test, 166 baris)
| Metrik | Arti | Sebelum | Sesudah | Selisih | Target | Status |
|---|---|---|---|---|---|---|
function_selection_acc |
baris tool: memilih tool yang benar | 0.227 | 0.898 | +0.671 | >= 0.85 | ✅ |
param_exact_acc |
baris tool: tool DAN argumen persis benar | 0.205 | 0.795 | +0.590 | >= 0.7 | ✅ |
irrelevance_acc |
baris non-tool: tidak memanggil tool | 0.974 | 0.885 | -0.089 | >= 0.85 | ✅ |
false_tool_rate |
baris non-tool: memanggil tool padahal tidak perlu | 0.026 | 0.115 | +0.089 | <= 0.1 | ❌ |
invalid_call_rate |
baris tool: panggilan tool rusak (JSON tak terbaca) | 0.034 | 0.000 | -0.034 | <= 0.05 | ✅ |
faq_grounded_acc |
FAQ: jawaban memuat fakta dari konteks (N1) | 0.667 | 0.867 | +0.200 | >= 0.7 | ✅ |
faq_jujur_acc |
FAQ: konteks tak memuat jawaban -> mengaku belum tahu (N1x) | 0.000 | 0.750 | +0.750 | >= 0.7 | ✅ |
wrong_language_rate |
balasan teks: meleset dari bahasa sesi pelanggan | 0.299 | 0.000 | -0.299 | <= 0.03 | ✅ |
Target tercapai: 7/8 · waktu training 155.7 menit · jawaban terpotong cap 192 token: sebelum 90, sesudah 0
Per tipe skenario
| Tipe | Skenario | n | Sebelum | Sesudah | Selisih |
|---|---|---|---|---|---|
| N1 | FAQ dari konteks | 15 | 0.67 | 0.87 | +0.20 |
| N1x | konteks tanpa jawaban | 4 | 0.00 | 0.75 | +0.75 |
| N2 | info belum ada | 3 | 1.00 | 0.33 | -0.67 |
| N3 | sapaan / terima kasih | 5 | 1.00 | 1.00 | +0.00 |
| N4 | di luar topik toko | 6 | 1.00 | 1.00 | +0.00 |
| N5 | tanya balik (ambigu) | 7 | 1.00 | 0.29 | -0.71 |
| N6 | jebakan (bukan aksi) | 8 | 0.88 | 0.88 | +0.00 |
| N7 | injeksi / rahasia / meta | 4 | 1.00 | 1.00 | +0.00 |
| N8 | sapaan pendek | 4 | 1.00 | 1.00 | +0.00 |
| N9 | minta orang / nego | 4 | 1.00 | 1.00 | +0.00 |
| N10 | bukan Owner minta laporan | 3 | 1.00 | 1.00 | +0.00 |
| N11 | ganti cara bayar | 3 | 1.00 | 1.00 | +0.00 |
| N12 | pesan pendek ambigu | 3 | 1.00 | 1.00 | +0.00 |
| N13 | bahasa percakapan | 3 | 1.00 | 1.00 | +0.00 |
| N14 | pengisi kontras (id/en) | 6 | 1.00 | 1.00 | +0.00 |
| T1 | menu | 7 | 0.14 | 1.00 | +0.86 |
| T2 | menu per kategori | 3 | 0.00 | 0.67 | +0.67 |
| T3 | detail produk | 12 | 0.33 | 1.00 | +0.67 |
| T4 | bandingkan produk | 4 | 0.00 | 0.75 | +0.75 |
| T5 | pesan 1 produk | 18 | 0.00 | 0.83 | +0.83 |
| T6 | pesan banyak produk | 4 | 0.00 | 0.50 | +0.50 |
| T7 | jawaban jumlah sesudah detail | 6 | 0.17 | 1.00 | +0.83 |
| T8 | status pesanan | 6 | 0.33 | 0.67 | +0.33 |
| T9 | batalkan pesanan | 3 | 0.00 | 1.00 | +1.00 |
| T10 | kue custom -> admin | 3 | 0.00 | 0.00 | +0.00 |
| T11 | laporan keuangan (Owner) | 3 | 0.00 | 1.00 | +1.00 |
| T12 | analitik (Owner) | 3 | 0.67 | 1.00 | +0.33 |
| T13 | klaim sudah bayar | 4 | 1.00 | 0.50 | -0.50 |
| T14 | keluhan | 4 | 0.00 | 0.00 | +0.00 |
| T15 | isi keranjang | 4 | 0.50 | 1.00 | +0.50 |
| T16 | kirim ulang cara bayar | 4 | 0.50 | 1.00 | +0.50 |