toti-qwen-1.7b-v10 (GGUF Q4_K_M)
LoRA fine-tune Qwen3-1.7B untuk chatbot WhatsApp Toti Cakery (pemanggilan tool
bahasa Indonesia/Inggris, jawaban FAQ dari konteks RAG). Dilatih dari
dataset tool-calling Toti Cakery revisi v10
(finetune/data/ di github.com/kevinilhamramadhan/Chatbot-Cakery).
ollama pull hf.co/LasagnaS/toti-qwen-1.7b-v10-gguf:Q4_K_M
Evaluasi: model dasar vs fine-tuned
Diukur pada split test dataset yang sama, prompt persis seperti yang dikirim
chatbot di produksi, sampling temperature 0.7 / top_p 0.8, cap 192 token.
Rincian mentah: hasil_metrik_v10.json.
toti-qwen3-17b: sebelum vs sesudah fine-tuning (split test, 185 baris)
| Metrik | Arti | Sebelum | Sesudah | Selisih | Target | Status |
|---|---|---|---|---|---|---|
function_selection_acc |
baris tool: memilih tool yang benar | 0.212 | 0.885 | +0.673 | >= 0.85 | ✅ |
param_exact_acc |
baris tool: tool DAN argumen persis benar | 0.183 | 0.808 | +0.625 | >= 0.7 | ✅ |
irrelevance_acc |
baris non-tool: tidak memanggil tool | 0.914 | 0.840 | -0.074 | >= 0.85 | ❌ |
false_tool_rate |
baris non-tool: memanggil tool padahal tidak perlu | 0.086 | 0.160 | +0.074 | <= 0.1 | ❌ |
invalid_call_rate |
baris tool: panggilan tool rusak (JSON tak terbaca) | 0.048 | 0.000 | -0.048 | <= 0.05 | ✅ |
faq_grounded_acc |
FAQ: jawaban memuat fakta dari konteks (N1) | 0.600 | 0.800 | +0.200 | >= 0.7 | ✅ |
faq_jujur_acc |
FAQ: konteks tak memuat jawaban -> mengaku belum tahu (N1x) | 0.000 | 1.000 | +1.000 | >= 0.7 | ✅ |
wrong_language_rate |
balasan teks: meleset dari bahasa sesi pelanggan | 0.321 | 0.000 | -0.321 | <= 0.03 | ✅ |
Target tercapai: 6/8 · waktu training 196.1 menit · jawaban terpotong cap 192 token: sebelum 109, sesudah 0
Per tipe skenario
| Tipe | Skenario | n | Sebelum | Sesudah | Selisih |
|---|---|---|---|---|---|
| N1 | FAQ dari konteks | 15 | 0.60 | 0.80 | +0.20 |
| N1x | konteks tanpa jawaban | 4 | 0.00 | 1.00 | +1.00 |
| N2 | info belum ada | 3 | 1.00 | 0.67 | -0.33 |
| N3 | sapaan / terima kasih | 5 | 1.00 | 1.00 | +0.00 |
| N4 | di luar topik toko | 6 | 1.00 | 1.00 | +0.00 |
| N5 | tanya balik (ambigu) | 7 | 0.71 | 0.29 | -0.43 |
| N6 | jebakan (bukan aksi) | 8 | 0.88 | 0.88 | +0.00 |
| N7 | injeksi / rahasia / meta | 4 | 1.00 | 1.00 | +0.00 |
| N8 | sapaan pendek | 4 | 1.00 | 1.00 | +0.00 |
| N9 | minta orang / nego | 4 | 1.00 | 1.00 | +0.00 |
| N10 | bukan Owner minta laporan | 3 | 1.00 | 1.00 | +0.00 |
| N11 | ganti cara bayar | 3 | 0.00 | 0.33 | +0.33 |
| N12 | pesan pendek ambigu | 3 | 0.67 | 1.00 | +0.33 |
| N13 | bahasa percakapan | 3 | 1.00 | 1.00 | +0.00 |
| N14 | pengisi kontras (id/en) | 6 | 1.00 | 1.00 | +0.00 |
| N15 | N15 | 3 | 1.00 | 0.00 | -1.00 |
| T1 | menu | 7 | 0.14 | 1.00 | +0.86 |
| T2 | menu per kategori | 3 | 0.00 | 0.67 | +0.67 |
| T3 | detail produk | 12 | 0.25 | 0.92 | +0.67 |
| T4 | bandingkan produk | 4 | 0.00 | 0.75 | +0.75 |
| T5 | pesan 1 produk | 18 | 0.06 | 0.94 | +0.89 |
| T6 | pesan banyak produk | 4 | 0.00 | 1.00 | +1.00 |
| T7 | jawaban jumlah sesudah detail | 6 | 0.17 | 1.00 | +0.83 |
| T8 | status pesanan | 6 | 0.33 | 0.83 | +0.50 |
| T9 | batalkan pesanan | 3 | 0.67 | 1.00 | +0.33 |
| T10 | kue custom -> admin | 3 | 0.00 | 0.00 | +0.00 |
| T11 | laporan keuangan (Owner) | 3 | 0.00 | 1.00 | +1.00 |
| T12 | analitik (Owner) | 3 | 1.00 | 1.00 | +0.00 |
| T13 | klaim sudah bayar | 4 | 0.50 | 0.25 | -0.25 |
| T14 | keluhan | 4 | 0.00 | 0.00 | +0.00 |
| T15 | isi keranjang | 5 | 0.60 | 0.60 | +0.00 |
| T16 | kirim ulang cara bayar | 4 | 0.00 | 0.50 | +0.50 |
| T17 | T17 | 7 | 0.00 | 1.00 | +1.00 |
| T18 | T18 | 5 | 0.20 | 0.80 | +0.60 |
| T19 | T19 | 3 | 0.00 | 1.00 | +1.00 |