AuctionPrice AI: Qwen2.5-0.5B + LoRA, ценовая корзина лота
LoRA-адаптер для классификации текстового описания лота в пять ценовых корзин.
r 16, alpha 32, dropout 0.05, target modules: down_proj, gate_proj, k_proj, o_proj, q_proj, up_proj, v_proj;
голова score обучается целиком. Обучаемых параметров 8,802,688 (1.78%).
Test: accuracy 0.7662, macro F1 0.5010.
from peft import PeftModel
from transformers import AutoModelForSequenceClassification
base = AutoModelForSequenceClassification.from_pretrained("Qwen/Qwen2.5-0.5B", num_labels=5)
model = PeftModel.from_pretrained(base, "<this repo>")