vacancy-fit-lora-rubert-tiny2
LoRA-адаптер (PEFT) для cointegrated/rubert-tiny2: предсказывает, откликнется ли конкретный
кандидат (я) на вакансию hh.ru. Учебный проект: цель — отработать LoRA-дообучение и честную
оценку на маленьком несбалансированном датасете, а не получить лучший классификатор.
Данные
414 вакансий (заголовок + описание, до 2500 символов) из моего журнала поиска работы. Метка 1 — был отклик (49 шт., 11.8%), 0 — вакансия просмотрена и пропущена (365). Датасет не публикуется: тексты вакансий принадлежат работодателям.
Обучение
LoRA r=16, alpha=32, dropout=0.1 на query/value, обучаемая голова классификатора;
взвешенный cross-entropy под дисбаланс классов, AdamW lr=5e-4, max_len=256, до 10 эпох,
выбор эпохи по PR-AUC на валидации. Обучено на CPU. Код — train.py.
Оценка (5-fold CV, out-of-fold, порог подбирается на валидации внутри фолда)
| Модель | ROC-AUC | PR-AUC | Precision | Recall | F1 |
|---|---|---|---|---|---|
| Случайный классификатор | 0.5 | 0.118 | — | — | — |
| TF-IDF (1–2-граммы) + логистическая регрессия | 0.917 | 0.582 | 0.537 | 0.592 | 0.563 |
| LoRA rubert-tiny2 (этот адаптер) | 0.863 | 0.427 | 0.425 | 0.694 | 0.527 |
Вывод: на 49 положительных примерах LoRA не обошла простой TF-IDF-бейзлайн. Решение «откликаться или нет» во многом зависит от конкретных слов (стек, «гибрид», город, «аутстафф»), которые TF-IDF ловит напрямую. Разброс между фолдами большой (val PR-AUC 0.43–0.86), то есть данных мало для устойчивого дообучения. Что можно попробовать: больше данных, модель крупнее (ruBERT-base), признаки из метаданных (формат работы, город) отдельно от текста.
Ограничения
- Вероятности плохо откалиброваны и сжаты около 0.4–0.5: полезно ранжирование и порог 0.47, а не само число.
- Все отрицательные примеры — IT-вакансии, которые я пропустил (формат, город, стек). На вакансиях совсем не из IT модель не училась и ведёт себя непредсказуемо.
- Модель отражает решения одного человека, это не универсальный фильтр вакансий.
Использование
from peft import AutoPeftModelForSequenceClassification
from transformers import AutoTokenizer
import torch
model = AutoPeftModelForSequenceClassification.from_pretrained("MrAlexGov/vacancy-fit-lora-rubert-tiny2")
tok = AutoTokenizer.from_pretrained("MrAlexGov/vacancy-fit-lora-rubert-tiny2")
x = tok("Python-разработчик AI-агентов. Удалённо. FastAPI, MCP, LLM...", return_tensors="pt", truncation=True, max_length=256)
p = torch.softmax(model(**x).logits, -1)[0, 1].item()
print(p >= 0.47) # порог из metrics.json