all-MiniLM-L6-v2 — адаптация на ru-HNP через TripletLoss

Модель получена из sentence-transformers/all-MiniLM-L6-v2 дообучением на русскоязычном deepvk/ru-HNP. Использовано 20000 исходных строк, 20000 валидных триплетов, query как anchor, pos[0] как positive и neg[0] как hard negative.

Обучение

• TripletLoss, cosine distance, margin = 0.2
• batch size = 16
• epochs = 3
• steps per epoch = 1250
• total steps = 3750
• warmup steps = 375 (10.00%)
• seed = 42

Оценка на ai-forever/rubq-retrieval

Обе модели оценены одной функцией на полном корпусе и всех 1692 запросах с положительными qrels. Использованы L2-нормированные эмбеддинги и faiss.IndexFlatIP.

UMAP

Silhouette рассчитан в отдельной двумерной UMAP-проекции ai-forever/headline-classification (test[:1000], text/label_text):

• базовая модель: -0.082124
• дообученная модель: -0.086733
• изменение: -0.004609

UMAP — диагностическая 2D-проекция, а не retrieval-метрика. Изменение Silhouette в UMAP не доказывает улучшение поиска в исходном 384-мерном пространстве.

Ограничения

ru-HNP преимущественно содержит симметричные парафразы и сложные непарафразы, тогда как RubQ — несимметричная задача «короткий вопрос → документ». Совпадение языка не гарантирует совпадение предметной области, типа задачи, длины или стиля. Результат относится к одному seed, одному набору гиперпараметров и первым 20 000 строкам обучающего датасета.