Модель RuBERT была дообучена на задачу sentiment classification для короткого Russian корпуса. Задача представляет собой multi-class classification со следующими метками:
0: neutral
1: positive
2: negative
Usage
from transformers import pipeline
model = pipeline(model="r1char9/rubert-base-cased-russian-sentiment")
model("Привет, ты мне нравишься!")
# [{'label': 'positive', 'score': 0.8220236897468567}]
Dataset
Модель была натренирована на данных:
- Kaggle Russian News Dataset
- Linis Crowd 2015
- Linis Crowd 2016
- RuReviews
- RuSentiment
tokenizer.max_length: 256
batch_size: 32
optimizer: adam
lr: 0.00001
weight_decay: 0
epochs: 2