RuBERT Fine Tune Model
Модель на базе cointegrated/rubert-tiny2 для хакатона "Цифровой порыв"
Быстрый запуск
import torch
from transformers import pipeline
classifier = pipeline(
"text-classification",
model="S1lv570/RuBERT-Digital-Breakthrough",
tokenizer="S1lv570/RuBERT-Digital-Breakthrough",
device=0 if torch.cuda.is_available() else -1
)
text = "Ну сколько можно, заколебали эти пробки из-за огромных сугробов, которые всё никак не могут разгрести!"
result = classifier(text)
print(result)
В рамках решения от команды OPZ использовались дополнительные настройки:
import torch
from transformers import pipeline
classifier = pipeline(
"text-classification",
model="S1lv570/RuBERT-Digital-Breakthrough",
tokenizer="S1lv570/RuBERT-Digital-Breakthrough",
device=0 if torch.cuda.is_available() else -1,
dtype=torch.float16
)
data = [
"Ну сколько можно, заколебали эти пробки из-за огромных "
"сугробов, которые всё никак не могут разгрести!"
] * 10 # мок подаваемых данных
result = classifier(
data,
batch_size=16
)
print(result)