VikhrT5-3b: Улучшенная модель на базе FLAN T5 3b для русского языка
Cкорее всего она лучше чем FRED T5XL
| Dataset | VikhrT5-3b | FRED-T5-XL(1.7b) | FLAN-t5-xl(3b) |
|---|---|---|---|
| ru_mmlu | 0.32 | 0.252 | 0.28 (лол2) |
| xwinograd_ru | 0.71 (lol) | 0.57 | 0.52 |
| xnli_ru | 0.4280 | 0.34 | 0.33 |
Cкорее всего она лучше чем FRED T5XL
| Dataset | VikhrT5-3b | FRED-T5-XL(1.7b) | FLAN-t5-xl(3b) |
|---|---|---|---|
| ru_mmlu | 0.32 | 0.252 | 0.28 (лол2) |
| xwinograd_ru | 0.71 (lol) | 0.57 | 0.52 |
| xnli_ru | 0.4280 | 0.34 | 0.33 |