sherpa-rknn-whisper-turbo
Whisper large-v3-turbo для Rockchip RK3588: encoder в RKNN (NPU) + decoder в ONNX (CPU).
Используется с whisper-rknn в гибридном режиме (~2× быстрее полного RKNN на autoregressive decode).
Файлы
| Файл | Назначение | Размер |
|---|---|---|
encoder.rknn |
Encoder (NPU), FP16 RKNN | ~1.3 GiB |
decoder.onnx |
Decoder (CPU), dynamic INT8 MatMul | ~344 MiB |
tokens.txt |
Словарь токенов | ~800 KiB |
decoder.onnx — квантованная версия (ONNX Runtime quantize_dynamic, только MatMul, QInt8) из FP32 export sherpa-onnx.
На RK3588 даёт ~10–17% ускорения decoder и ~10% wall на длинных файлах при сопоставимом качестве.
Использование с whisper-rknn
Каталог моделей на хосте (единственный источник для локального деплоя):
WHISPER_MODELS_DIR=/mnt/nvme0/models/sherpa-rknn-whisper-turbo
В контейнере:
export WHISPER_ENCODER=/models/encoder.rknn
export WHISPER_DECODER=/models/decoder.onnx
export WHISPER_DECODER_BACKEND=onnx
export WHISPER_TOKENS=/models/tokens.txt
export WHISPER_MODEL_PROFILE=turbo
export WHISPER_LANGUAGE=ru
Скачать: git clone / huggingface-cli download ShiWarai/sherpa-rknn-whisper-turbo.
Происхождение
| Компонент | Источник |
|---|---|
| ONNX encoder/decoder (FP32) | csukuangfj/sherpa-onnx-whisper-turbo |
| Encoder ONNX → RKNN | sherpa-onnx scripts/whisper/rknn/export_onnx.py + export_rknn.py, RK3588 |
| Decoder INT8 | dynamic quant MatMul из sherpa-onnx-whisper-turbo FP32 decoder (rknn-build/scripts/quantize_decoder_int8.py) |
Encoder: FP RKNN (do_quantization=False), не w8a8.