Devsyril/whisper-large-v3-turbo-onnx-attention
Réexport ONNX de whisper-large-v3-turbo (openai-whisper, checkpoint turbo) avec poids de cross-attention
exposés en sortie du décodeur, en utilisant le script officiel export-onnx-with-attention.py de
k2-fsa/sherpa-onnx. Ces poids permettent de calculer des timestamps
par mot via alignement DTW.
Fichiers
turbo-encoder.onnx/.weights/turbo-encoder.int8.onnxturbo-decoder.onnx/.weights/turbo-decoder.int8.onnx— 4 sorties :logits,out_n_layer_self_k_cache,out_n_layer_self_v_cache,cross_attention_weights(shape[n_audio, n_alignment_heads, n_tokens, n_audio_ctx])turbo-tokens.txt
Limitations
- Format non standard : la sortie
cross_attention_weightsn'existe pas dans les modèles Whisper publiés habituellement pour sherpa-onnx (ex.csukuangfj/sherpa-onnx-whisper-*). Un runtime sherpa-onnx standard (C++/Kotlin/Swift/...) ne consomme pas cette sortie supplémentaire ; elle est pensée pour une inférence Python personnalisée (ONNX Runtime + alignement DTW), pas pour l'API C++ standard de sherpa-onnx. Voir la discussion k2-fsa/sherpa-onnx#2942.