概要

vllm/sglangで効率よく使用することができます。

AWQ作成のデータセットには、neody/imatrix_datasetを使用しました。