Imatrixにはneody/imatrix_datasetを使用しました。
fineweb-edu(英語)とfineweb-2(日本語)からランダムに125件ずつ抽出したデータです。
wikitext2やcc100などを用いた従来のimatrixデータセットと比較してより高精度が維持できることが期待できるかもしれません。
より低いbitは精度維持が困難であるため作成しておりません。
ollama run hf.co/neody/sarashina2.2-3b-instruct-v0.1-gguf:Q5_K_M
Have the files? Submit a torrent.
Submit a torrent →Have the complete files and permission to share them? Replace the example folder path. The script checks the files, makes a torrent and submits its magnet and checksums. Keep your torrent client seeding. Get your community key from your settings, and read the script before running it.
curl -fsSL https://pirateface.co/package.sh | bash -s -- --repo neody/sarashina2.2-3b-instruct-v0.1-gguf ./model-folder