mmnga/tokyotech-llm-Swallow-MS-7b-instruct-v0.1-gguf

🤗 Hugging Face 来源apache-2.0激活 7B89 GBGGUF✓ 24 个校验和今天更新

一条命令提交

在你的模型文件夹旁边运行它。它会制作种子、将文件与 Hugging Face 比对，然后提交。你只需开始做种，并粘贴你账户中的密钥。它只读取你的文件，绝不修改。如果愿意，可以先阅读脚本。

curl -fsSL https://pirateface.co/package.sh | bash -s -- --repo mmnga/tokyotech-llm-Swallow-MS-7b-instruct-v0.1-gguf ./model-folder

需要做种者 →

tokyotech-llm-Swallow-MS-7b-instruct-v0.1-gguf

tokyotech-llmさんが公開しているSwallow-MS-7b-instruct-v0.1のggufフォーマット変換版です。

imatrixのデータはTFMC/imatrix-dataset-for-japanese-llmを使用して作成しました。

他のモデル

mistral
mmnga/tokyotech-llm-Swallow-MS-7b-instruct-v0.1-gguf
mmnga/tokyotech-llm-Swallow-7b-plus-hf-gguf
mmnga/tokyotech-llm-Swallow-MS-7b-v0.1-gguf
mmnga/tokyotech-llm-Swallow-MX-8x7b-NVE-v0.1-gguf

llama2
mmnga/tokyotech-llm-Swallow-7b-instruct-v0.1-gguf
mmnga/tokyotech-llm-Swallow-13b-instruct-v0.1-gguf
mmnga/tokyotech-llm-Swallow-70b-instruct-v0.1-gguf

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'tokyotech-llm-Swallow-MS-7b-instruct-v0.1-Q4_0.gguf' -n 128 -p '[INST] 今晩の夕食の レシピを教えて [/INST] '