mmnga/Moonlight-16B-A3B-Instruct-gguf

🤗 Hugging Face sourcemit3B activated209 GBGGUF✓ 24 checksumsupdated today

Submit in one command

Run it next to your model folder. It makes the torrent, checks your files against Hugging Face, and submits it. You just start seeding and paste your key from your account. It only reads your files and never changes them. Read the script first if you like.

curl -fsSL https://pirateface.co/package.sh | bash -s -- --repo mmnga/Moonlight-16B-A3B-Instruct-gguf ./model-folder

Needs a seeder →

license: mit language:

en
ja datasets:
TFMC/imatrix-dataset-for-japanese-llm base_model:
moonshotai/Moonlight-16B-A3B-Instruct

Moonlight-16B-A3B-Instruct-gguf

moonshotaiさんが公開しているMoonlight-16B-A3B-Instructのggufフォーマット変換版です。

imatrixのデータはTFMC/imatrix-dataset-for-japanese-llmを使用して作成しました。

Usage

chat-templateはカスタムのため除去してあります。
お試し用でお願いします。

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release
build/bin/llama-cli -m 'Moonlight-16B-A3B-Instruct-gguf' -n 128 -c 128 -p 'あなたはプロの料理人です。レシピを教えて'