Ninja-V2-7B.gguf

このモデルは、ベクトルマージなどを用い作成された高性能ベースモデルです。 用途はチャットのみならず、文章創作など幅広いタスクに対応できます。

GGUFによる8,4ビット量子化を行いました。

Ninja-V2-7Bはこちら→https://huggingface.co/Local-Novel-LLM-project/Ninja-V2-7B

このモデルは、ローカルLLMに向き合う会企画のLocalAIハッカソンの高性能GPUサーバーの助けを借りて作成されました。

関係者の皆様に感謝申し上げます。

作成方法

複数のモデルのチャットベクター モデルの単純な線形マージ

プロンプトテンプレート

必須ではありませんが、Vicuna-1.1テンプレートを使用することができます。 単純な文章生成においては推奨のテンプレートはありません。

システムプロンプト

• BAD:　あなたは○○として振る舞います

• GOOD: あなたは○○です

• BAD: あなたは○○ができます

• GOOD: あなたは○○をします

制限

Apache-2.0ライセンスに従い使用してください。