Local-Novel-LLM-project/Ocuteus-v1-gguf

OcuteusのGGUF版です。

Kobold cpp上で使用することを推奨します。

また、トークン数の関係から、高解像度の画像は解像度を落として入力することをおすすめします。

使用例:

簡単な使用方法:

kobold.cpp 内のModelFiles ページの Model にOcuteus-v1-q8_0.gguf LLaVA mmprojに Ocuteus-v1-mmproj-f16.ggufをそれぞれ選択してください。

推奨されるContext Size は 16384 となっています。