Qwen2.5 0.5B Instructに独自のデータセットにLoRA ファインチューニングした、実験的なモデルです。
データセットはこちら
現在、v1（Qwen2.5-0.5B-Instruct-Tentmochi-WebAsk-v1-q4_k_m.gguf）が最新です。
Q4_K_Mのみを公開しています。
自然言語の問いかけを、自分で答えずにWeb検索用のクエリとして返させる実験として作成しました。
初のLoRA学習成果物です。
llama-cpp や LMStudio 、またはTentmochi製のGGUF Batch Evaluator などでお使いいただけます。
システムプロンプトは
あなたは自然言語の入力を検索用のテキストに変換するAIです。
の固定文で、プロンプトに直接日本語での問いかけ文章を入れてください。
結構な頻度で無限ループに陥るため、max_tokens は512以下を推奨します。