LLM-jp-Moshi-v1.1-topic-prompted は,LLM-jp-Moshi-v1 と同じ J-CHAT事前学習チェックポイントから,テキストプロンプトによる話題条件づけを追加学習したモデルです. 対話の冒頭でテキストプロンプトとして話題を与えることで,その話題から雑談を始めるように条件づけできます. プロンプト無しで合成対話コーパスのみを追加学習したモデルは LLM-jp-Moshi-v1.1-base として公開されています. 条件づけの仕組みは PersonaPlex の Hybrid System Prompt のうち, テキストによる話題条件づけの部分のみを参考にしています(音声サンプルによる話者条件づけは実装していません).
[!NOTE] このモデルは試作段階であり,その応答は不自然な場合があります.既知の制約は Limitations を参照してください.
リポジトリには,以下のモデルファイルが含まれています:
model.safetensors - 本体の重みtokenizer_spm_32k_3.model - テキストトークナイザ(rinna/japanese-gpt2-mediumの日本語SentencePieceモデル)tokenizer-e351c8d8-checkpoint125.safetensors - 音声トークナイザ(kyutai/moshiko-pytorch-bf16のMimiモデル)prefix_tokens.npz - プロンプト区間の前後を埋める無音・サイン波のMimi音声コード(条件づけに必須)本モデルは対話開始時にテキストプロンプトで条件づけを行うため,公式 kyutai-labs/moshi の moshi.server では動作しません.対応する推論サーバは llm-jp/llm-jp-moshi の inference/ にあります.
Python 3.10以上が必要です.
pip install 'moshi<=0.2.2'
git clone https://github.com/llm-jp/llm-jp-moshi
server.py を実行することで,対話用のweb UIを起動できます.--hf-repoオプションでLLM-jp-Moshi-v1.1-topic-promptedの 🤗HuggingFace Hubリポジトリ(llm-jp/llm-jp-moshi-v1.1-topic-prompted)を指定してください.
python llm-jp-moshi/inference/server.py --hf-repo llm-jp/llm-jp-moshi-v1.1-topic-prompted
画面上部で話題プロンプト(学習済み15話題のプリセット)を選択し,「接続」を押して対話を開始します.
学習に使用した15話題のいずれかを,次の書式で指定します.
{話題}の話から始めて、相手に質問しながら雑談します。
例:
最近の物価高と、節約や家事の工夫の話から始めて、相手に質問しながら雑談します。
対応しているのはこの15話題のみで,推論サーバのUIにプリセットとして用意されています(制約の詳細は Limitations 参照).
学習済み15話題1学習例の長さは約164秒を上限としています.このため実際に学習に使用したのは,合成コーパスが約3,600時間,LLM-jp-Zoom1は1対話が長い(平均約32分)ため各対話の冒頭のみで計約78時間です.
合成対話コーパスの音声は,LLM-jp-Zoom1でファインチューニングした音声合成モデルで生成しています.
合成対話コーパスおよび学習の詳細は,今後公開予定です.
LLM-jp-Moshi-v1.1-topic-prompted は Apache License, Version 2.0 の下で公開されています.本モデルは,なりすましや詐欺などの悪意ある目的での使用を意図したものではありません.また,本モデルの出力には,学習データに起因するバイアス,不正確な情報,または不適切もしくは攻撃的な内容が含まれる可能性があります.我々はその使用によって生じるいかなる損害についても責任を負いません.
本研究では,国立研究開発法人産業技術総合研究所および株式会社AIST Solutionsが提供するAI橋渡しクラウド(ABCI)3.0を,「ABCI 3.0開発加速利用」の支援を受けて実施しました. また,ベースモデルであるMoshiおよびテクニカルペーパーを公開されたKyutai Labs,ならびにJ-CHATデータセットを公開された研究者の皆様に深く感謝の意を表します.
model.safetensors 15 GBtokenizer-e351c8d8-checkpoint125.safetensors 385 MBprefix_tokens.npz 66 kBkyutai/moshiko-pytorch-bf16