Doujinshi-1.8b-instruct

Doujinshi-1.8b-instructは、r18に特化した大規模言語モデル（LLM）であり、llm-jp/llm-jp-3-1.8b をベースに継続事前学習、sftを行いました。本モデルは、同人コンテンツに関連する知識を強化するため、dmm.co.jp,dlsite.comよりスクレイピングし作成したr18向けデータセットを使用してトレーニングされています。

モデルの出力に関して責任を負いません。各自自己責任で利用してください。

モデル概要

本モデルは、以下のデータセットを使用して継続事前学習、sftを行いました。

• puwaer/dlsite-jp-v1
• puwaer/dmm-fanza-jp-v1
• puwaer/Doujinshi-sft-dataset-v1

特徴

• ベースモデル: llm-jp/llm-jp-3-1.8b
• 日本語のテキスト生成に特化
• r18に関する知識を強化

使用方法

モデルのロードと推論

以下のコードでモデルをロードし、テキスト生成を行うことができます。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("puwaer/Doujinshi-1.8b-instruct")
model = AutoModelForCausalLM.from_pretrained("puwaer/Doujinshi-1.8b-instruct", device_map="auto", torch_dtype=torch.bfloat16)
chat = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "avの良さを教えて"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]
print(tokenizer.decode(output))

ライセンス

本モデルは Apache 2.0 License のもとで提供されます。

クレジット

• ベースモデル: llm-jp/llm-jp-3-1.8b
• データセット提供:
  • puwaer/dlsite-jp-v1
  • puwaer/dmm-fanza-jp-v1
  • puwaer/Doujinshi-sft-dataset-v1
• 作成方法詳細: 特化型llm(Doujinshi-1.8b)の開発報告書①:開発の全体像
• 使用コード: github/puwaer

開発支援のお願い

現在、開発を続けていますが、クラウドGPUの価格が高く、十分な計算リソースを確保できずにいます。そのため、思い通りに開発が出来ていません。 また、オープンソースの理念を大切にしており、プログラム・データセット・モデルを有料で公開するつもりはありません。そのため、金銭的に余裕のある方に支援していただけると大変助かります。 TwitterのDMやご支援いただける方は、以下のプラットフォームよりお願いいたします。

• Twitter
• Zenn
• github sponsors