Enhanced LLM-JP Model with Extended Tokenizer and Chat Template

This is an enhanced version of llm-jp-13B with an extended tokenizer that includes additional special tokens for structured conversations and advanced prompting.

Model Information

• Base Model: llm-jp-13B
• Added Features: Extended tokenizer with special tokens for structured conversations and chat template
• Vocabulary Size: Extended from the base model

Special Tokens

Basic Tokens

• UNK Token: {token_config.unk_token}
• BOS Token: {token_config.bos_token}
• EOS Token: {token_config.eos_token}
• PAD Token: {token_config.pad_token}
• CLS Token: {token_config.cls_token}
• SEP Token: {token_config.sep_token}
• MASK Token: {token_config.mask_token}

Conversation Structure Tokens

• System: {token_config.system_token} and {token_config.system_end_token}
• User: {token_config.user_token} and {token_config.user_end_token}
• Assistant: {token_config.assistant_token} and {token_config.assistant_end_token}

Reasoning Process Tokens

• Reasoning: {token_config.reasoning_token} and {token_config.reasoning_end_token}
• Solution: {token_config.solution_token} and {token_config.solution_end_token}
• Response: {token_config.response_token} and {token_config.response_end_token}

Hint and Supplementary Information Tokens

• Hint: {token_config.hint_token} and {token_config.hint_end_token}
• Note: {token_config.note_token} and {token_config.note_end_token}
• Context: {token_config.context_token} and {token_config.context_end_token}
• Reference: {token_config.reference_token} and {token_config.reference_end_token}
• Example: {token_config.example_token} and {token_config.example_end_token}

Control Tokens

• Important: {token_config.important_token} and {token_config.important_end_token}
• Warning: {token_config.warning_token} and {token_config.warning_end_token}
• Error: {token_config.error_token} and {token_config.error_end_token}

Chat Template Usage

このモデルは以下の役割（roles）をサポートしています：

• system: システムプロンプト用
• user: ユーザーの入力用
• hint: ヒントやガイダンス用
• reasoning: 推論プロセス用
• assistant: アシスタントの応答用

Basic Usage:

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("{model_name}")
tokenizer = AutoTokenizer.from_pretrained("{model_name}")

# チャット形式での使用例
messages = [
    {
        "role": "system",
        "content": "あなたは親切で有能なAIアシスタントです。"
    },
    {
        "role": "user",
        "content": "次の数学の問題を解いてください：2x + 3 = 7"
    },
    {
        "role": "hint",
        "content": "方程式を解くときは、まず両辺から数を移項することを考えてみましょう。"
    },
    {
        "role": "reasoning",
        "content": "この方程式を解くために以下のステップで考えます：\\n1. 3を両辺から引く\\n2. 両辺を2で割る"
    },
    {
        "role": "assistant",
        "content": "x = 2 が方程式の解です。"
    }
]

# チャットテンプレートを使用してメッセージを整形
prompt = tokenizer.apply_chat_template(messages, tokenize=False)
print("\\nGenerated prompt:\\n", prompt)

# トークン化と推論
inputs = tokenizer(prompt, return_tensors="pt", max_length=2048, truncation=True)
outputs = model.generate(**inputs, max_length=2048, temperature=0.7)
response = tokenizer.decode(outputs[0])
print("\\nModel response:\\n", response)

Advanced Usage:

カスタムシステムメッセージを使用

messages = [ { "role": "system", "content": "あなたは数学の専門家です。" }, { "role": "user", "content": "二次方程式 x² - 4x + 4 = 0 を解いてください。" } ]

生成プロンプトを追加せずにテンプレートを適用

prompt = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=False )

手動でヒントを追加

prompt += "\n<|HINT|>因数分解を使うと簡単に解けるかもしれません。</|HINT|>"

手動で推論プロセスを追加

prompt += "\n<|REASONING|>1. この式は(x-2)²の形に似ています\n2. 実際に展開すると同じ式になります</|REASONING|>"

アシスタントの応答用のプロンプトを追加

prompt += "\n<|ASSISTANT|>"

以降は通常通り処理

inputs = tokenizer(prompt, return_tensors="pt", max_length=2048, truncation=True)

## Chat Template Specification

モデルのチャットテンプレートは以下の要素を含みます：
- 5つの異なるロール（system, user, hint, reasoning, assistant）
- 各ロールに対応する特殊トークン
- デフォルトのシステムメッセージ
- 柔軟なテンプレート構造

特徴：
- メッセージの順序は保持されます
- 各ロールは明確に区別されます
- システムメッセージは任意です
- ヒントと推論は必要に応じて追加できます

## Additional Notes

### トークナイザーの拡張について
- 元のトークナイザーの全機能を保持
- 新しい特殊トークンの追加による機能拡張
- チャットテンプレートによる構造化された会話のサポート

### 使用上の注意
- 特殊トークンは必要な場合にのみ使用してください
- 特殊トークのスキップをTrueにしないでください．
- チャットテンプレートは柔軟に調整可能です
- システムメッセージは対話の文脈に応じてカスタマイズできます