j32-tokenizer-v2
日本語向けの SentencePiece Unigram トークナイザ（語彙 32,000、v2 系列）。
改行や ▁ などを私用領域文字 U+E000 でエスケープする薄いラッパー（ReversibleSentencePieceAdapter）と組み合わせて使うことで、任意の文字列を decode(encode(text)) == text で復元できます。
ブラウザ上で語彙の閲覧とトークナイズ結果の確認・他サイズとの比較ができます: J トークナイザ語彙ブラウザ
v1 との非互換について
本モデルは v1 系列（j-llm/j72-tokenizer）とは別のコーパス・設定で学習した別語彙です。トークン ID 列と分割結果に互換性はありません。v1 のモデルファイルを差し替えて使うことはできません。
ファイル
| ファイル | 内容 |
|---|---|
tokenizer.model |
SentencePiece モデル本体 |
tokenizer.sha256 |
tokenizer.model の SHA-256 |
tokenizer_adapters.py |
可逆エスケープラッパー（escape-e000-v2） |
tokenizer.model の SHA-256:
23b0e6dc7d1cdc5c8e6e3f0a58bc855b848a306dcd7e6b0447808a7d66d6e088
仕様
| 項目 | 値 |
|---|---|
| 方式 | SentencePiece Unigram |
| 語彙数 | 32,000 |
| 特殊トークン | <unk>=0, <s>=1, </s>=2（pad なし） |
| byte fallback | あり（<0x00>〜<0xFF> の 256 個） |
| 正規化 | なし（identity） |
| dummy prefix | なし |
学習データ
約 9,857 万字（web 小説 87%・青空文庫系 12%・古文 0.3%・AA 0.4%）。青空文庫のルビ・注記は除去済みで、漢文は学習入力から除外しています。系列内に語彙 8,000〜128,000 の 9 サイズがあります。
使い方
from huggingface_hub import snapshot_download
import sys
path = snapshot_download("j-llm/j32-tokenizer-v2")
sys.path.insert(0, path)
from tokenizer_adapters import ReversibleSentencePieceAdapter
tok = ReversibleSentencePieceAdapter(f"{path}/tokenizer.model")
text = "吾輩は猫である。\n名前はまだ無い。"
ids = tok.encode(text)
assert tok.decode(ids) == text
注意
tokenizer.modelを SentencePiece で直接読むだけでは、\r\n・U+2028・▁などを含む文字列が元に戻りません。モデルの学習時と同じ ID 列を得るには、必ずReversibleSentencePieceAdapterを通してください。encodeは BOS/EOS を付与しません。必要な場合は呼び出し側で ID 1 / 2 を追加してください。transformersのAutoTokenizer用ファイル（tokenizer.jsonなど）は同梱していません。