tsunagari-bert-onnx

tohoku-nlp/bert-large-japanese-v2(Apache-2.0)を、文のつながり(前の文脈に次の文が続くか)の 2 値分類に学習したモデルの ONNX 版です。学習の組はここに含めません。

• 学習の組: 日本語 Wikipedia(CC BY-SA 4.0)の続いた文から作った。「続かない」側は、DeepSeek V4.1 Flash(DeepSeek の公式 API の deepseek-flash)に文を書き換えさせ、同じモデルの判定で「つながらない」と答えたものだけを残した。「続く」側は元の文

• 選び方: DeepSeek で作った組 2 つで seed を変えて学習した 6 本から、開発の bench(正解を付けた文章の 4 つの束)のうち 3 つで一番高い 1 本(dgen3-30k-large-s2)を選んだ。その bench での数は、選んだ分だけ高く出うる

• 入力: input_ids、attention_mask、token_type_ids(int64、[batch, seq])。token_type_ids は全部 0 で渡す(segment id を入れると判定が変わる)

• 出力: logits([batch, 2])。softmax の [:, 1] が「続く」の確率

• トークン化: vocab.txt と tokenizer_config.json(単語の区切り + WordPiece)。前の文脈と次の文を組で渡し、max_length 256 で切る。単語の区切りは、CLI では MeCab と unidic-lite、ブラウザでは lindera と下の UniDic の辞書を使う

• lindera-unidic-5.3.0/: ブラウザで単語を区切る UniDic(unidic-mecab 2.1.2)の辞書。lindera の Release v5.3.0 から取った。ライセンスは UniDic の BSD 3-Clause で、全文は lindera-unidic-5.3.0/NOTICE.txt

• 版: fp16/model.onnx(入出力は fp32 のまま、keep_io_types)、q8/model.onnx(MatMulNBits 8 bit、block 32、重みだけ)