p1atdev/sbintuitions-modernbert-ja-130m-base

sbintuitions/modernbert-ja-130m のベース部分のみ取り出したもの。

sbintuitions/modernbert-ja-130m は ModernBertForMaskedLM ですが、これは単語予測するヘッドがない ModernBertForModel です。

変換に使ったコード

import torch
from transformers import (
    AutoModelForMaskedLM,
)

model = AutoModelForMaskedLM.from_pretrained(
    "sbintuitions/modernbert-ja-130m", torch_dtype=torch.bfloat16
)
# model.model をアップしただけ
model.model.push_to_hub("p1atdev/sbintuitions-modernbert-ja-130m-base")