gliner2.5-ja-modernbert-130m

English | Japanese

English

A Japanese-specialized GLiNER2.5 model (boundary architecture). A single model performs named entity recognition, text classification, relation extraction and structured (JSON) extraction on Japanese text.

This is an unofficial community model. It is not affiliated with or endorsed by fastino-ai.

Trained from scratch (no fastino-ai weights): because the encoder is replaced with ModernBERT-Ja, none of the weights released by fastino-ai (such as fastino/gliner2.5-multi-v1) are used. The encoder starts from the pretrained ModernBERT-Ja-130m weights, and all GLiNER2 task heads start from random initialization and are trained from scratch.
Training code: the trainer of the public GLiNER2 repository (gliner2==2.0.0) is used without modifying the library itself. A small wrapper script adds Japanese-specific settings: the Sudachi word splitter, schema-augmentation settings, and a fallback for aligning gold spans to Sudachi tokens.
Word splitter: a custom splitter built on Sudachi (SplitMode.C, core dictionary).
Encoder: ModernBERT-Ja-130m by SB Intuitions.
Training data: a proprietary Japanese synthetic dataset (not publicly released).
Model family: 310m (higher accuracy) and 130m (smaller and faster, for CPU / edge). Both are listed in the GLiNER2.5 Japanese collection.
Demo: try both models in the browser in the GLiNER2.5 Japanese demo Space.

How it works

ℹ️ What happens inside one inference call (click to expand)

The animation above follows model.extract(query, schema) for the query 渋谷でリモート可のPythonエンジニア正社員. Everything here is done by the gliner2 library; this repository only provides the weights and the word splitter settings.

Word splitting. The word_splitter you pass (Sudachi, SplitMode.C) splits the text into words and keeps each word's character offsets. Words are lowercased (Python → python), and a . is appended to the end of the text.
One input sequence. The schema is written as a prompt with marker tokens and joined with the text: ( [P] entities ( [E] 職種/occupation [E] 勤務地/work_location … ) ) [SEP_STRUCT] ( [P] 検索意図/search_intent ( [L] 条件指定検索/criteria_search … ) ) [SEP_TEXT] 渋谷でリモート可の python エンジニア正社員 . Each entity label gets an [E] marker, each class label an [L] marker, each relation argument an [R] marker and each structure field a [C] marker. Every item is then split into subwords by the ModernBERT-Ja tokenizer.
One encoder pass. ModernBERT-Ja encodes the schema and the text together in a single forward pass, so the label markers and the text words attend to each other. The vector at each marker becomes the query for that label, and each word is represented by the vector of its first subword.
Spans. For every label, a boundary head scores each gap between words as a possible start or end of a span. The best start–end pairs (up to 128 per label) are re-scored using the compatibility of the two ends, the words inside the span and the span length. Spans whose probability (sigmoid) reaches threshold (default 0.5) are kept, and the best non-overlapping set is chosen per label. A separate "no answer" score lets the model return nothing for a label that is not in the text.
Classification. Each [L] marker vector is turned into one score by a small MLP. Single-label tasks take a softmax over the task's labels and return the best one; multi-label tasks use a sigmoid per label and keep every label at or above cls_threshold (default 0.5).
Relations and structures reuse the same span machinery. The head and the tail of a relation type are two span queries, and pairs of their candidates are scored by a relation head. In a structure, each field is a span query; with mode="natural", every candidate of the first (anchor) field starts a record and the other fields are assigned to the records.
Back to the original text. Word positions are mapped back to character offsets, and each answer is cut out of the original text, so it keeps its original form (Pythonエンジニア, not pythonエンジニア). The results are returned as a Python dict.

Usage

Installation

pip install "gliner2[local]>=2.1" "transformers>=5" "sudachipy>=0.7" sudachidict-core

[local] installs PyTorch and Transformers, which are needed to run the model on your machine. transformers>=5 is required because the tokenizer files were saved with Transformers 5 (Transformers 4 cannot read them). For the same reason, use gliner2 2.1.0 or later: the [local] extra of gliner2 2.0.0 requires Transformers < 5.

Checked on CPU with gliner2 2.1.0 (Python 3.10 / 3.12 / 3.13), including an environment that already had Transformers 4 installed before running the line above. The outputs below are from gliner2 2.1.0.

Load the model

Pass word_splitter. Without it, text is split on whitespace and Japanese spans cannot be extracted correctly.

from gliner2 import AutoExtractor
from sudachipy import Dictionary, SplitMode


class SudachiSplitter:
    """Japanese word splitter (same settings as in training: SplitMode.C, core dictionary)."""

    def __init__(self):
        self.tok = Dictionary(dict="core").tokenizer()

    def __call__(self, text, lower=True):
        for m in self.tok.tokenize(text, SplitMode.C):
            s = m.surface()
            if s.strip():
                yield (s.lower() if lower else s), m.begin(), m.end()


model = AutoExtractor.from_pretrained("tkhshtsh0917/gliner2.5-ja-modernbert-130m", word_splitter=SudachiSplitter())

Named entity recognition

text = "株式会社青葉ソフトは東京都渋谷区のオフィスで働くPythonエンジニアを募集しています。月給35万円〜、週2日まで在宅勤務できます。"

print(model.extract_entities(text, ["企業/company", "職種/occupation", "勤務地/work_location", "給与/salary"]))

# With label descriptions, confidence scores and character offsets
print(model.extract_entities(
    text,
    {"職種/occupation": "募集している職種・ポジション名", "給与/salary": "給与の金額表記"},
    include_confidence=True,
    include_spans=True,
))

Output:

{'entities': {'企業/company': ['株式会社青葉ソフト'], '職種/occupation': ['Pythonエンジニア'], '勤務地/work_location': ['東京都渋谷区'], '給与/salary': ['月給35万円〜']}}
{'entities': {'職種/occupation': [{'text': 'Pythonエンジニア', 'confidence': 0.9999849796295166, 'start': 24, 'end': 35}], '給与/salary': [{'text': '月給35万円〜', 'confidence': 0.9898607730865479, 'start': 44, 'end': 51}]}}

Text classification

text = "株式会社青葉ソフトは東京都渋谷区のオフィスで働くPythonエンジニアを募集しています。月給35万円〜、週2日まで在宅勤務できます。"

# Single-label (several tasks at once)
print(model.classify_text(text, {
    "リモート可否/remote_option": ["在宅可/remote_ok", "ハイブリッド/hybrid", "出社のみ/onsite_only"],
    "経験レベル/experience_level": ["未経験可/entry", "経験者優遇/preferred", "経験必須/required"],
}))

# Multi-label
query = "しぶや ぱいそん 正社員"
print(model.classify_text(query, {
    "検索意図/search_intent": {
        "labels": ["条件指定検索/criteria_search", "企業名検索/brand_search", "フリーワード検索/keyword_search", "意図不明・表記揺れ/ambiguous"],
        "multi_label": True,
    },
}))

Output:

{'リモート可否/remote_option': 'ハイブリッド/hybrid', '経験レベル/experience_level': '経験必須/required'}
{'検索意図/search_intent': ['意図不明・表記揺れ/ambiguous']}

Relation extraction

job = "株式会社みなと警備（本社：横浜市）は常駐警備員を募集しています。勤務地は川崎市です。主な業務は巡回業務で、警備員検定2級が必須です。"
print(model.extract_relations(job, ["採用職種/hiring_for", "本社所在地/headquartered_in", "所在地/located_in", "業務内容/responsible_for", "必須スキル/requires_skill"]))

resume = "佐藤美咲（34歳）は青葉大学を卒業後、北斗システムズでJavaエンジニアとして8年勤務した。保有資格は基本情報技術者。"
print(model.extract_relations(resume, ["学歴/studied_at", "勤務経験/worked_at", "保有資格/has_certification"]))

Output:

{'relation_extraction': {'採用職種/hiring_for': [('株式会社みなと警備', '常駐警備員')], '本社所在地/headquartered_in': [('株式会社みなと警備', '横浜市')], '所在地/located_in': [('株式会社みなと警備', '川崎市')], '業務内容/responsible_for': [('常駐警備員', '巡回業務')], '必須スキル/requires_skill': [('常駐警備員', '警備員検定2級')]}}
{'relation_extraction': {'学歴/studied_at': [('佐藤美咲', '青葉大学')], '勤務経験/worked_at': [('佐藤美咲', '北斗システムズ')], '保有資格/has_certification': [('佐藤美咲', '基本情報技術者')]}}

Structured extraction (JSON)

Declare structures with mode="natural" (the first field is the anchor of each record), as in training. A text can yield several records, and a field with choices returns one of the given values.

job = "職種：介護スタッフ。企業：株式会社ひだまりケア。雇用形態：正社員。給与：月給24万円〜。勤務地：さいたま市。"
schema = model.create_schema()
(schema.structure("求人情報/job_posting", mode="natural")
    .field("職種/occupation", dtype="str")
    .field("企業/company", dtype="str")
    .field("雇用形態/employment_type", dtype="str", choices=["正社員", "契約社員", "パート・アルバイト", "業務委託", "派遣社員"])
    .field("給与/salary", dtype="str")
    .field("勤務地/work_location", dtype="str"))
print(model.extract(job, schema))

resume = "北斗システムズで営業として5年勤務した後、みらい商事に転職し、現在は営業マネージャーとして3年目です。"
schema = model.create_schema()
(schema.structure("職歴/work_history", mode="natural")
    .field("企業/company", dtype="str")
    .field("役職/position", dtype="str")
    .field("期間/duration", dtype="str"))
print(model.extract(resume, schema))

Output:

{'求人情報/job_posting': [{'職種/occupation': '介護スタッフ', '企業/company': '株式会社ひだまりケア', '雇用形態/employment_type': '正社員', '給与/salary': '月給24万円〜', '勤務地/work_location': 'さいたま市'}]}
{'職歴/work_history': [{'企業/company': '北斗システムズ', '役職/position': '営業', '期間/duration': '5年'}, {'企業/company': 'みらい商事', '役職/position': '営業マネージャー', '期間/duration': '3年目'}]}

Several tasks in one call (search-query understanding)

query = "渋谷でリモート可のPythonエンジニア正社員"
schema = (
    model.create_schema()
    .entities(["職種/occupation", "勤務地/work_location", "スキル/skill", "雇用形態/employment_type", "勤務形態/work_style"])
    .classification("検索意図/search_intent", ["条件指定検索/criteria_search", "企業名検索/brand_search", "フリーワード検索/keyword_search", "意図不明・表記揺れ/ambiguous"])
    .classification("クエリ複雑度/query_complexity", ["単一条件/single", "掛け合わせ/compound", "文章型/sentence"])
)
print(model.extract(query, schema))

Output:

{'entities': {'職種/occupation': ['Pythonエンジニア'], '勤務地/work_location': ['渋谷'], 'スキル/skill': [], '雇用形態/employment_type': ['正社員'], '勤務形態/work_style': ['リモート可']}, '検索意図/search_intent': '条件指定検索/criteria_search', 'クエリ複雑度/query_complexity': '掛け合わせ/compound'}

Batch processing

queries = ["看護師 札幌 夜勤なし", "トヨタ 期間工", "未経験から始められる事務の仕事を大阪で探しています"]
schema = model.create_schema().entities(["職種/occupation", "勤務地/work_location", "企業/company", "除外条件/exclusion_condition"])
for result in model.batch_extract(queries, schema, batch_size=8):
    print(result)

Output:

{'entities': {'職種/occupation': ['看護師'], '勤務地/work_location': ['札幌'], '企業/company': [], '除外条件/exclusion_condition': ['夜勤なし']}}
{'entities': {'職種/occupation': [], '勤務地/work_location': [], '企業/company': ['トヨタ'], '除外条件/exclusion_condition': []}}
{'entities': {'職種/occupation': ['事務'], '勤務地/work_location': ['大阪'], '企業/company': [], '除外条件/exclusion_condition': []}}

Tips

Label names: the model was trained with labels written as 日本語/english (e.g. 職種/occupation). Labels in this form work best.
Threshold: every method takes threshold (default 0.5). Lower it to get more candidates, raise it for higher precision.
Confidence and offsets: every method (extract, extract_entities, extract_relations, classify_text, batch_extract) accepts include_confidence=True (adds confidence scores) and include_spans=True (adds character offsets into the original text).

License

This model is released under the Apache License 2.0.

It is fine-tuned from ModernBERT-Ja-130m (Copyright (c) 2025 SB Intuitions), which is released under the MIT License. The original MIT license text is included in this repository as LICENSE.modernbert-ja.

Acknowledgements

We thank fastino-ai for developing and releasing GLiNER2 / GLiNER2.5, whose library and training code this model is built on.
We thank SB Intuitions for developing and releasing ModernBERT-Ja, which this model uses as its encoder.
We thank Works Applications for developing and releasing the Sudachi morphological analyzer and its dictionaries, which this model uses as its word splitter.

日本語

English | 日本語

日本語に特化した GLiNER2.5（boundary アーキテクチャ）モデルです。 1 つのモデルで、固有表現抽出・テキスト分類・関係抽出・構造化抽出（JSON）を行えます。

非公式のコミュニティモデルです。fastino-ai とは関係がなく、fastino-ai の承認を受けたものではありません。

スクラッチ訓練（fastino-ai の重みは不使用）: Encoder を ModernBERT-Ja に差し替えたため、fastino-ai が公開している重み（fastino/gliner2.5-multi-v1 など）は使っていません。Encoder は事前学習済みの ModernBERT-Ja-130m の重みから始め、GLiNER2 のタスク用のヘッドはすべてランダムな初期値からスクラッチで訓練しました
学習コード: 公開されている GLiNER2 リポジトリ（gliner2==2.0.0）の学習器を、ライブラリ本体には手を加えずに使用。日本語向けの小さなラッパーで、Sudachi の Word Splitter・スキーマ増強の設定・正解スパンと Sudachi のトークンの位置合わせの補助を追加
Word Splitter: 日本語の単語分割に Sudachi（SplitMode.C・core 辞書）を組み込んだカスタム Splitter を使用
Encoder: 日本語 ModernBERT の ModernBERT-Ja-130m（SB Intuitions）を使用
訓練データ: 独自の日本語合成データセットを使用（非公開）
モデルファミリー: 310m（精度重視）と 130m（小さく速い・CPU／エッジ向け）の 2 つがあります。2 つとも GLiNER2.5 Japanese コレクションにまとめています
デモ: GLiNER2.5 Japanese のデモ（Space）で、2 つのモデルをブラウザから試せます

推論の仕組み

ℹ️ 1 回の推論の中で起きていること（クリックで開く）

上のアニメーションは、クエリ 渋谷でリモート可のPythonエンジニア正社員 に対する model.extract(query, schema) の流れです。ここに書いたことはすべて gliner2 ライブラリが行います。このリポジトリが提供するのは重みと Word Splitter の設定だけです。

単語分割。 指定した word_splitter（Sudachi・SplitMode.C）が文を単語に分け、各単語の文字位置を記録します。単語は小文字にそろえられ（Python → python）、文末には . が 1 つ足されます。
1 本の入力列。 スキーマを目印のトークン付きのプロンプトに書き、文とつなげます: ( [P] entities ( [E] 職種/occupation [E] 勤務地/work_location … ) ) [SEP_STRUCT] ( [P] 検索意図/search_intent ( [L] 条件指定検索/criteria_search … ) ) [SEP_TEXT] 渋谷でリモート可の python エンジニア正社員 . 固有表現のラベルには [E]、分類のラベルには [L]、関係の両端には [R]、構造のフィールドには [C] の目印が付きます。そのうえで、各要素を ModernBERT-Ja のトークナイザでサブワードに分けます。
Encoder は 1 回だけ。 ModernBERT-Ja がスキーマと文を 1 回の順伝播でまとめて符号化するので、ラベルの目印と文の単語が互いを参照し合います。各目印の位置のベクトルがそのラベルの問い合わせになり、各単語は最初のサブワードのベクトルで表されます。
スパン。 ラベルごとに、境界ヘッドが単語と単語の間の各位置を「スパンの始まり」「スパンの終わり」として採点します。上位の始まりと終わりの組（ラベルごとに最大 128 個）を、両端の相性・スパンの中の単語・スパンの長さで採点し直し、確率（シグモイド）が threshold（既定 0.5）以上のものを残します。同じラベルの中では、重ならない最良の組み合わせを選びます。別に「答えなし」のスコアがあり、文に無いラベルには何も返しません。
分類。 各 [L] の目印のベクトルを小さな MLP で 1 つのスコアにします。単一ラベルのタスクはそのタスクのラベルの間でソフトマックスを取って最も高いものを返し、複数ラベルのタスクはラベルごとのシグモイドが cls_threshold（既定 0.5）以上のものをすべて返します。
関係と構造 も同じスパンの仕組みを使います。関係の型ごとに head と tail が 2 つのスパンの問い合わせになり、その候補の組を関係ヘッドが採点します。構造では各フィールドがスパンの問い合わせになり、mode="natural" では最初の（起点の）フィールドの候補ごとにレコードを作り、ほかのフィールドを各レコードに割り当てます。
元の文に戻す。 単語の位置を文字位置に戻し、答えを元の文から切り出します。そのため答えは元の表記のままです（pythonエンジニア ではなく Pythonエンジニア）。結果は Python の dict で返ります。

使用例

インストール

pip install "gliner2[local]>=2.1" "transformers>=5" "sudachipy>=0.7" sudachidict-core

[local] を付けると、手元でモデルを動かすのに必要な PyTorch と Transformers も入ります。トークナイザのファイルを Transformers 5 で保存しているため、transformers>=5 が必要です（Transformers 4 では読めません）。同じ理由で gliner2 は 2.1.0 以降を使ってください（gliner2 2.0.0 の [local] は Transformers 5 未満を要求します）。

CPU の上で、gliner2 2.1.0（Python 3.10 / 3.12 / 3.13）で動くことを確かめています（Transformers 4 が入っていた環境で上の行を実行した場合も含む）。下の出力は gliner2 2.1.0 のものです。

モデルの読み込み

word_splitter を必ず指定してください。指定しないと空白区切りになり、日本語のスパンを正しく取り出せません。

from gliner2 import AutoExtractor
from sudachipy import Dictionary, SplitMode


class SudachiSplitter:
    """日本語の単語分割（学習時と同じ設定: SplitMode.C・core 辞書）"""

    def __init__(self):
        self.tok = Dictionary(dict="core").tokenizer()

    def __call__(self, text, lower=True):
        for m in self.tok.tokenize(text, SplitMode.C):
            s = m.surface()
            if s.strip():
                yield (s.lower() if lower else s), m.begin(), m.end()


model = AutoExtractor.from_pretrained("tkhshtsh0917/gliner2.5-ja-modernbert-130m", word_splitter=SudachiSplitter())

固有表現抽出

text = "株式会社青葉ソフトは東京都渋谷区のオフィスで働くPythonエンジニアを募集しています。月給35万円〜、週2日まで在宅勤務できます。"

print(model.extract_entities(text, ["企業/company", "職種/occupation", "勤務地/work_location", "給与/salary"]))

# ラベルの説明・確信度・文字位置を付ける
print(model.extract_entities(
    text,
    {"職種/occupation": "募集している職種・ポジション名", "給与/salary": "給与の金額表記"},
    include_confidence=True,
    include_spans=True,
))

出力:

{'entities': {'企業/company': ['株式会社青葉ソフト'], '職種/occupation': ['Pythonエンジニア'], '勤務地/work_location': ['東京都渋谷区'], '給与/salary': ['月給35万円〜']}}
{'entities': {'職種/occupation': [{'text': 'Pythonエンジニア', 'confidence': 0.9999849796295166, 'start': 24, 'end': 35}], '給与/salary': [{'text': '月給35万円〜', 'confidence': 0.9898607730865479, 'start': 44, 'end': 51}]}}

テキスト分類

text = "株式会社青葉ソフトは東京都渋谷区のオフィスで働くPythonエンジニアを募集しています。月給35万円〜、週2日まで在宅勤務できます。"

# 単一ラベル（複数のタスクを一度に）
print(model.classify_text(text, {
    "リモート可否/remote_option": ["在宅可/remote_ok", "ハイブリッド/hybrid", "出社のみ/onsite_only"],
    "経験レベル/experience_level": ["未経験可/entry", "経験者優遇/preferred", "経験必須/required"],
}))

# 複数ラベル
query = "しぶや ぱいそん 正社員"
print(model.classify_text(query, {
    "検索意図/search_intent": {
        "labels": ["条件指定検索/criteria_search", "企業名検索/brand_search", "フリーワード検索/keyword_search", "意図不明・表記揺れ/ambiguous"],
        "multi_label": True,
    },
}))

出力:

{'リモート可否/remote_option': 'ハイブリッド/hybrid', '経験レベル/experience_level': '経験必須/required'}
{'検索意図/search_intent': ['意図不明・表記揺れ/ambiguous']}

関係抽出

job = "株式会社みなと警備（本社：横浜市）は常駐警備員を募集しています。勤務地は川崎市です。主な業務は巡回業務で、警備員検定2級が必須です。"
print(model.extract_relations(job, ["採用職種/hiring_for", "本社所在地/headquartered_in", "所在地/located_in", "業務内容/responsible_for", "必須スキル/requires_skill"]))

resume = "佐藤美咲（34歳）は青葉大学を卒業後、北斗システムズでJavaエンジニアとして8年勤務した。保有資格は基本情報技術者。"
print(model.extract_relations(resume, ["学歴/studied_at", "勤務経験/worked_at", "保有資格/has_certification"]))

出力:

{'relation_extraction': {'採用職種/hiring_for': [('株式会社みなと警備', '常駐警備員')], '本社所在地/headquartered_in': [('株式会社みなと警備', '横浜市')], '所在地/located_in': [('株式会社みなと警備', '川崎市')], '業務内容/responsible_for': [('常駐警備員', '巡回業務')], '必須スキル/requires_skill': [('常駐警備員', '警備員検定2級')]}}
{'relation_extraction': {'学歴/studied_at': [('佐藤美咲', '青葉大学')], '勤務経験/worked_at': [('佐藤美咲', '北斗システムズ')], '保有資格/has_certification': [('佐藤美咲', '基本情報技術者')]}}

構造化抽出（JSON）

学習時と同じく mode="natural"（各レコードの最初のフィールドが起点）で構造を宣言してください。1 つの文から複数のレコードが取れ、choices を付けたフィールドは候補のどれか 1 つを返します。

job = "職種：介護スタッフ。企業：株式会社ひだまりケア。雇用形態：正社員。給与：月給24万円〜。勤務地：さいたま市。"
schema = model.create_schema()
(schema.structure("求人情報/job_posting", mode="natural")
    .field("職種/occupation", dtype="str")
    .field("企業/company", dtype="str")
    .field("雇用形態/employment_type", dtype="str", choices=["正社員", "契約社員", "パート・アルバイト", "業務委託", "派遣社員"])
    .field("給与/salary", dtype="str")
    .field("勤務地/work_location", dtype="str"))
print(model.extract(job, schema))

resume = "北斗システムズで営業として5年勤務した後、みらい商事に転職し、現在は営業マネージャーとして3年目です。"
schema = model.create_schema()
(schema.structure("職歴/work_history", mode="natural")
    .field("企業/company", dtype="str")
    .field("役職/position", dtype="str")
    .field("期間/duration", dtype="str"))
print(model.extract(resume, schema))

出力:

{'求人情報/job_posting': [{'職種/occupation': '介護スタッフ', '企業/company': '株式会社ひだまりケア', '雇用形態/employment_type': '正社員', '給与/salary': '月給24万円〜', '勤務地/work_location': 'さいたま市'}]}
{'職歴/work_history': [{'企業/company': '北斗システムズ', '役職/position': '営業', '期間/duration': '5年'}, {'企業/company': 'みらい商事', '役職/position': '営業マネージャー', '期間/duration': '3年目'}]}

複数のタスクを 1 回で（検索クエリの理解）

query = "渋谷でリモート可のPythonエンジニア正社員"
schema = (
    model.create_schema()
    .entities(["職種/occupation", "勤務地/work_location", "スキル/skill", "雇用形態/employment_type", "勤務形態/work_style"])
    .classification("検索意図/search_intent", ["条件指定検索/criteria_search", "企業名検索/brand_search", "フリーワード検索/keyword_search", "意図不明・表記揺れ/ambiguous"])
    .classification("クエリ複雑度/query_complexity", ["単一条件/single", "掛け合わせ/compound", "文章型/sentence"])
)
print(model.extract(query, schema))

出力:

{'entities': {'職種/occupation': ['Pythonエンジニア'], '勤務地/work_location': ['渋谷'], 'スキル/skill': [], '雇用形態/employment_type': ['正社員'], '勤務形態/work_style': ['リモート可']}, '検索意図/search_intent': '条件指定検索/criteria_search', 'クエリ複雑度/query_complexity': '掛け合わせ/compound'}

まとめて処理する（バッチ）

queries = ["看護師 札幌 夜勤なし", "トヨタ 期間工", "未経験から始められる事務の仕事を大阪で探しています"]
schema = model.create_schema().entities(["職種/occupation", "勤務地/work_location", "企業/company", "除外条件/exclusion_condition"])
for result in model.batch_extract(queries, schema, batch_size=8):
    print(result)

出力:

{'entities': {'職種/occupation': ['看護師'], '勤務地/work_location': ['札幌'], '企業/company': [], '除外条件/exclusion_condition': ['夜勤なし']}}
{'entities': {'職種/occupation': [], '勤務地/work_location': [], '企業/company': ['トヨタ'], '除外条件/exclusion_condition': []}}
{'entities': {'職種/occupation': ['事務'], '勤務地/work_location': ['大阪'], '企業/company': [], '除外条件/exclusion_condition': []}}

ヒント

ラベル名: 学習では 日本語/english の形のラベル（例: 職種/occupation）を使いました。この形で書くと最もよく働きます。
閾値: どのメソッドも threshold（既定 0.5）を受け取ります。下げると候補が増え、上げると精度寄りになります。
確信度と文字位置: どのメソッド（extract・extract_entities・extract_relations・classify_text・batch_extract）でも、include_confidence=True（確信度を付ける）と include_spans=True（元の文での文字位置を付ける）を指定できます。

ライセンス

このモデルは Apache License 2.0 で公開しています。

謝辞

このモデルの土台となるライブラリと学習コード GLiNER2 / GLiNER2.5 を開発・公開している fastino-ai の皆さまに感謝します。
このモデルの Encoder として使用している ModernBERT-Ja を開発・公開している SB Intuitions の皆さまに感謝します。
このモデルの単語分割に使用している形態素解析器 Sudachi とその辞書を開発・公開しているワークスアプリケーションズの皆さまに感謝します。

Loading…