ModernUzBERT-NER: Named Entity Recognition for the Uzbek Language

ModernUzBERT-NER — oʻzbek tili matnlarida nomlangan obʼyektlarni (Named Entity Recognition – NER) aniqlash uchun maxsus fine-tune qilingan zamonaviy transformator modelidir.

Model oʻzbek tili korpuslarida noldan pretrain qilingan ModernUzBERT modeli asosida qurilgan boʻlib, eng soʻnggi ModernBERT meʼmoriy yangiliklarini oʻzida mujassam etgan:

• Rotary Position Embeddings (RoPE): nisbiy masofa invariantligi va uzoq kontekstli bogʻlanishlarni mukammal modellashtirish;
• GeGLU (Gated Linear Units): nochiziqli faollashtirish qatlami;
• RMSNorm & Unpadding: hisoblash tezligi va xotira samaradorligi;
• BPE Tokenizer (52,032 vocab): oʻzbek tilining boy morfologik affikslarini aniq ifodalash.

---

Model Koʻrsatkichlari (Evaluation Results)

Model Hugging Face platformasidagi risqaliyevds/uzbek_ner maʼlumotlar toʻplamida (19,609 ta jumla) 19 ta BIO sinf (9 ta semantik toifa) boʻyicha oʻqitildi va mustaqil 1,947 ta test jumlasi (290,210 ta token, 9,180 ta haqiqiy obʼyekt) asosida qatʼiy CoNLL standarti boʻyicha baholandi:

Har bir semantik toifa boʻyicha F1-Score:

---

Qanday Foydalanish Mumkin? (How to Use)

1. Hugging Face pipeline orqali (Tezkor va oson):

from transformers import pipeline

# Model va tokenizatorni yuklash
ner_pipeline = pipeline(
    "token-classification",
    model="Orzumurod/ModernUzBERT-NER",
    aggregation_strategy="simple"
)

# Sinov matni (tashkilot, joy nomi, pul birligi va sana)
text = "Oʻzbekiston Respublikasi Fanlar akademiyasi Toshkent shahrida yangi ilmiy markaz ochdi. 2024-yilda Markaziy bank 500000 soʻm miqdorida toʻlovni tasdiqladi."

entities = ner_pipeline(text)
for ent in entities:
    print(f"Obʼyekt: {ent['word']} | Toifa: {ent['entity_group']} | Ishonchlilik: {ent['score']:.4f}")

2. PyTorch va AutoModelForTokenClassification orqali:

import torch
from transformers import AutoTokenizer, AutoModelForTokenClassification

model_id = "Orzumurod/ModernUzBERT-NER"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForTokenClassification.from_pretrained(model_id)

text = "Samarqand davlat universiteti Zarafshon daryosi boʻyida joylashgan."
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    logits = model(**inputs).logits

predictions = torch.argmax(logits, dim=2)[0].tolist()
tokens = tokenizer.convert_ids_to_tokens(inputs["input_ids"][0])

for token, pred_id in zip(tokens, predictions):
    if token not in ["[CLS]", "[SEP]", "[PAD]"]:
        print(f"{token}: {model.config.id2label[pred_id]}")

---

19 ta BIO Sinflar (Label Map)

Model quyidagi BIO teglari bilan ishlaydi:

• O: Hech qanday obʼyekt emas
• B-PER / I-PER: Shaxs nomi (boshi / davomi)
• B-ORG / I-ORG: Tashkilot (boshi / davomi)
• B-LOC / I-LOC: Geografik joy (boshi / davomi)
• B-GPE / I-GPE: Geosiyosiy hudud (boshi / davomi)
• B-DATE / I-DATE: Sana va vaqt (boshi / davomi)
• B-MONEY / I-MONEY: Pul birligi (boshi / davomi)
• B-PROD / I-PROD: Mahsulot (boshi / davomi)
• B-EVENT / I-EVENT: Voqea-hodisa (boshi / davomi)
• B-FAC / I-FAC: Inshoot va bino (boshi / davomi)

---

Iqtibos (Citation)

Agar ushbu modeldan ilmiy tadqiqotingizda foydalansangiz, quyidagi bibliografik iqtibosni koʻrsatishingizni soʻraymiz:

@misc{modernuzbert_ner_2026,
  author = {Orzumurod and Collaborators},
  title = {ModernUzBERT-NER: Named Entity Recognition for the Uzbek Language based on ModernBERT},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/Orzumurod/ModernUzBERT-NER}}
}