ModernUzBERT-small: Zamonaviy Oʻzbek Tili Katta Til Modeli

ModernUzBERT-small — oʻzbek tili uchun maxsus noldan (pre-trained from scratch) oʻqitilgan, zamonaviy ModernBERT arxitekturasiga asoslangan ikki yoʻnalishli (bidirectional encoder) til modeli. Model oʻzbek tili grammatikasi, boy agglyutinativ morfologiyasi va kontekstual semantikasini chuqur tushunishga moʻljallangan.

---

🚀 Model Xususiyatlari

• Arxitektura: ModernBERT (Rotary Positional Embeddings - RoPE, GeGLU aktivatsiya funksiyasi, Unpadding mexanizmi).
• Parametrlar soni: 53.7 Million (yengil, tezkor va CPU/GPU resurslarini tejovchi).
• Qatlamlar va oʻlcham: 6 ta Transformer qatlami, 512 yashirin oʻlcham (hidden size), 8 ta attention boshlari.
• Kontekst uzunligi: 8,192 token (klassik BERTning 512 chegarasidan 16 barobar uzunroq kontekstni toʻliq qamrab oladi).
• Lugʻat hajmi (Vocab): 52,032 ta oʻzbek tili uchun optimallashtirilgan Byte-Level BPE tokenlari.
• Oʻqitish hajmi: ~560 Million dinamik niqoblangan tokenlar (MLM, 5 toʻliq epoxa).

---

📊 Baholash Natijalari (Evaluation Metrics)

Model oʻqitish jarayonida koʻrilmagan mustaqil test va validatsiya toʻplamlarida sinovdan oʻtkazildi:

Sifat tahlili (Zero-shot Knowledge Probing):

• Alisher Navoiy buyuk oʻzbek[MASK]. rightarrow shoiri (48.39%), yozuvchisi (18.92%), adibi (4.36%)
• Oʻzbekiston poytaxti[MASK].rightarrow Toshkent (39.93%)
• Amir Temur buyuk davlat[MASK]. rightarrowarbobi (35.37%), rahbari (7.07%)
• Samarqand — qadimiy[MASK].rightarrowshahar (38.91%)
• Oʻzbekiston mustaqillikka[MASK].rightarrowerishdi (27.27%)
• Bugun Toshkentda havo juda[MASK].rightarrowsovuq (36.80%), issiq (17.28%), iliq (15.38%)

---

💻 Foydalanish (Usage)

Modelni Hugging Face transformers kutubxonasi orqali osongina yuklab olish va ishlatish mumkin:

1. pipeline yordamida tezkor sinov (Masked LM):

Eslatma: Byte-Level BPE tokenizatsiyasida har bir toʻliq soʻz boshidagi boʻsh joy (probel) bilan birga saqlanadi. Shuning uchun niqoblangan soʻz oʻrniga [MASK] yoziladi (yoki avtomatik tozalash funksiyasi qoʻllaniladi):

import re
from transformers import pipeline

mask_filler = pipeline("fill-mask", model="Orzumurod/ModernUzBERT-small")

def predict(sentence):
    # Probel va tutuq belgilarini BPE formatiga moslashtirish
    clean = re.sub(r'\s+\[MASK\]', '[MASK]', sentence)
    clean = clean.replace("o'", "oʻ").replace("g'", "gʻ")
    return mask_filler(clean)

results = predict("Alisher Navoiy buyuk oʻzbek [MASK].")
for res in results[:3]:
    print(f"Soʻz: {res['token_str'].strip():<15} Ehtimollik: {res['score']*100:.2f}%")

2. PyTorch va AutoModel orqali matn vektorlarini (embeddings) olish:

import torch
from transformers import AutoTokenizer, AutoModel

model_id = "Orzumurod/ModernUzBERT-small"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModel.from_pretrained(model_id)

text = "Sunʼiy intellekt va tabiiy tilni qayta ishlash texnologiyalari jadal rivojlanmoqda."
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    # [batch_size, sequence_length, hidden_size]
    last_hidden_state = outputs.last_hidden_state
    # Matn sathi bo'yicha o'rtacha vektor (Mean Pooling)
    text_embedding = last_hidden_state.mean(dim=1)

print("Vektor shakli:", text_embedding.shape)

---

🎯 Quyi Vazifalar Uchun (Fine-Tuning)

ModernUzBERT-small quyidagi Oʻzbek tili NLP vazifalari uchun mustahkam poydevor hisoblanadi:

• Matn klassifikatsiyasi va sentiment tahlili (Sharhlar, yangiliklar va ijtimoiy tarmoq fikrlarini tasniflash);
• Nomlangan mohiyatlarni aniqlash (NER) (Shaxs, tashkilot va toponimlarni ajratish);
• Savol-javob tizimlari (QA) va semantik qidiruv;
• Semantik oʻxshashlikni baholash.

---

📜 Litsenziya

Model Apache-2.0 litsenziyasi ostida ochiq manba sifatida taqdim etiladi. Tijoriy va ilmiy maqsadlarda erkin foydalanish mumkin.