🦁 BaliBERT: Named Entity Recognition untuk Sastra Satua Bali

BaliBERT adalah model Transformer ekstraksi entitas bernama (Named Entity Recognition / NER) khusus bahasa Bali yang di-fine-tune dari fondasi indobenchmark/indobert-base-p1. Model ini dilatih secara khusus untuk mengenali dan mengklasifikasikan 5 kategori entitas karakter tokoh pada korpus cerita rakyat dan sastra Bali (Satua Bali).

---

📌 Informasi Model

• Nama Repositori: Dramaniako/BaliBERT
• Arsitektur Dasar: IndoBERT-base (124M parameter, WordPiece tokenization)
• Tugas (Task): Token Classification / Named Entity Recognition (NER)
• Skema Pelabelan: BIO (Begin, Inside, Outside) dengan 11 label token
• Bahasa: Basa Bali (ban), Bahasa Indonesia (id)
• Akurasi Token Keseluruhan: 95.58%
• Micro F1-Score (Chunk-Level seqeval): 78.91%

---

🏷️ Taksonomi Kelas Entitas

Model ini mengenali 5 kategori karakter tokoh dalam sastra dan narasi bahasa Bali:

---

🚀 Cara Menggunakan Model (Quickstart)

1. Menggunakan Hugging Face pipeline (Paling Praktis)

from transformers import pipeline

# Inisialisasi pipeline NER
ner = pipeline(
    "token-classification",
    model="Dramaniako/BaliBERT",
    tokenizer="Dramaniako/BaliBERT",
    aggregation_strategy="simple"
)

# Kalimat uji bahasa Bali
teks = "I Pekak Dukuh lantas ngaukin Sang Lutung ane sedeng ngamah biu di duur punyane."

# Jalankan ekstraksi entitas
hasil = ner(teks)
for entitas in hasil:
    print(f"• Entitas : {entitas['word']:<20} | Kelas: {entitas['entity_group']:<6} | Skor: {entitas['score']:.4f}")

Contoh Output:

• Entitas : I Pekak Dukuh        | Kelas: PNAME  | Skor: 0.9990
• Entitas : Sang Lutung          | Kelas: ANM    | Skor: 0.9905

---

2. Inferensi Manual PyTorch dengan Word Boundary Snapping

import torch
from transformers import AutoTokenizer, AutoModelForTokenClassification

model_name = "Dramaniako/BaliBERT"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)
model.eval()

text = "Gelisang satua Bhatara Guru lantas micayang panugrahan ring Sang Hyang Anantaboga."
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    predictions = torch.argmax(outputs.logits, dim=-1)[0].tolist()

tokens = tokenizer.convert_ids_to_tokens(inputs["input_ids"][0])
id2label = model.config.id2label

for token, pred_id in zip(tokens, predictions):
    if token not in ["[CLS]", "[SEP]", "[PAD]"]:
        print(f"{token:<15} -> {id2label[pred_id]}")

---

📊 Hasil Evaluasi & Performa (Benchmark)

Evaluasi dilakukan pada dataset blind test independen (data/test.xlsx) berisi 30.395 kata token dan 2.052 kalimat:

Laporan Klasifikasi CoNLL seqeval (Tingkat Entitas Utuh)

Metrik Akurasi Tingkat Token

• Overall Token Accuracy (termasuk label O): 95.58%
• Entity Token Accuracy (Micro, khusus kata entitas): 85.35%
• Pelanggaran Transisi BIO (Illegal Transitions): 0 (Eliminasi total orphan I- dan mixed-class)

---

⚙️ Detail Pelatihan (Training Setup)

• Dataset Latih: 59.522 kata token / 4.398 kalimat sastra Satua Bali
• Strategi Subword Alignment: First-Subword Strategy (morfem akar kata pertama, token lanjutan diabaikan -100)
• Loss Function: Smoothed Class-Weighted Cross-Entropy Loss untuk menangani ketimpangan kelas mayoritas O
• Optimizer: AdamW (weight_decay=0.01)
• Learning Rate: 3e-5 dengan Linear Warmup 100 langkah
• Batch Size: 16
• Epochs: 5
• Hardware: NVIDIA GeForce RTX 4060 Laptop GPU (CUDA 12.4, Mixed Precision fp16)

---

⚠️ Batasan (Limitations)

1. Ambiguitas Konteks Satwa vs Manusia: Pada beberapa cerita fabel, tokoh satwa dapat menggunakan gelar manusia (contoh: "Ida Sang Prabu" yang merujuk pada Raja Singa). Model memprediksi berdasarkan konteks kalimat lokal.
2. Entitas Spiritual Langka (GODS): Kosakata tokoh dewa atau bhatara yang sangat jarang muncul di korpus latih memiliki variasi representasi yang lebih menantang.
3. Domain Teks: Model ini dioptimalkan untuk sastra narasi tradisional Bali (Satua Bali). Penggunaan pada teks percakapan modern atau formal administratif mungkin memerlukan adaptasi lanjutan.

---

📜 Lisensi & Sitasi

Model ini dirilis di bawah lisensi Apache 2.0. Jika Anda menggunakan model ini dalam penelitian atau proyek Anda, silakan berikan atribusi kepada repositori ini:

@misc{balibert2026,
  author = {Dramaniako},
  title = {BaliBERT: Named Entity Recognition for Balinese Literature using IndoBERT},
  year = {2026},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/Dramaniako/BaliBERT}}
}