Детектор ИИ-текста для русского языка

russian-ai-text-detector-bert оценивает вероятность, что русский текст написала нейросеть, а не человек. Обучен на текстах ChatGPT (GPT-3.5, GPT-4, GPT-4o, o1, o3), GigaChat, YandexGPT, Qwen, Llama, Gemma, DeepSeek, Mistral, Command R и других языковых моделей из корпуса LLMTrace. Помогает проверить текст на ИИ: статью, новость, отзыв, пост, ответ на вопрос.

Это дообученный энкодер cointegrated/rubert-tiny2 на \(29.2\) млн параметров, переведённый в ONNX с весами int8. Файл model.onnx занимает \(29.7\) МБ и работает на CPU через onnxruntime, без torch и GPU. Рядом лежит model_fp32.onnx на \(117\) МБ с весами fp32, aiw-ru его не скачивает. Веса PyTorch для дообучения и своего экспорта — model.safetensors на \(117\) МБ. На отложенной части корпуса ROC AUC \(0.987\), accuracy \(0.945\). У LightGBM на признаках aiw-ru ROC AUC \(0.943\).

Модель необязательная: детектор и скиллы aiw-ru работают без неё. Ставится она только по имени, командой aiw-ru models install transformer, и только если пользователь попросит; в aiw-ru classify её выбирают ключом --model transformer. Другие модели aiw-ru: russian-ai-text-detector-mini-frida (mini-frida), russian-ai-text-detector-modernbert (modernbert), LightGBM на признаках aiw-ru (lightgbm).

In English

A Russian AI-generated text detector. It estimates the probability that a Russian text was written by a person or by an LLM such as ChatGPT (GPT-3.5, GPT-4, GPT-4o, o1, o3), GigaChat, YandexGPT, Qwen, Llama, Gemma, DeepSeek, Mistral, Command R and others, which makes it usable as an AI text detector, a ChatGPT detector or an "AI slop" filter for Russian. The model is cointegrated/rubert-tiny2 fine-tuned, trained on the Russian part of the LLMTrace corpus and exported to ONNX with int8 weights: model.onnx takes \(29.7\) MB and runs on CPU with onnxruntime, no torch or GPU needed. An fp32 export, model_fp32.onnx, is an optional extra file of \(117\) MB. PyTorch weights for fine-tuning or your own export are in model.safetensors, \(117\) MB. Test ROC AUC \(0.987\), accuracy \(0.945\). Install it with aiw-ru models install transformer. The rest of the card is in Russian; usage is below.

Какую модель выбрать

Это быстрый вариант среди трансформеров aiw-ru, за скорость он платит точностью.

• modernbert — самая точная: выбор по умолчанию, но тяжелее трансформера и в несколько раз медленнее.
• transformer (эта модель) — почти так же точна, лёгкая и в несколько раз быстрее ModernBERT: для слабой машины.
• mini-frida — ROC AUC выше, чем у трансформера, но при пороге 50 % чаще принимает людей за ИИ; в 4 раза тяжелее и в 3 раза медленнее.
• lightgbm — самая лёгкая, работает и без onnxruntime (Mac на Intel), но заметно менее точна.

Если установлено несколько моделей, aiw-ru берёт вероятность у первой из них в порядке таблицы. Порядок задаёт доля людей, принятых за ИИ, а не ROC AUC: ошибиться в человеке дороже, чем пропустить ИИ-текст.

Задержка — один текст на \(512\) токенов в один поток на M1 и на двух ядрах Xeon виртуальной машины Colab (x86). Размер у LightGBM — файл модели, признаки для неё считает сам детектор aiw-ru.

Данные

Русская часть LLMTrace classification (статья), ревизия 252e21e3dca7. Модель обучена на \(237,929\) текстах из train, лучший шаг и ранняя остановка — по ROC AUC на \(49,747\) текстах из valid. Итоговые цифры посчитаны по test, это \(52,521\) текст: эту часть корпуса модель при обучении не видела. Отчёт об обучении с выбором базы и командами для воспроизведения лежит на GitHub.

Результаты на test

Текст считается написанным ИИ, если вероятность не меньше \(0.5\). Текст длиннее \(512\) токенов модель читает только до этой границы: среднее по окнам на valid не точнее.

Сравнение с LightGBM на признаках aiw-ru и с оценкой правил детектора с порогом \(40\) на том же test:

На valid accuracy \(0.946\), ROC AUC \(0.988\).

По жанрам

По длине текста

Слова считает детектор aiw-ru, как и для LightGBM.

По типу задания генератору

create — текст с нуля; update, delete, expand — модель правила, сокращала или дописывала человеческий текст.

По моделям-генераторам

Самые частые генераторы в test.

Длинные тексты

Тексты длиннее \(512\) токенов, в test их \(5498\). Сравниваются вероятность по началу текста и среднее по окнам:

Нормализация

В LLMTrace оформление говорит о том, откуда взят человеческий текст: переводы строк, markdown, вид тире и кавычек, ё. Поэтому до токенизации текст проходит нормализацию: разметка и типографика сводятся к простому виду, правила лежат в inference.json. В пилоте база cointegrated/rubert-tiny2 без нормализации дала ROC AUC \(0.960\) на valid, с нормализацией \(0.957\). Нормализация всё равно остаётся: модель, выучившая оформление корпуса, ошибётся на человеческом тексте, набранном в другом редакторе или скопированном из чата.

Скорость и размер

Задержка на один текст в миллисекундах, медиана \(30\) прогонов, Apple M1, 8 ядер:

На двух ядрах виртуальной машины Colab, это ближе к слабому ноутбуку на x86, Intel(R) Xeon(R) CPU @ 2.00GHz, 2 ядра:

Размер зависимостей вывода после установки через uv для Python 3.12:

Размер считается вместе со всеми зависимостями, в том числе numpy и huggingface-hub, которые aiw-ru с extra ml и так ставит для LightGBM.

На этой машине torch считает быстрее onnxruntime: \(19.3\) мс против \(39.8\) мс у ONNX int8 на \(512\) токенах в один поток. Но torch с transformers занимает на диске в \(5.3\text{–}5.8\) раза больше, а на Linux со сборкой torch под CUDA по умолчанию — \(5649\) МБ. aiw-ru ставят и на слабые ноутбуки, поэтому в поставке ONNX: установка лёгкая, а ROC AUC на test совпадает с PyTorch до четвёртого знака.

Как пользоваться

Из командной строки:

uv tool install "aiw-ru[ml]"
aiw-ru models install transformer
aiw-ru classify --model transformer текст.md

Из Python без aiw-ru нужны только onnxruntime, tokenizers и numpy:

import json
import os
import re

# Без этой строки onnxruntime 1.30 при импорте включает телеметрию Microsoft,
# и процесс изредка падает на выходе (recursive_mutex lock failed, код 134).
os.environ.setdefault("ORT_DISABLE_TELEMETRY", "1")

import numpy as np
import onnxruntime as ort
from huggingface_hub import snapshot_download
from tokenizers import Tokenizer

files = ["inference.json", "model.onnx*", "tokenizer.json"]
path = snapshot_download("toiletsandpaper/russian-ai-text-detector-bert", allow_patterns=files)
spec = json.load(open(f"{path}/inference.json", encoding="utf-8"))
session = ort.InferenceSession(f"{path}/{spec['file']}", providers=["CPUExecutionProvider"])
tokenizer = Tokenizer.from_file(f"{path}/{spec['tokenizer']}")
tokenizer.no_truncation()
tokenizer.no_padding()


def probability(text: str) -> float:
    """Вероятность, что текст написала языковая модель."""
    text = text[: spec["max_chars"]]
    for rule in spec["normalize"]:
        text = re.sub(rule["pattern"], rule["replacement"], text, flags=re.MULTILINE)
    ids = tokenizer.encode(text.strip(), add_special_tokens=False).ids
    prefix, suffix = [spec["cls_id"]], [spec["sep_id"]]
    width = spec.get("read_length", spec["max_length"]) - len(prefix) - len(suffix)
    windows = [ids[i : i + width] for i in range(0, max(len(ids), 1), width)][: spec["max_windows"]]
    windows = [[*prefix, *w, *suffix] for w in windows]
    batch = np.full((len(windows), max(map(len, windows))), spec["pad_id"], dtype=np.int64)
    mask = np.zeros_like(batch)
    for k, w in enumerate(windows):
        batch[k, : len(w)] = w
        mask[k, : len(w)] = 1
    logits = session.run([spec["output"]], {"input_ids": batch, "attention_mask": mask})[0]
    p = np.exp(logits - logits.max(axis=1, keepdims=True))
    return float((p[:, spec["labels"].index("ai")] / p.sum(axis=1)).mean())


print(probability(open("текст.md", encoding="utf-8").read()))

inference.json описывает вывод целиком: файл ONNX, токенизатор, max_length, токены вокруг окна, правила нормализации из обучения, порог \(0.5\) и число окон для длинных текстов.

Для дообучения и своего экспорта в репозитории есть веса PyTorch, model.safetensors. aiw-ru и пример выше их не скачивают. Их читает transformers:

from transformers import AutoModelForSequenceClassification, AutoTokenizer

model = AutoModelForSequenceClassification.from_pretrained("toiletsandpaper/russian-ai-text-detector-bert")
tokenizer = AutoTokenizer.from_pretrained("toiletsandpaper/russian-ai-text-detector-bert")

Текст перед токенизатором нормализуй по правилам normalize из inference.json, как в примере выше: на нём модель и обучалась.

Обучение

Ограничения

• Корпус один. На научных статьях, дипломах и диссертациях модель не проверялась, а жанры за пределами таблицы по жанрам она не видела.
• Вероятность — не доказательство авторства. Не используйте модель для решений о людях: на test она принимает за ИИ \(7.2%\) человеческих текстов.
• Правку человеческого текста моделью распознать труднее, чем текст с нуля, см. таблицу по типу задания.
• Нормализация убирает оформление, но не длину: короткие тексты модель различает хуже, см. таблицу по длине.
• В корпусе генераторы до 2025 года; тексты новых моделей могут распознаваться хуже.

Лицензия и данные

Модель распространяется по лицензии MIT, как и cointegrated/rubert-tiny2. Корпус LLMTrace — Apache 2.0, человеческие тексты в нём собраны из сторонних источников со своими лицензиями.

@misc{tolstykh2025llmtrace,
  title = {LLMTrace: A Corpus for Classification and Fine-Grained Localization of AI-Written Text},
  author = {Tolstykh, Irina and Tsybina, Aleksandra and Yakubson, Sergey and Kuprashevich, Maksim},
  year = {2025},
  eprint = {2509.21269},
  archivePrefix = {arXiv},
}

cointegrated/rubert-tiny2 описан в посте автора на Хабре.