IRL Guard — decision model v2 (Laya fine-tuné)

Decision model d'IRL Guard : à partir d'un state JSON (charte de la chaîne en langage naturel, catégorie du stream, mode domicile, élément vu à l'écran), il répond à trois questions typées — action (diffuser / flouter / pause), risque et gravité — avec des probabilités calibrées. Fine-tuné à partir de convaiinnovations/laya-multilingual sur MissawB/irl-guard-decisions-v2.

Utilisation

Sur CPU, sans serveur, avec le paquet laya :

import laya
agent = laya.load("MissawB/irl-guard-decision-laya-v2")
reponse = agent.predict(state, questions)

Alternative légère d'IRL Guard sans GPU (decideur.modele: laya-local). Moins précis que Qwen v2 sur les chartes écrites librement.

Résultats

Précision de l'action, F1 macro, taux de fuite (cas à protéger que l'approche diffuse), calibration (ECE) et coût moyen par décision, sur 1 000 cas par jeu.

Chartes vues

toujours-diffuser : Toujours diffuser (plancher), regles : Règles, xgboost : XGBoost, laya : Laya brut, laya-ft : Laya fine-tuné, qwen-ft : Qwen3.5-0.8B fine-tuné, laya-ft-v2 : Laya fine-tuné (v2), qwen-ft-v2 : Qwen3.5-2B fine-tuné (v2), combine-laya : Règles + Laya fine-tuné, combine-qwen : Règles + Qwen fine-tuné, combine-laya-v2 : Règles + Laya v2, combine-qwen-v2 : Règles + Qwen v2

Approche	Action	F1 macro	Fuite	ECE	Coût moyen
toujours-diffuser	44.9 %	0.207	100.0 %	0.551	8.48
regles	39.3 %	0.334	21.1 %	0.607	3.17
xgboost	50.1 %	0.502	16.5 %	0.080	2.30
laya	40.7 %	0.314	55.9 %	0.289	5.59
laya-ft	73.8 %	0.721	20.0 %	0.053	2.02
qwen-ft	82.0 %	0.807	15.2 %	0.042	1.44
laya-ft-v2	80.1 %	0.797	3.8 %	0.072	0.73
qwen-ft-v2	99.3 %	0.993	0.2 %	0.005	0.02
combine-laya	61.9 %	0.626	8.3 %	0.218	1.40
combine-qwen	67.6 %	0.683	6.4 %	0.215	1.06
combine-laya-v2	66.7 %	0.671	1.1 %	0.192	0.72
combine-qwen-v2	78.8 %	0.793	0.0 %	0.210	0.25

Chartes non vues

Approche	Action	F1 macro	Fuite	ECE	Coût moyen
toujours-diffuser	40.5 %	0.192	100.0 %	0.595	9.34
regles	44.5 %	0.407	21.2 %	0.555	3.27
xgboost	45.9 %	0.458	24.2 %	0.138	3.11
laya	34.2 %	0.275	47.6 %	0.297	5.54
laya-ft	72.2 %	0.711	21.5 %	0.061	2.44
qwen-ft	80.3 %	0.793	20.3 %	0.084	1.92
laya-ft-v2	74.3 %	0.740	6.2 %	0.034	1.11
qwen-ft-v2	97.3 %	0.972	2.2 %	0.017	0.23
combine-laya	65.9 %	0.663	9.7 %	0.167	1.65
combine-qwen	72.7 %	0.729	9.9 %	0.184	1.29
combine-laya-v2	67.9 %	0.679	2.0 %	0.115	0.87
combine-qwen-v2	83.2 %	0.830	1.5 %	0.159	0.33

Chartes écrites à la main

Approche	Action	F1 macro	Fuite	ECE	Coût moyen
toujours-diffuser	36.9 %	0.180	100.0 %	0.631	8.31
regles	53.1 %	0.462	20.4 %	0.469	2.52
xgboost	46.0 %	0.441	59.6 %	0.281	4.83
laya	40.5 %	0.295	44.7 %	0.274	4.58
laya-ft	56.4 %	0.548	55.5 %	0.239	4.42
qwen-ft	59.9 %	0.589	56.7 %	0.285	4.43
laya-ft-v2	55.0 %	0.553	47.4 %	0.186	3.90
qwen-ft-v2	79.1 %	0.805	29.2 %	0.187	2.21
combine-laya	68.1 %	0.667	18.7 %	0.205	2.01
combine-qwen	67.2 %	0.667	22.5 %	0.257	2.22
combine-laya-v2	66.8 %	0.657	13.3 %	0.167	1.60
combine-qwen-v2	78.8 %	0.792	6.7 %	0.199	0.80

Limites

Les chartes « non vues » sont des formulations et des combinaisons de clauses absentes de l'entraînement, mais écrites dans le même style de gabarits : une charte rédigée librement par un streamer sera plus difficile.
Seul, Qwen v2 laisse passer 29 % des cas à protéger sur les chartes écrites à la main (2 % sur les chartes synthétiques non vues) : dans IRL Guard, il est utilisé en mode combiné avec des règles déterministes (la décision la plus protectrice l'emporte), ce qui ramène la fuite à 5,5 %.
Le modèle décide à partir d'un state JSON (texte lu par OCR, objet détecté, charte, contexte) : il ne voit pas l'image.

MissawB/irl-guard-decision-laya-v2