IRL Guard — decision model (Qwen3.5-0.8B fine-tuné)
Decision model d'IRL Guard : à partir d'un state JSON (charte de la chaîne en langage naturel, catégorie du
stream, mode domicile, élément vu à l'écran), il répond à trois questions typées — action
(diffuser / flouter / pause), risque et gravité — avec des probabilités calibrées. Fine-tuné à partir de
unsloth/Qwen3.5-0.8B sur MissawB/irl-guard-decisions.
Utilisation
Servi par Unsloth Studio (Decision API, POST /v1/systemone) :
UNSLOTH_SYSTEMONE_MODEL=<chemin du modèle téléchargé> unsloth studio
ou chargé avec transformers grâce au fichier joint_schema_model.py du dépôt :
from joint_schema_model import load_release_model, systemone
model, processor = load_release_model("MissawB/irl-guard-decision-qwen", device="cuda")
reponse = systemone(model, processor, {"model": "irl-guard", "state": state, "questions": questions})
Dans IRL Guard : decideur.modele: studio puis irl-guard process clip.mp4 --decider combine.
Résultats
Précision de l'action, F1 macro, taux de fuite (cas à protéger que l'approche diffuse), calibration (ECE) et coût moyen par décision, sur 1 000 cas par jeu.
Chartes vues
toujours-diffuser : Toujours diffuser (plancher), regles : Règles, xgboost : XGBoost, laya : Laya brut, laya-ft : Laya fine-tuné, qwen-ft : Qwen3.5-0.8B fine-tuné, combine-laya : Règles + Laya fine-tuné, combine-qwen : Règles + Qwen fine-tuné
| Approche | Action | F1 macro | Fuite | ECE | Coût moyen |
|---|---|---|---|---|---|
| toujours-diffuser | 44.8 % | 0.206 | 100.0 % | 0.552 | 8.53 |
| regles | 38.5 % | 0.331 | 23.7 % | 0.615 | 3.37 |
| xgboost | 60.3 % | 0.605 | 14.7 % | 0.034 | 1.96 |
| laya | 38.1 % | 0.303 | 36.2 % | 0.281 | 4.31 |
| laya-ft | 91.2 % | 0.909 | 2.4 % | 0.078 | 0.34 |
| qwen-ft | 94.6 % | 0.945 | 1.8 % | 0.015 | 0.20 |
| combine-laya | 69.2 % | 0.697 | 0.9 % | 0.256 | 0.50 |
| combine-qwen | 71.3 % | 0.716 | 0.9 % | 0.257 | 0.42 |
Chartes non vues
toujours-diffuser : Toujours diffuser (plancher), regles : Règles, xgboost : XGBoost, laya : Laya brut, laya-ft : Laya fine-tuné, qwen-ft : Qwen3.5-0.8B fine-tuné, combine-laya : Règles + Laya fine-tuné, combine-qwen : Règles + Qwen fine-tuné
| Approche | Action | F1 macro | Fuite | ECE | Coût moyen |
|---|---|---|---|---|---|
| toujours-diffuser | 43.4 % | 0.202 | 100.0 % | 0.566 | 8.93 |
| regles | 42.9 % | 0.387 | 22.6 % | 0.571 | 3.33 |
| xgboost | 45.5 % | 0.424 | 40.1 % | 0.196 | 4.37 |
| laya | 35.9 % | 0.289 | 47.5 % | 0.293 | 5.35 |
| laya-ft | 79.9 % | 0.783 | 14.7 % | 0.039 | 1.41 |
| qwen-ft | 84.6 % | 0.831 | 13.6 % | 0.067 | 1.19 |
| combine-laya | 67.1 % | 0.676 | 3.7 % | 0.220 | 0.85 |
| combine-qwen | 69.7 % | 0.697 | 3.7 % | 0.238 | 0.73 |
Limites
- Les chartes « non vues » sont des formulations et des combinaisons de clauses absentes de l'entraînement, mais écrites dans le même style de gabarits : une charte rédigée librement par un streamer sera plus difficile.
- Seul, le modèle laisse passer environ 14 % des cas à protéger sur les chartes non vues : dans IRL Guard, il est utilisé en mode combiné avec des règles déterministes (la décision la plus protectrice l'emporte).
- Le modèle décide à partir d'un
stateJSON (texte lu par OCR, objet détecté, charte, contexte) : il ne voit pas l'image.