Qwen3.5-2B — aide au tri de l'IOA (POC CHSA)
Qwen3.5-2B-Base affiné par SFT (LoRA) sur un jeu bilingue (triage FRENCH + questions-réponses médicales), puis aligné par DPO (paires de triage tirées des erreurs du modèle + UltraMedical-Preference). Poids fusionnés en 16 bits, servis avec vLLM.
⚠️ Projet de formation, pas un dispositif médical. Le modèle n'a pas été validé cliniquement ; il ne doit pas trier de vrais patients. Dans l'API du projet, il est encadré par des garde-fous déterministes (seuils des constantes FRENCH, signes de gravité des motifs de tri 1–2 repérés dans le texte, plancher du questionnaire) qui ne peuvent que relever la priorité ; une sortie invalide devient « urgence maximale » avec évaluation humaine. La décision de tri reste à l'IOA.
Usage prévu
Entrée : la présentation d'un patient à l'accueil (texte libre en français), avec le prompt système du
projet (configs/prompts/systeme_triage_v1.md) et le gabarit ChatML. Sortie : JSON
{"signes_alerte", "justification", "priorite", "service"}.
Entraînement
| SFT | DPO | |
|---|---|---|
| Données | 4 961 exemples : 1 353 triage + 3 608 questions-réponses | 1 737 paires : 737 triage (sans « service ») + 1 000 UltraMedical |
| LoRA | r 16 · α 32 · 7 modules | nouvel adaptateur sur le SFT fusionné (référence = SFT) |
| Optimisation | lr 2e-4 cosinus, 2 époques, lot 8, seed 3407 | β 0,5, lr 5e-5, 2 époques, lot 8 (436 pas) |
| Matériel | AMD RX 9070 XT (ROCm), Unsloth, TRL | idem |
Hyperparamètres complets, courbes de loss et seeds : outputs/*/<run>/run.json et le journal du projet.
Évaluation
Le modèle publié est dpo-04e, choisi sur la validation (101 vignettes) par une règle fixée avant les résultats ; le test (299 vignettes) n'a été évalué qu'une fois, après ce choix. IC 95 % par bootstrap.
Test (n = 299)
| Base | SFT (sft-04) | SFT + DPO (ce modèle) | Ce modèle + garde-fous | |
|---|---|---|---|---|
| Exactitude de la priorité | 48 % | 78 % | 78 % [73–83] | 79 % [74–84] |
| κ pondéré | 0,41 | 0,80 | 0,81 | 0,81 |
| Sous-triage | 10 % | 8 % | 12 % [8–15] | 10 % [7–14] |
| Sur-triage | 42 % | 14 % | 10 % | 11 % |
| Rappel de l'urgence maximale | 89 % | 88 % | 80 % | 84 % |
| Précision de l'urgence maximale | 50 % | 75 % | 80 % | 80 % |
| Service d'orientation | 3 % | 89 % | 87 % | 87 % |
| Signes d'alerte recopiés du texte | 0 % | 97 % | 97 % | 97 % |
- Sans quasi-doublons (261 vignettes : 29 cas proches d'un texte d'entraînement écartés, doublons internes comptés une fois) : ce modèle + garde-fous → exactitude 78 %, sous-triage 11 % [8–15], sur-triage 11 %, rappel max 83 % ; sft-04 + garde-fous → 77 %, 8 %, 15 %, 89 %. Écarts d'au plus 1 point : la fuite pèse peu.
- Critère go/no-go du projet (sous-triage < 2 % sur le test) : non atteint, par aucun modèle.
- Effet du DPO : moins de sur-triage et une meilleure précision de l'urgence maximale, mais plus de sous-triage que le SFT seul (12 % contre 8 % ; avec garde-fous, 10 % contre 7 %, IC qui se recouvrent). Sur la validation, les deux étaient à 9 %.
- QCM de non-régression (621 questions, FR) : base 1 %, SFT 54,9 %, ce modèle 54,3 % [50–58].
- Préférences UltraMedical (496 paires de test, dont 107 annotées par des humains) : précision des récompenses implicites 79 % (humaines 79 %).
Limites, risques et biais
- Étiquettes produites par des LLM selon la grille FRENCH, sans validation par des soignants ; une partie des « erreurs » mesurées sont des cas limites ou des étiquettes discutables.
- Hallucinations : la justification peut citer un seuil inexact ; les signes d'alerte sont contrôlés (recopiés mot pour mot) mais pas la justification.
- Sous-triage : environ 1 cas sur 10 sur le test, dont des urgences maximales classées « modérées » (troubles psychiatriques avec délire, hématémèse, brûlure oculaire chimique) ; c'est la raison d'être des garde-fous et de la décision finale par l'IOA.
- Biais de distribution : vignettes d'examens de médecine, ~30 % d'urgences maximales.
- Langue : triage en français uniquement.