TextSense — DistilCamemBERT sentiment 3 classes (distilcamembert-3c-starinit-s42)

Classifieur de sentiment pour le français en trois classes : negative, neutral, positive. Modèle principal de l'application TextSense.

Détails du modèle

Usage prévu

• Prévu : estimer l'attitude exprimée dans des textes courts à moyens en français (avis, messages, commentaires), avec une vraie classe « neutre » pour les textes factuels, questions et consignes.
• Hors périmètre : décisions individuelles à fort enjeu (recrutement, modération automatique sans contrôle humain, santé), détection d'émotions fines, autres langues, textes longs (> 512 tokens tronqués).
• Usage recommandé : traiter les prédictions sous le seuil calibré (low_confidence) comme indicatives et prévoir une relecture humaine.

from transformers import pipeline

classifier = pipeline("text-classification", model="AhamedT04/textsense-distilcamembert-sentiment-3c")
classifier("La réunion a lieu jeudi à 14 heures.")
# [{'label': 'neutral', 'score': 0.91}]

Données d'entraînement

Partie française de cardiffnlp/tweet_sentiment_multilingual (révision 14b13ed) : tweets annotés en 3 classes équilibrées.

Procédure d'entraînement

Configuration complète : configs/finetune_distilcamembert_3c.yaml. Reproduction : make finetune.

La configuration (modèle de départ, initialisation de la tête, hyperparamètres) a été fixée avant de regarder les jeux de test ; les variantes (ablations, autres graines) servent à interpréter le résultat, pas à choisir le meilleur score sur le test.

Évaluation

Deux jeux de test, jamais utilisés pendant l'entraînement ni pour un réglage :

• tweets_fr_test — 870 tweets, même domaine que l'entraînement ;
• textsense_eval_v1 — 360 phrases courantes (avis, informations, questions, consignes) avec cas difficiles annotés, autre domaine que l'entraînement.

Macro-F1 avec intervalle de confiance à 95 % (bootstrap, 1 000 tirages) :

Par classe (précision / rappel / F1) :

Exactitude par phénomène sur textsense_eval_v1 (n = nombre d'exemples ; petits effectifs → tendances) :

Stabilité : même configuration avec trois graines (42, 13, 7) → macro-F1 0,883 ± 0,003 sur textsense_eval_v1 et 0,724 ± 0,004 sur tweets_fr_test.

Version ONNX int8 (69 Mo, ~4× plus rapide sur CPU) : macro-F1 0,882 sur textsense_eval_v1 et 0,705 sur tweets_fr_test.

Ablations et analyse détaillée : docs/EXPERIMENTS.md et reports/RESULTS.md.

Calibration

Seuil low_confidence choisi sur la validation : le plus petit seuil tel que les prédictions au-dessus atteignent 85 % d'exactitude → 0,81 (73,8 % des prédictions de validation jugées fiables). Sur les jeux de test :

Sur les tweets de test, le modèle est un peu trop confiant (ECE 0,146) : le seuil n'y atteint pas les 85 % visés.

Limites et biais

• Ironie : très mal gérée (3 phrases ironiques sur 15 correctement classées) ; une phrase ironique aux mots positifs est en général prédite positive avec une confiance élevée.
• Lexique émotionnel : un texte qui décrit une émotion sans jugement (« un film sur un homme triste ») est souvent pris pour une opinion.
• Domaine : entraîné sur des tweets d'environnement et de politique (2010-2020 environ). Les performances sur d'autres domaines (support client, santé, finance) doivent être mesurées avant usage.
• Jeu textsense_eval_v1 : rédigé pour le projet avec assistance IA, distribution artificielle (classes équilibrées, cas difficiles sur-représentés) ; il ne remplace pas une évaluation sur des données réelles.
• Biais hérités : le modèle de départ et les tweets peuvent véhiculer des biais (sujets, registres, groupes sociaux) qui n'ont pas été audités.

Références

• Delestre, C. et Amar, A. (2022). DistilCamemBERT : une distillation du modèle français CamemBERT. CAp 2022.
• Barbieri, F., Espinosa Anke, L. et Camacho-Collados, J. (2022). XLM-T: Multilingual Language Models in Twitter for Sentiment Analysis and Beyond. LREC 2022.
• Mitchell, M. et al. (2019). Model Cards for Model Reporting. FAccT 2019.