claude-oss-9b-juriste-gguf

Développé et entraîné par Treestan325

Version quantifiée en GGUF multi-formats de claude-oss-9b-juriste, un modèle de 9 milliards de paramètres spécialisé en droit des contrats français. Ce modèle est un ajustement fin (fine-tuning) du modèle de base squ11z1/claude-oss (9B), configuré pour fonctionner de manière fluide sur du matériel grand public grâce à llama.cpp, Ollama, LM Studio ou KoboldCpp.

Le modèle a été entraîné avec le jeu de données dataset_sft.jsonl en utilisant la plateforme Unsloth pour effectuer un entraînement en 16-bit natif (bfloat16) sur GPU NVIDIA H100 (80 Go) ou A100 (40 Go). Il adopte le style de réflexion signature de Claude : analytique, prévenant, courtois et structure ses pensées de façon limpide et élégante, tout en agissant en tant que juriste expert du droit.

---

⚡ Caractéristiques techniques de l'entraînement

Le modèle a été entraîné selon un protocole d'élite conçu pour préserver l'intégrité cognitive du modèle d'origine :

• Précision native 16-bit (bfloat16) : Pas de quantification QLoRA 4-bit à l'entraînement. Le modèle conserve 100 % de ses poids d'origine et de ses capacités pour une précision de raisonnement juridique maximale.
• LoRA étendu (Full-target) : Application de LoRA sur l'intégralité des modules de projection (q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj) pour intégrer profondément les nuances du droit dans la structure synaptique.
• Ajustement VRAM pour vocabulaire géant : Claude-OSS possède un vocabulaire étendu de 248 320 tokens, ce qui engendre d'immenses matrices de logits en 16-bit. L'entraînement a été calibré avec une longueur de contexte maximale (max_seq_length) de 512 tokens (les blocs de texte faisant en moyenne 450 tokens) pour garantir une stabilité totale de la VRAM.
• Hyperparamètres de haute rigueur : Taux d'apprentissage réduit à 2e-5 avec un ordonnanceur (lr_scheduler_type) cosine pour préserver la structure cognitive et le raisonnement du modèle.

---

📁 Fichiers disponibles (Quantifications GGUF)

Nous proposons 5 formats de quantification GGUF différents téléversés via Unsloth pour s'adapter à toutes les configurations de mémoire VRAM/RAM :

---

🚀 Guide de démarrage rapide

Option 1 : Llama.cpp (llama-cli)

Vous pouvez lancer le modèle en ligne de commande locale avec llama.cpp en utilisant la commande suivante. Note : Il est fortement recommandé d'utiliser une pénalité de répétition de 1.15 pour éviter toute boucle de répétition dans les raisonnements longs.

llama-cli \
  -m claude-oss-9b-juriste-q4_k_m.gguf \
  -p "<|im_start|>system\nTu es Claude-OSS-Juriste. Tu adoptes le style de réflexion signature de Claude : analytique, prévenant, courtois et tu structures tes pensées de façon limpide et élégante. Tu es un juriste expert spécialisé en droit français.<|im_end|>\n<|im_start|>user\nBonjour. Quelle est la différence fondamentale entre l'exigence d'écrit ad probationem et ad validitatem en droit des contrats électroniques ?<|im_end|>\n<|im_start|>assistant\n" \
  -n 512 \
  --temp 0.6 --top-p 0.95 --repeat-penalty 1.15 \
  -c 512

Option 2 : Ollama

1. Créez un fichier nommé Modelfile :

FROM ./claude-oss-9b-juriste-q4_k_m.gguf

# Paramètres recommandés basés sur l'entraînement
PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER repeat_penalty 1.15
PARAMETER num_ctx 512

# Invite système par défaut
SYSTEM "Tu es Claude-OSS-Juriste. Tu adoptes le style de réflexion signature de Claude : analytique, prévenant, courtois et tu structures tes pensées de façon limpide et élégante. Tu es un juriste expert spécialisé en droit français."

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}<|im_end|>"""

2. Créez le modèle dans Ollama :

ollama create claude-oss-juriste -f Modelfile

3. Exécutez le modèle :

ollama run claude-oss-juriste

Option 3 : LM Studio / Jan / KoboldCpp

Glissez-déposez le fichier .gguf de votre choix dans le dossier de modèles de votre logiciel. Le modèle utilise la structure d'invite standard ChatML (ou Qwen). Sélectionnez le modèle d'invite (Chat Template) ChatML ou laissez la détection automatique lire les métadonnées intégrées par llama.cpp.

---

🛠️ Recommandations d'échantillonnage (Sampling)

Pour obtenir des réponses juridiques fluides et de haute qualité :

[!WARNING] Évitez le décodage glouton (greedy decoding) ou les températures trop basses (T ≤ 0.3), car elles peuvent induire des boucles de répétition infinies sur ce modèle.

---

🎯 Capacités et domaines d'expertise

• Style Signature "Claude" : Le modèle adopte une posture polie, humble, structurée et hautement analytique dans ses explications juridiques.
• Raisonnement pas-à-pas : Capacité à décomposer des situations de fait complexes pour en extraire des qualifications juridiques rigoureuses.

---

⚠️ Limites et Avertissements

• Contexte limité à 512 tokens : Le modèle a été entraîné avec un contexte maximal de 512 tokens. L'utilisation de contextes beaucoup plus larges à l'inférence peut réduire la qualité de la génération.
• Information non juridique officielle : Ce modèle est partagé à des fins de recherche et d'expérimentation. Il ne remplace en aucun cas les conseils d'un avocat ou d'un professionnel du droit.
• Pénalité de répétition indispensable : Veillez à appliquer repetition_penalty = 1.15 lors de l'inférence sous peine d'avoir des comportements répétitifs.

---

📜 Licence et Remerciements

• Licence : Apache-2.0 (héritée de la base Claude-OSS 9B).
• Modèle de base : squ11z1/claude-oss.
• Outils d'entraînement : Développé à l'aide de la bibliothèque Unsloth.
• Quantification : Réalisée via la suite llama.cpp et déclinée en 5 formats avec Unsloth.