Josev-9B-GGUF

GGUF-Dateien von mayflowergmbh/Josev-9B für llama.cpp und Ollama. Josev ist ein Decider, der Deutsch gelernt hat, trainiert auf decisions-de (Version 2, alle 180.327 Trainingszeilen, 1 Epoche). Die Option-Keys sind Englisch geblieben (card_arrival), die Beschreibungen sind Deutsch.

Josev spricht die System-One-/Jev-API /v1/systemone. Man gibt einen state und typisierte Fragen (noul, choice, score) hinein und bekommt für jede Option eine Wahrscheinlichkeit zurück, in einem einzigen Prefill mit "output_tokens": 0. Mehr dazu steht auf der Model-Card des PyTorch-Modells.

Exportiert mit Unsloths Decision-GGUF-Exporter und dem Clef-Konverter von llama.cpp. Die Temperaturen pro Fragetyp (choice 1,15, score 0,91, noul 0,78) stecken in den GGUF-Metadaten, llama.cpp liefert also kalibrierte Wahrscheinlichkeiten direkt ab Werk.

Veröffentlicht von Mayflower GmbH.

Server starten

Braucht llama.cpp b11443 oder neuer.

llama-server -m Josev-9B-Q8_0.gguf --mmproj mmproj-Josev-9B-Q8_0.gguf -ngl 99 \
  -np 2 -c 32768 -b 16384 -ub 16384 --port 8080

Wichtig: Josev verarbeitet den ganzen Request in einem Batch. -b/-ub müssen deshalb mindestens so groß sein wie der längste Request in Tokens. Mit dem Default 512 endet jeder längere Request mit HTTP 500 („input is too large to process“). -c teilen sich die -np Slots.

Beispiel

curl -s http://127.0.0.1:8080/v1/systemone -H 'Content-Type: application/json' -d '{
  "model": "josev-9b",
  "state": {"rechnung": {"betrag": 1250.0, "status": "seit 30 Tagen überfällig"}},
  "questions": {
    "status": {"type": "choice", "instructions": "Welchen Status hat die Rechnung?",
               "criteria": {"paid": "bezahlt", "overdue": "überfällig", "draft": "Entwurf"}},
    "gross":  {"type": "noul", "instructions": "Ist der Betrag höher als 1000 EUR?"},
    "dring":  {"type": "score", "instructions": "Wie dringend ist eine Mahnung?",
               "criteria": ["gar nicht", "etwas", "sehr"]}
  }}'

Messwerte

Noch nicht vermessen. Die Werte für Q8_0 auf der decisions-de-Validation werden hier nachgetragen.

Lizenz

Apache-2.0, wie das Basismodell Qwen3.5-9B. Die Trainingsdaten behalten die Lizenzen ihrer Quellen, siehe Dataset-Card.