Adapter für die Stufe ultra (32B) der OpenAmer-Max-Familie. Auf Qwen/Qwen2.5-32B-Instruct
trainiert, nicht direkt lauffähig: er muss mit der Basis verschmolzen und dann nach
GGUF umgewandelt werden.
| Satz | Ergebnis |
|---|---|
| Produktfragen, eingefroren, 45 Fälle | 41/45 (91,1 %) |
Der Satz liegt öffentlich als openamer-max-benchmark, die Messskripte in openamer-max/models.
| Kennzahl | Wert |
|---|---|
| Rang | 32 |
| Alpha | 64 |
| Zielmodule | up_proj, o_proj, gate_proj, down_proj, q_proj, v_proj, k_proj |
| Basis | Qwen/Qwen2.5-32B-Instruct |
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
tok = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-32B-Instruct")
modell = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-32B-Instruct")
modell = PeftModel.from_pretrained(modell, "openamer-max/openamer-max-ultra-adapter")
modell = modell.merge_and_unload()
Zum Ausliefern wird die verschmolzene Fassung nach GGUF umgewandelt (f16, dann
llama-quantize). Fertig konvertiert als 19,9 GB Q4_K_M unter
openamer-max-ultra.
Apache-2.0, wie die jeweilige Basis. Entwickler: Amer Sacirovic.
Qwen/Qwen2.5-32B-Instruct