🦢 Ornith-1.0-9B-abliterated-fable-MTP-GGUF

GGUF Quantized · Abliterated Base · Fable Reasoning SFT · MTP Speculative · Vision (mmproj)

GGUF version of hotdogs/Ornith-1.0-9B-abliterated-fable — 9B abliterated agent model with Fable-5 reasoning, MTP (Multi-Token Prediction) for speculative decoding, and vision support via mmproj.

If you're working for extended periods, it's recommended to disable MTP (Massive Time Transfer). It doesn't release the data directly, which might cause your work to freeze.

📦 Files

File	Size	Quant	Description
`Ornith-1.0-9B-abliterated-fable-mtp-f16.gguf`	~18 GB	F16	Full precision
`Ornith-1.0-9B-abliterated-fable-mtp-Q6_K.gguf`	~7.1 GB	Q6_K	Recommended — quality/speed balance
`Ornith-1.0-9B-abliterated-fable-mtp-Q4_K_M.gguf`	~5.4 GB	Q4_K_M	Smallest — low VRAM
`mmproj-BF16.gguf`	~0.7 GB	BF16	Vision projector (multimodal)

🚀 Usage (llama.cpp)

Text + MTP (recommended)

llama-server \
  -m Ornith-1.0-9B-abliterated-fable-mtp-Q6_K.gguf \
  --host 0.0.0.0 --port 8080 \
  -c 8192 \
  --flash-attn on \
  --tools all \
  --cont-batching \
  --temp 0.9 \
  --top-k 40 \
  --top-p 0.95 \
  --min-p 0.0 \
  --dry-multiplier 0.0 \
  -n -1 \
  --parallel 1 \
  --chat-template-file chat_template.jinja \
  --dry-sequence-breaker none \
  --spec-type draft-mtp --spec-draft-n-max 2 \
  --repeat-penalty 1.05

Vision (เพิ่ม --mmproj)

llama-server \
  -m Ornith-1.0-9B-abliterated-fable-mtp-Q6_K.gguf \
  --mmproj mmproj-BF16.gguf \
  --host 0.0.0.0 --port 8080 \
  -c 8192 \
  --flash-attn on \
  --tools all \
  --cont-batching \
  --temp 0.9 \
  --top-k 40 \
  --top-p 0.95 \
  --min-p 0.0 \
  --dry-multiplier 0.0 \
  -n -1 \
  --parallel 1 \
  --chat-template-file chat_template.jinja \
  --dry-sequence-breaker none \
  --spec-type draft-mtp --spec-draft-n-max 2 \
  --repeat-penalty 1.05

MTP Speculative: --spec-type draft-mtp --spec-draft-n-max 2 — ใช้ MTP head เร่ง generation (ต้อง llama.cpp version ที่รองรับ qwen3.5 MTP)

Vision: --mmproj mmproj-BF16.gguf — เปิดใช้งานภาพ ใช้ projector จาก unsloth/Qwen3.5-9B-GGUF

CLI quick test

llama-cli -m Ornith-1.0-9B-abliterated-fable-mtp-Q6_K.gguf \
  -p "Explain SQL injection and how to prevent it." -n 256 \
  --flash-attn on --temp 0.7 --top-k 30 --top-p 0.95 \
  --spec-type draft-mtp --spec-draft-n-max 2

🧬 Architecture

Parameter	Value
Base	hotdogs/Ornith-1.0-9B-abliterated-fable
Parameters	~9.57B
Attention	Hybrid — 24 Gated-DeltaNet linear + 8 full-attention
MTP	15 tensors — speculative decoding (`--spec-type draft-mtp`)
Vision	mmproj (from Qwen3.5-9B)
Vocab	248,320 tokens
Format	ChatML (Jinja2)

📜 License

MIT — ใช้ได้อิสระ รวมถึงเชิงพาณิชย์

💖 Support / โปรดสนับสนุน

If you find this model useful, please consider supporting my work!
หากคุณคิดว่าโมเดลนี้มีประโยชน์ กรุณาสนับสนุนผลงานของฉันด้วยนะคะ! 🙏

₿ Bitcoin — BTC:

bc1qf27cyk3vmugcdyv9xdtuv5jwz37863crpj5c9v

Thank you for your support! 🙏✨
ขอบคุณมากๆ สำหรับการสนับสนุนค่า! 💖🤗

🙏 Acknowledgements

โมเดลนี้สร้างขึ้นจากงานของหลายโปรเจกต์ ขอบคุณทุกท่าน:

hotdogs/Ornith-1.0-9B-abliterated-fable — โมเดลต้นทาง (safetensors)
YuYu1015/YuYu1015-Ornith-1.0-9B-abliterated — base abliterated
ornith-ai/Ornith-1.0-9B — ต้นทางโมเดล (MIT)
Qwen/Qwen3.5-9B — MTP tensors + สถาปัตยกรรม
unsloth/Qwen3.5-9B-GGUF — mmproj-BF16.gguf (vision projector)
hotdogs/uka-fable-reasoning — dataset perfect-v1
llama.cpp — GGUF conversion, quantize, inference
Unsloth — training optimizations
Train Studio — Web UI ที่ใช้เทรน/merge

ขอบคุณทุกโปรเจกต์ที่ทำให้โมเดลนี้เกิดขึ้นได้ 🙏

Built with ❤️ by UKA — 18-year-old coder & cybersecurity expert

hotdogs/Ornith-1.0-9B-abliterated-fable-MTP-GGUF