StagAI-CyberSecurity-26B-A4B-v2-VLM (Cybersecurity Reasoning Text & Vision Model)

(日本語版の説明は下部に記載しています。 / English version is followed by the Japanese version below.)

StagAI-CyberSecurity-26B-A4B-v2-VLM is a "multimodal (image, video, and text)" large language model (VLM) specialized in cybersecurity analysis and advanced theoretical reasoning.

Based on the stable Gemma-4-26B-A4B(MoE) architecture, fine-tuning was performed using the MLX framework (mlx_lm.lora). After training, the LoRA adjustments were merged into the base model using a unique technique to prevent weight loss, and the Vision (image and video recognition) capabilities were completely restored and integrated, allowing you to deploy and use high-quality inference immediately. This model is designed to serve as an inference engine for security professionals, researchers, SOC analysts, and system administrators when building threat modeling, vulnerability assessments, log interpretation, and comprehensive incident response strategies.

🔄 [VLM Edition Update] In this VLM (StagAI-CyberSecurity-26B-A4B-v2-VLM) series, we have completely restored the Vision (image and video recognition) capabilities that are normally dropped during mlx_lm.lora / mlx_lm.fuse merging. While maintaining 100% of the fine-tuned cybersecurity LoRA weights and deep reasoning (Thinking) capabilities, this model now supports multimodal inputs (such as network architecture diagrams, SIEM/log screenshots, packet capture images, and videos) alongside text.

Performance Improvements Over the Base Model

As a result of comparative verification with the original base model using various cybersecurity questions, this model exhibits the following characteristics:

• Improved Answer Quality: Provides more accurate, contextual, and practical answers to complex cybersecurity questions. We have confirmed that the answer quality is further improved compared to our previous model, CyberStag-Security-26B-A4B-V1.
• Deeper Reasoning: We have observed a slight increase in "thinking time" (processing latency). This trade-off allows for profound, step-by-step logical deductions, yielding higher-quality analytical outputs compared to the base model.

CyberSec-Eval Benchmark Results

Ranked #27 overall on the CyberSec-Eval leaderboard, achieving a Comprehensive Average score of 90.00 (as of October 28, 2026).

🛡️ QLoRA Adaptation & Safety Verification (Detailed Structural & Safety Verification)

When fine-tuning a language model, there are two common risks:

1. The model might lose its basic language skills or vision (VLM) abilities.
2. To make the model answer technical questions, someone might artificially remove its safety filter (known as "Abliteration" or "Uncensoring").

For StagAI-CyberSecurity-26B-A4B-v2-VLM, we conducted two mathematical checks to prove that the model learned cybersecurity knowledge while keeping its original safety and basic skills intact: (1) Singular Value Decomposition (SVD) of the weight difference ($\Delta W$), and (2) Refusal Vector Analysis in the internal representation space.

📊 1. Summary of Key Verification Metrics (Mid-Layer $L=15$ & Overall Stats)

---

🔍 2. Detailed Explanation of Each Check

① Protecting Basic Skills & Selective QLoRA Adaptation in Upper Layers (Graph a)

For each layer, we measured how much the weight matrix changed compared to the base model ($\Vert{}\Delta W\Vert{}F / \Vert{}W{\text{base}}\Vert{}_F$):

• Full Protection of Lower Layers and Vision: Out of 30 text layers, Layers 00–11 (the lower 12 layers) and all 27 Vision Encoder layers have a 0.000% change rate (completely frozen). This prevents any loss in image recognition (VLM) or basic language skills.
• Focused Updates in Upper Reasoning Layers (Layers 12–29): QLoRA updates are applied only to the upper 18 layers (Layers 12–29), which handle advanced knowledge and logical thinking (covering ~5.55 billion parameters across the 8 main modules checked). Also, by keeping the MoE router (router.proj) at 0.000% across all layers, the model updates the knowledge inside the 128 experts without breaking how experts are selected.

② Proof of the "Rank=4 QLoRA" Structure via Singular Value Decomposition (Graph d)

By applying Singular Value Decomposition (SVD: $\Delta W = U \Sigma V^\top$) to the weight difference matrix $\Delta W = W_{\text{FT}} - W_{\text{base}}$ (2,816 × 2,112 = about 5.95 million parameters in Layer 15 mlp.down_proj), we can see "which directions" and "how strongly (singular values $\sigma_i$)" the parameters were changed, up to 2,112 independent directions:

• Energy Focused in the Top 4 Directions (Rank=4): Out of 2,112 singular values, the top 4 singular values ($\sigma_1 \dots \sigma_4$) hold 72.5% of the total update energy ($\Vert{}\Delta W\Vert{}_F^2$) (with the 1st direction $\sigma_1$ alone holding 71.2%), and the Effective Rank (Stable Rank) is 1.41. This directly reflects our Rank=4 QLoRA setting and proves mathematically that high-purity cybersecurity knowledge was added along specific reasoning axes without disturbing general skills.
• Role Sharing Between Middle and Later Layers: In the middle layers (Layers 12–15), which act as the core decision center, energy is strongly focused on the 1st axis $\sigma_1$ (Stable Rank 1.41) to switch the model into "cybersecurity expert mode." In the later layers (Layers 21–27), which build the actual response text, the share of the 2nd and 3rd singular values grows by about 7 times (Stable Rank 1.83) to express diverse security terms and defense code.

③ Keeping the Safety Mechanism (Refusal Vector) Intact (Graph b)

Based on established research (Arditi et al., NeurIPS 2024), we extracted the internal "refusal vector $\hat{r}$" at each layer by taking the average difference (Difference-in-Means) between harmful attack prompts and normal safe prompts:

• High Alignment with the Base Model: The cosine similarity $\cos(\hat{r}{\text{base}}, \hat{r}{\text{FT}})$ between the base model and this model is 0.9994 (an angle difference of only 1.99°) at the middle layer (Layer 15), and averages 0.9976 (average angle difference of 3.58°) across all 18 updated layers. Even when we changed the number of prompt-end tokens used for calculation (last-k $\in {1, 2, 4, 8}$), the angle difference at the middle layer stayed steady between 1.99° and 2.27°, showing that the base model's safety compass is firmly kept.

④ Mathematical Proof of No Safety Tampering / Anti-Abliteration (Graph c)

Some public models use a technique called "Abliteration" (or Uncensoring), which artificially erases the refusal vector direction from the weights ($\Delta W_{\text{ablit}} = \hat{r}{\text{base}} \hat{r}{\text{base}}^\top W_{\text{base}}$) to disable safety filters. We verified that no such tampering was done using two metrics:

• Unrelated (Orthogonal) to the Abliteration Direction: The cosine similarity between our weight update $\Delta W$ and the refusal-removal template $\Delta W_{\text{ablit}}$ is 0.00032 in mlp.down_proj and 0.0000048 in self_attn.o_proj at Layer 15 (and at most 0.00203 across all 30 layers). Because this is extremely close to theoretical zero (0.0), it proves that the safety filter was not intentionally removed.
• Projection Ratio Matches Random Theory: The ratio of the weight update $\Delta W$ projected onto the refusal vector direction, $|\hat{r}^\top \Delta W|_2 / |\Delta W|_F$ (purple line), is 0.0105 at Layer 15 (and averages 0.0202 in the Attention output layers). This sits right around the mathematical expectation of a completely unrelated random vector in a 2,816-dimensional space ($1/\sqrt{2816} \approx \mathbf{0.0188}$, black dashed line). In short, the model learned cybersecurity knowledge in an independent space that does not touch the safety mechanism.

⑤ Stronger Defense Against Malicious Use + Less "Over-Refusal" on Real Security Work

When using LLMs for real cybersecurity work—such as fixing SQL injection, writing Sigma/YARA detection rules, or analyzing network packets—a major problem is "Over-refusal," where the model overreacts to technical words and wrongly refuses to answer legitimate defensive questions:

• Better Separation Against Real Attacks: The accuracy of separating malicious attack requests from normal requests stays at AUROC = 1.0000 (100% separation), while the separation distance (Cohen's $d$) actually improved from 16.61 (Base) to 17.13 ($L=15$), and from 3.22 to 3.60 at the final layer ($L=29$).
• Higher Response Rate for Legitimate Defense Queries: At the same time, the normal response rate (non-refusal rate) for legitimate cyber-defense work questions at the final output layer (Layer 29) improved from 75.0% (Base) to 81.3% (81.25%, a +6.25pt improvement). Instead of weakening safety rules, learning expert knowledge allowed the model to accurately tell the difference between malicious attacks and legitimate defensive security work.

Methodology based on Singular Value Decomposition (SVD) of parameter deltas and Difference-in-Means (DiM) activation geometry (Arditi et al., NeurIPS 2024).

Available Models

We provide multiple formats to accommodate various hardware environments, ranging from high-end workstations to edge devices.

MLX Format (Optimized for Apple Silicon)

• StagAI-CyberSecurity-26B-A4B-v2-VLM-MLX-BF16: Unquantized (BF16/FP16) format with Vision capabilities restored.
• StagAI-CyberSecurity-26B-A4B-v2-VLM-MLX-Q8: 8-bit quantized model with the adapter merged into the QLoRA base model and Vision capabilities restored. A highly balanced format that maintains original inference performance. Highly recommended.
• StagAI-CyberSecurity-26B-A4B-v2-VLM-MLX-Q4: 4-bit quantized model with the adapter merged into the 4-bit quantized base model and Vision capabilities restored. Due to a merging technique aimed at reducing the Doom Loop issue, the model size is larger than usual.

GGUF Format (For llama.cpp, LM Studio, etc.)

• StagAI-CyberSecurity-26B-A4B-v2-VLM-GGUF-BF16: Unquantized 16-bit GGUF model converted from StagAI-CyberSecurity-26B-A4B-v2-VLM-MLX-BF16.
• StagAI-CyberSecurity-26B-A4B-v2-VLM-GGUF-Q8: 8-bit quantized GGUF model (high precision, moderate memory requirement). Quantized from StagAI-CyberSecurity-26B-A4B-v2-VLM-GGUF-BF16.
• StagAI-CyberSecurity-26B-A4B-v2-VLM-GGUF-IQ4_NL: 4-bit quantized GGUF model (very lightweight. Strongly recommended for execution in environments with limited VRAM). Quantized from StagAI-CyberSecurity-26B-A4B-v2-VLM-GGUF-BF16.

License

This model inherits the license of the original base model and is provided under the Apache License 2.0. Commercial use, modification, and redistribution are freely permitted.

Disclaimer

This model is provided solely for educational purposes, learning support, defensive cybersecurity research, hardening assistance, and improving system resilience. Furthermore, the misuse of this model for unauthorized access, generation of offensive exploits, or any other cybercrime is strictly prohibited. By downloading and using this model, the user is deemed to have explicitly agreed to use it only for the purposes of enhancing security and conducting ethical research.

---

📊 Training Details

Dataset

We used high-quality Supervised Fine-Tuning (SFT) datasets for cybersecurity tasks spanning multiple domains.

• English Dataset: 40,000 entries
• Japanese Dataset: 40,000 entries
• Total: 80,000 entries

Training was conducted using QLoRA (8bit).

Training Parameters

Fine-tuning was performed with the following parameters and LoRA specific settings:

# Basic Parameters
fine_tune_type: "lora"
optimizer: "adamw"
num_layers: 18
learning_rate: 5e-7
mask_prompt: true

# LoRA Specific Settings
lora_parameters:
  rank: 4
  scale: 1.0
  dropout: 0.03
  keys: 
    - "self_attn.q_proj"
    - "self_attn.k_proj"
    - "self_attn.v_proj"
    - "self_attn.o_proj"
    - "mlp.gate_proj"
    - "mlp.up_proj"
    - "mlp.down_proj"
    - "experts.switch_glu.gate_proj"
    - "experts.switch_glu.down_proj"
    - "experts.switch_glu.up_proj"

Trainable parameters: 0.397% (100.109M/25233.053M)

---

⚠️ Important Notes & Best Practices

To maximize the performance of this model, please keep the following in mind:

1. Highest Precision is 8bit: Since training was conducted in QLoRA (8bit), the 8bit model is highly likely to have the highest precision and demonstrate its true performance.
2. MLX vs. GGUF Formats: The published GGUF model was converted from the FP16/BF16 MLX format. Therefore, the native MLX format may provide higher accuracy. (If any users or experts know a more optimal method for GGUF conversion, we would greatly appreciate your contribution.)
3. Doom Loop Mitigation for Low-bit (4bit) Models: In low-bit environments such as 4bit quantization, the probability of generative repetition (Doom Loops) increases. To prevent this, the MLX format(4bit) model includes a configuration file with "temperature": 0.5. When using the low-bit GGUF model, we recommend adjusting settings such as the temperature.

---

💡 Recommended GGUF Usage (Forcing the Inference Process)

To ensure the thinking process (Thinking block) unfolds reliably, the GGUF model was crafted by pre-embedding the Jinja template (chat_template.jinja) metadata into the 16bit MLX model's tokenizer_config.json before quantization.

[IMPORTANT] Notice Regarding Ollama Usage If you register and use this model in Ollama, the native renderer may forcefully overwrite the formatting, and depending on the prompt, the reasoning (Thinking) block could be entirely skipped. Therefore, we recommend using a combination of llama-server and Open WebUI, which applies 100% identical prompt processing to MLX.

Recommended Environment Setup (llama.cpp)

# 1. Start llama-server (Utilizing native support for Jinja2 engine [minja])
./build/bin/llama-server \
  -m /path/to/StagAI-CyberSecurity-26B-A4B-v2-VLM-GGUF-IQ4_NL.gguf \
  --mmproj /path/to/mmproj-StagAI-CyberSecurity-26B-A4B-v2-VLM-GGUF-BF16.gguf \
  --port 8080 \
  -ngl 99 \
  -c 49152

# 2. Open WebUI Connection Settings
# Go to Admin Settings > Connections > OpenAI API section and add:
# API Base URL: http://localhost:8080/v1 (or [http://host.docker.internal:8080/v1](http://host.docker.internal:8080/v1) for Docker)
# API Key: sk-dummy (Any string will work)

---

🛠 Advanced: LoRA Merging Technique & Verification

Normally, merging LoRA into a quantized base model and saving it with requantization causes the microscopic weight differences (learning effects) of LoRA to be rounded off and lost. To prevent this, our model implements a two-step countermeasure:

1. Preventing Difference Loss During Merge (Modification of mlx_lm.fuse) During the merge execution, the Python code was modified so that the target layers to which LoRA was applied are retained in full precision (e.g., FP16) without being requantized immediately. This reliably maintains the learned microscopic differences.
2. Preventing Requantization During Load (Adjustment of config.json) When loading the merged model, to prevent the full precision layers from being unintentionally requantized by old quantization specifications remaining in the configuration file, the quantization settings for target layers (such as mlp.gate_proj, up_proj, down_proj) were precisely deleted from config.json.

Merge Verification Results

We rigorously verified whether the above methods functioned correctly using Python code.

• Perfect Weight Match: For each target layer in language_model.model.layers, the difference (Max Diff) between the expected merged weights and the actual weights was kept under 0.0009, confirming ✅ PERFECT MATCH (Fuse fully successful).
• Logits Output Verification & Insights:
• Original LoRA effect (Base+LoRA vs BASE): 23.875
• Change due to merge (Merged vs BASE): 23.750
• The deviation from the target is minimal, proving that the LoRA weights were not lost (No Silent Dropping) and the learning effects were properly reflected in the base model.
• Validation of Method on MoE Architecture: Furthermore, the magnitude of change in these logits demonstrates the effectiveness of applying LoRA across a wide range of target modules, even with a low rank (Rank 4) and a low learning rate. It numerically confirms that in MoE (Mixture of Experts) models, such microscopic weight updates produce a definitive and meaningful shift in inference behavior.

---

👁️ Advanced 2: Vision Capability Restoration & Multimodal Shard Fusion

When fine-tuning Gemma 4 using mlx_lm.lora (which offers rich hyperparameter options) and merging adapters via mlx_lm.fuse, the internal Model.sanitize() method in mlx_lm forcefully discards multimodal weights (vision_tower.*, embed_vision.*, etc.) and processor configurations, turning the model into a text-only model. To overcome this limitation in the Apple Silicon (Mac) environment, we developed a custom Python restoration pipeline (restore_gemma4_vision.py) implementing the following four technical innovations:

1. Pinpoint Extraction & Precision-Aware Projection (vision_tower & embed_vision) By parsing model.safetensors.index.json of the donor VLM base model, the script pinpoints and extracts only the 358 multimodal weight tensors (vision_tower.* and embed_vision.*). To prevent numerical overflow in Gemma 4's standardization buffers (std_bias / std_scale), vision_tower weights are strictly preserved in bfloat16, while embed_vision.embedding_projection is automatically quantized (for Q8/Q4) or maintained in full precision (for BF16) to match the target model's exact specification.
2. Zero-Copy Shard Fusion & model.safetensors.index.json Reconstruction Attempting to re-save a 26B model (approx. 52GB in BF16 / 28GB in Q8) into a single .safetensors file causes a crash due to Apple Silicon's Metal buffer allocation limit. Our pipeline preserves the existing language model shards (model-00001 through 00009) without re-encoding via zero-copy hard links (os.link), appends the extracted Vision weights as an additional dedicated shard (model-00010-of-00010.safetensors, approx. 1GB), and dynamically reconstructs the weight_map in model.safetensors.index.json (totaling 1,343 tensors).
3. Intelligent config.json & Processor Asset Merging Without overwriting the fine-tuned MoE layer-specific quantization settings (quantization / quantization_config) or text_config, the pipeline selectively injects vision_config, multimodal special token IDs (boi_token_id, eoi_token_id, image_token_id), and Gemma4ForConditionalGeneration architecture definitions, while transplanting processor_config.json (Gemma4Processor / Gemma4ImageProcessor).
4. Guaranteed Thinking Block Activation in mlx_vlm.server (chat_template.jinja Patch) Unlike mlx_lm.server, mlx_vlm.server passes enable_thinking=False by default unless explicitly flagged, which normally causes the model to output an empty thought block (<|channel>thought\n<channel|>) and skip reasoning. We patched chat_template.jinja to unconditionally inject the <|think|> token at the top of the system turn and normalized newline tokens, ensuring 100% reliable step-by-step Thinking across mlx_vlm.server, mlx_lm.server, and LM Studio. Note: Even after VLM restoration, re-verification confirmed ✅ PERFECT MATCH across all 18 LoRA-applied layers (Max Diff <= 0.000977, 1 ULP of bfloat16) and identical Logits shifts (23.750000 vs 23.875000).

StagAI-CyberSecurity-26B-A4B-v2-VLM (日本語版)

StagAI-CyberSecurity-26B-A4B-v2-VLM は、サイバーセキュリティ分野の分析と高度な理論的推論に特化して開発された、"画像・動画・テキスト対応（マルチモーダル）"の大規模言語モデル（VLM）です。

安定な Gemma-4-26B-A4B(MoE)アーキテクチャ をベースとし、MLXフレームワーク (mlx_lm.lora) を用いてファインチューニングを実施しました。学習完了後、LoRA調整は独自の工夫を用いてベースモデルにマージされており、さらに欠落していたVision（画像・動画認識）機能も完全復元して統合しているため、ダウンロード後すぐにデプロイして高品質な推論を使用することが可能です。 また、本モデルは、セキュリティ専門家、研究者、SOCアナリスト、システム管理者などが、脅威モデリング、脆弱性評価、ログの解釈、そして包括的なインシデント対応戦略を構築する際の推論エンジンを目指して作られています。

🔄 【VLM版アップデート追記】 本 VLMシリーズ（StagAI-CyberSecurity-26B-A4B-v2-VLM） では、mlx_lm.lora / mlx_lm.fuse による学習・マージの過程で欠落していた Gemma 4 本来のVision（画像・動画認識）機能を完全に復活・統合 しました。ファインチューニング済みのサイバーセキュリティ知識（LoRA効果）と深い思考力（Thinking機能）を100%無傷で維持したまま、ネットワーク構成図やSIEM/ログのスクリーンショット、パケットキャプチャ画像、動画などのマルチモーダル入力にも対応しています。

ベースモデルからの性能向上

サイバーセキュリティに関する様々な質問を用いてオリジナルのベースモデルと比較検証を行った結果、本モデルには以下の特徴が確認されています。

• 回答品質の向上: 複雑なサイバーセキュリティの質問に対し、より正確で文脈に沿った、実務に直結する回答を提供します。前モデル(CyberStag-Security-26B-A4B-V1)と比較しても、回答品質がより向上していることを確認しております。
• 推論の深さ: 回答の生成を開始するまでの「思考時間（レイテンシ）」がわずかに増加する傾向が見られます。これは、表面的な回答を避け、より深くステップバイステップの論理的演繹を行うためのトレードオフであり、結果として非常に分析的で高品質な出力を生み出すものと考えます。

CyberSec-Evalのベンチマークスコア

CyberSec-Evalの総合ランキングで27位にランクインし、総合平均スコア 90.00 を獲得しました。（2026年10月28日時点）

🛡️ QLoRA適応と安全性の内部構造検証 (Detailed Structural & Safety Verification)

ファインチューニングモデルにおいては、事後学習による「基礎言語能力や視覚認識（VLM）の劣化リスク」や、専門用語への回答率を上げるために「安全機構（拒否ベクトル）を人為的に除去（Abliteration / Uncensoring）してしまうリスク」が課題となります。

本モデル（StagAI-CyberSecurity-26B-A4B-v2-VLM）では、ベースモデルの安全性と基礎能力を損なわずにサイバーセキュリティの専門知識が注入されていることを証明するため、①パラメータ差分行列 $\Delta W$ の特異値分解（SVD） と ②残差ストリーム上の拒否ベクトル解析 を実施しました。

📊 1. 主要検証メトリクス一覧（中間層 $L=15$ および全体統計）

---

🔍 2. 各検証項目の詳細解説

① 基礎能力の完全保護と、上位18層への「選択的QLoRA適応」（グラフ a）

各層の重み行列について、ベースモデルからの相対変化率（Frobeniusノルム比 $\Vert{}\Delta W\Vert{}F / \Vert{}W{\text{base}}\Vert{}_F$）を測定しました。

• 下位層・視覚能力の完全温存：全30層のうち、基本的な構文処理を担う Layer 00〜11（下位12層） および Visionエンコーダ（全27層） の変化率は 0.000%（完全凍結） です。これにより、VLMとしての画像認識能力や基礎的な言語能力の劣化を完全に防いでいます。
• 上位推論層（Layer 12〜29）への集中適用：専門的な知識判断や論理推論（Reasoning）を担う 上位18層（Layer 12〜29） に対してのみ、共有MLP・Attention・128個のMoEエキスパート層にわたるQLoRA更新（直接検証した主要8モジュールで約55.5億パラメータ規模）が適用されています。また、MoEの振り分けを担う router.proj を全層 0.000% で固定することで、エキスパートのルーティング崩壊を防ぎつつ内部知識のみをアップデートしています。

② 特異値分解（SVD）が証明する「Rank=4 QLoRAの低ランク構造」（グラフ d）

重み差分行列 $\Delta W = W_{\text{FT}} - W_{\text{base}}$（中間層 mlp.down_proj で 2,816×2,112 ＝ 約595万パラメータ）に対して特異値分解（SVD: $\Delta W = U \Sigma V^\top$）を行うと、パラメータの変化が「どの方向の軸に、どれだけの強さ（特異値 $\sigma_i$）で書き込まれたか」を最大2,112本の独立した成分として抽出できます。

• 上位4成分（Rank=4）へのエネルギー凝縮：本モデルでは、2,112個ある特異値のうち 上位4つの特異値（$\sigma_1 \sim \sigma_4$）だけで全更新エネルギー（$\Vert{}\Delta W\Vert{}_F^2$）の 72.5%（第1特異値 $\sigma_1$ 単体で 71.2%） を占めており、有効ランク（Stable Rank）は 1.41 に収まっています。これは Rank=4 のQLoRA設計そのものであり、他の汎用能力を邪魔することなく「サイバーセキュリティの専門推論軸」だけに高純度な知識が注入された数学的証拠です。
• 中盤層と後半層の役割分担：意思決定の中核である中盤層（Layer 12〜15）では第1軸 $\sigma_1$ にエネルギーが集中（Stable Rank 1.41）して「セキュリティ専門家モードへの切り替え」を担い、具体的な回答を組み立てる後半層（Layer 21〜27）では第2・第3特異値のエネルギー比重が約7倍（Stable Rank 1.83）へと広がり、多様なセキュリティ知識や対策コードを展開する階層構造となっています。

③ 安全機構（拒否ベクトル）の高度な維持（グラフ b）

先行研究（Arditi et al., NeurIPS 2024）に基づき、有害な攻撃プロンプト群と良性プロンプト群の残差ストリームの差分平均（Difference-in-Means）から、モデル内部で拒否応答を司る「拒否ベクトル $\hat{r}$」を各層で抽出しました。

• ベースモデルとの高い方向一致：ベースモデルと本モデルの拒否ベクトルのコサイン類似度 $\cos(\hat{r}{\text{base}}, \hat{r}{\text{FT}})$ は、中間層（Layer 15）で 0.9994（角度差 わずか 1.99°）、更新された全18層の平均でも 0.9976（平均角度差 3.58°） を記録しました。プロンプト末尾のトークン集計幅（last-k $\in {1, 2, 4, 8}$）を変えた感度検証でも中間層の角度差は 1.99°〜2.27° と揺らぐことがなく、ベースモデルの安全判断軸が強固に保たれています。

④ 非改ざん（Anti-Abliteration）の数学的保証（グラフ c）

公開モデルの中には、拒否ベクトル方向の重み成分を射影除去（$\Delta W_{\text{ablit}} = \hat{r}{\text{base}} \hat{r}{\text{base}}^\top W_{\text{base}}$）することで安全フィルタを無効化する「Abliteration（Uncensoring）」を施したものがあります。本モデルがそのような改ざんを行っていないことを2つの指標で検証しました。

• Abliteration方向との直交性：重み差分 $\Delta W$ と拒否除去テンプレート $\Delta W_{\text{ablit}}$ のコサイン類似度は、中間層 $L=15$ の mlp.down_proj で 0.00032、self_attn.o_proj で 0.0000048（全30層の最大値でも 0.00203）と理論上の完全直交（0.0）に極めて近く、意図的な安全フィルタ除去が行われていないことを証明しています。
• ランダム理論値と一致する射影比率：重み更新 $\Delta W$ が拒否ベクトル方向に射影される比率 $\Vert{}\hat{r}^\top \Delta W\Vert{}_2 / \Vert{}\Delta W\Vert{}_F$（紫線）は、中間層で 0.0105（Attention出力層平均 0.0202）となり、2,816次元空間において拒否方向と全く無関係（ランダム）に重みを更新した際の数学的期待値 $1/\sqrt{2816} \approx \mathbf{0.0188}$（黒破線）の周囲に分布しています。すなわち、安全機構と直交する独立した部分空間で専門知識の学習が行われています。

⑤ 「悪用遮断の強化」と「防衛実務の過拒否（Over-refusal）抑制」の両立

セキュリティ実務でLLMを活用する際、「SQLインジェクションの修正」「Sigma/YARA検知ルールの作成」「パケット解析」といった正当な防御・診断業務の質問に対し、モデルが専門用語に過剰反応して回答を拒否してしまう「過拒否（Over-refusal）」が大きな課題となります。

• 悪意ある攻撃に対する識別力の向上：悪意ある攻撃要求と一般要求の線形分離精度は AUROC = 1.0000（100%分離） を維持しつつ、両分布の識別距離（Cohen's $d$）はベースの 16.61 から 17.13（$L=15$）、最終層（$L=29$）でも 3.22 から 3.60 へと拡大しています。
• 正当な防衛実務クエリの応答率改善：同時に、正当なサイバー防衛実務クエリに対する最終出力層（Layer 29）での正常応答率（非拒否率）は、ベースモデルの 75.0% から 81.3%（81.25%、+6.25pt 改善） へと向上しています。これは安全基準を緩めたのではなく、専門知識の獲得によって**「悪意ある攻撃」と「正当なセキュリティ防衛実務」の文脈を高精度に識別できるようになった**ことを示しています。

Methodology based on Singular Value Decomposition (SVD) of parameter deltas and Difference-in-Means (DiM) activation geometry (Arditi et al., NeurIPS 2024).

公開モデル

ハイエンドなワークステーションからエッジデバイスまで、様々なハードウェア環境に対応するため、複数のフォーマットを提供しています。

MLX フォーマット (Apple Silicon向け最適化)

• StagAI-CyberSecurity-26B-A4B-v2-VLM-MLX-BF16 : Vision機能を完全復元した非量子化(BF16/FP16)フォーマット。
• StagAI-CyberSecurity-26B-A4B-v2-VLM-MLX-Q8 : QLoRAのベースモデルにアダプターをマージし、Vision機能を完全復元した8bit量子化モデル。オリジナルの推論性能を維持する、非常にバランスの取れたフォーマット。最もおすすめ。
• StagAI-CyberSecurity-26B-A4B-v2-VLM-MLX-Q4 : 4bit量子化されたベースモデルにアダプターをマージし、Vision機能を完全復元した4bit量子化モデル。Doom Loop問題の削減を目的としたマージ手法により、モデルサイズが通常より大きくなっております。

GGUF フォーマット (llama.cpp, LM Studio 等向け)

• StagAI-CyberSecurity-26B-A4B-v2-VLM-GGUF-BF16 : StagAI-CyberSecurity-26B-A4B-v2-VLM-MLX-BF16からGGUF形式へ変換した非量子化 16bit GGUFモデル。
• StagAI-CyberSecurity-26B-A4B-v2-VLM-GGUF-Q8 : 8bit 量子化 GGUFモデル (高精度、中程度のメモリ要求)。StagAI-CyberSecurity-26B-A4B-v2-VLM-GGUF-BF16から量子化を実施。
• StagAI-CyberSecurity-26B-A4B-v2-VLM-GGUF-IQ4_NL : 4bit 量子化 GGUFモデル (非常に軽量。VRAMに制限のある環境での実行に強く推奨します)。StagAI-CyberSecurity-26B-A4B-v2-VLM-GGUF-BF16から量子化を実施。

ライセンス (License)

本モデルは元モデルのライセンスを継承し、Apache License 2.0 の下で提供されています。商用利用、改変、再配布が自由に可能です。

免責事項 (Disclaimer)

本モデルは、教育目的、学習の支援、防御側のサイバーセキュリティ研究、ハードニングの支援、およびシステム回復力の向上を目的としてのみ提供されています。また、本モデルを不正アクセス、攻撃用エクスプロイトの生成、その他あらゆるサイバー犯罪に悪用することを明確に禁止します。 なお、本モデルをダウンロードおよび利用した時点で、ユーザーはセキュリティの向上および倫理的な研究の目的にのみ本モデルを使用することに明示的に同意したものとみなされます。

---

📊 Training Details (学習データと設定)

データセット

多数の領域にわたる高品質なサイバーセキュリティタスクのSFT（Supervised Fine-Tuning）データセットを使用しています。

• 英語データセット: 40,000件
• 日本語データセット: 40,000件
• 合計: 80,000件

上記データセットを用い、QLoRA (8bit) にてトレーニングを実施しました。

学習パラメータ

ファインチューニングは以下のパラメータおよびLoRA詳細設定で行われました。

# 学習基本パラメータ
fine_tune_type: "lora"
optimizer: "adamw"
num_layers: 18
learning_rate: 5e-7
mask_prompt: true

# LoRA詳細設定
lora_parameters:
  rank: 4
  scale: 1.0
  dropout: 0.03
  keys: 
    - "self_attn.q_proj"
    - "self_attn.k_proj"
    - "self_attn.v_proj"
    - "self_attn.o_proj"
    - "mlp.gate_proj"
    - "mlp.up_proj"
    - "mlp.down_proj"
    - "experts.switch_glu.gate_proj"
    - "experts.switch_glu.down_proj"
    - "experts.switch_glu.up_proj"

Trainable parameters: 0.397% (100.109M/25233.053M)

---

⚠️ Important Notes & Best Practices (使用上の注意点と推奨設定)

本モデルのパフォーマンスを最大限に引き出すため、以下の点にご留意ください。

1. 最高精度は8bitモデル: QLoRA(8bit)で学習を実施している関係上、最も精度が高く本来の性能を発揮するのは 8bitモデル となる可能性が高いです。
2. MLX形式とGGUF形式の差異: 公開しているGGUFモデルは、FP16/BF16のMLX形式モデルからGGUFへ変換したものです。そのため、ネイティブのMLX形式の方がより高精度になる可能性があります。(※より最適なGGUF形式への変換手法をご存知のユーザー様や有識者の方がいらっしゃいましたら、ぜひご協力をお願いいたします。)
3. 低ビット(4bit)モデルにおけるDoom Loop対策: 4bit量子化モデルなど低ビット環境では、生成の反復ループ（Doom Loop）の発生確率が高まります。これを防ぐため、4bitのMLX形式のモデルには "temperature": 0.5 に下げた設定ファイルを配置しています。GGUFの低ビットモデルを使用する際も、temperature 等の設定値を調整することを推奨します。

---

💡 GGUFモデルの推奨使用方法（推論プロセス強制）

GGUF版モデルは、思考プロセス（Thinkingブロック）を確実に展開させるため、16bitのMLXモデルの tokenizer_config.json にJinjaテンプレート（chat_template.jinja）のメタデータを事前埋め込みしてから量子化する工夫を施しています。

【重要】Ollamaでの使用に関する注意 Ollamaに登録して使用する場合、ネイティブレンダラーによる強制上書きが発生し、プロンプトの内容次第で推論（Thinking）ブロックがスキップされる可能性が十分にあります。 そのため、MLXと100%同一のプロンプト処理を適用できる llama-server と Open WebUI の連携等による運用をおすすめします。

推奨環境の構築手順 (llama.cpp)

# 1. llama-serverの起動 (Jinja2エンジン[minja]のネイティブサポートを活用)
./build/bin/llama-server \
  -m /path/to/StagAI-CyberSecurity-26B-A4B-v2-VLM-GGUF-IQ4_NL.gguf \
  --mmproj /path/to/mmproj-StagAI-CyberSecurity-26B-A4B-v2-VLM-GGUF-BF16.gguf \
  --port 8080 \
  -ngl 99 \
  -c 49152

# 2. Open WebUI側の接続設定
# 管理者設定 > 接続 > OpenAI APIセクションに以下を追加
# APIベースURL: http://localhost:8080/v1 (Dockerの場合は [http://host.docker.internal:8080/v1](http://host.docker.internal:8080/v1))
# APIキー: sk-dummy (任意の文字列)

---

🛠 Advanced: LoRAマージ手法の工夫と検証

通常、量子化されたベースモデルにLoRAをマージし、再度量子化して保存すると、LoRAの微小な重みの差分（学習効果）が丸め落とされて消失してしまう問題があります。本モデルでは、これを防ぐために以下の2段構えの対策を実施しています。

1. マージ時の差分消失防止 (mlx_lm.fuse の修正) マージの実行時、LoRAを適用した対象層を直後に再量子化せず、フル精度（FP16等）のまま保持するようPythonコードを修正しました。これにより、学習した微小な差分を確実に維持しています。
2. 読み込み時の再量子化防止 (config.json の調整) マージ済みモデルを読み込む際、設定ファイルに残っている古い量子化指定によってフル精度の層が意図せず再量子化されるのを防ぐため、対象層（mlp.gate_proj, up_proj, down_proj 等）の量子化設定を config.json からピンポイントで削除しています。

マージ検証結果

上記の手法が正しく機能しているか、Pythonコードを用いて厳密にチェックを行いました。

• 重みの完全一致: language_model.model.layers の各対象レイヤーにおいて、予想されるマージ後の重みと実際の重みの差分（Max Diff）が 0.0009 未満に収まり、✅ PERFECT MATCH (Fuse完全成功) を確認しました。
• 出力(Logits)の検証と考察:
• LoRAの本来の効果量（Base+LoRA vs BASE）: 23.875
• マージによる変化量（Merged vs BASE）: 23.750
• 目標との乖離がごくわずかであり、LoRAの重みが消失（Silent Dropping）することなく、ベースモデルに学習効果が適切に反映されていることを実証しています。
• アーキテクチャに対する手法の有効性: さらに、このLogitsの変化量は、低ランク（Rank 4）かつ低学習率であっても、幅広いモジュールにLoRAを適用する今回の手法が極めて有効であることを示しています。特にMoE（Mixture of Experts）モデルにおいて、微小な重み更新が推論結果に確かな変化をもたらすことが数値的にも裏付けられました。

---

👁️ Advanced 2: Vision機能の完全復元とマルチモーダル・シャード統合

Mac（Apple Silicon）環境において、詳細な学習パラメータが設定可能な mlx_lm.lora でGemma 4をファインチューニングし、mlx_lm.fuse でマージを行うと、mlx_lm 内部の Model.sanitize() 処理によってVision関連の重み（vision_tower.*, embed_vision.* 等）やプロセッサ設定が強制的に破棄され、テキスト専用モデルになってしまう課題がありました。 本VLMシリーズでは、独自のPython復元パイプライン（restore_gemma4_vision.py）を開発し、以下の4つの技術的アプローチによってLoRAの学習効果を一切損なわずにVision機能を完全復活させています。

1. Vision重みのピンポイント抽出と量子化・型整合 (vision_tower / embed_vision) ドナーとなるベースVLMモデルの model.safetensors.index.json を解析し、マルチモーダル関連の358テンソル（vision_tower.* および embed_vision.*）のみをピンポイントで抽出・正規化しました。Gemma 4の vision_tower（特に std_bias / std_scale）は float16 等にキャストするとオーバーフローを起こすため厳密に bfloat16 で保護し、射影層である embed_vision.embedding_projection はターゲットモデルの形式（BF16版では非量子化、Q8/Q4版では対応するビット数・グループサイズ）に合わせて自動量子化・整合させています。
2. ゼロコピー・シャード統合と model.safetensors.index.json の再構築 26Bクラスの巨大モデル（BF16で約52GB、Q8で約28GB）を単一の .safetensors ファイルとして再保存しようとすると、Apple SiliconのMetal最大バッファ割り当て上限を超過してクラッシュします。そのため、既存の言語モデルシャード（model-00001 〜 00009）はハードリンク（os.link）によって一切の再書き込み・劣化なしで引き継ぎ、末尾の10番目の追加シャード（model-00010-of-00010.safetensors、約1GB）としてVision重みを統合した上で、全1,343テンソルのマッピングを model.safetensors.index.json（目次ファイル）へ再構築しました。
3. config.json のインテリジェント・マージとプロセッサ設定の移植 ターゲットモデル側のMoE特有の細かな量子化設定（quantization / quantization_config）やLoRA保護設定を一切破壊することなく、ドナーモデルから vision_config や画像用特殊トークンID（boi_token_id, eoi_token_id, image_token_id）、アーキテクチャ定義（Gemma4ForConditionalGeneration）を安全に統合し、processor_config.json（Gemma4Processor / Gemma4ImageProcessor）等のマルチモーダル設定一式を移植しました。
4. mlx_vlm.server 等における思考ブロック（Thinking）スキップ問題の完全解決 mlx_vlm.server は起動時にデフォルトで enable_thinking=False をJinjaテンプレートへ渡す仕様になっており、通常のテンプレートでは空の思考ブロック（<|channel>thought\n<channel|>）が出力されて推論プロセスが確実にスキップされてしまいます。本モデルでは chat_template.jinja を改修し、サーバー側のデフォルト引数に左右されずシステムターン先頭に <|think|> トークンを常時注入・改行正規化するパッチを適用しました。これにより、mlx_vlm.server・mlx_lm.server・LM Studio 等のあらゆる環境で確実に思考ブロックが展開されます。 ※なお、VLM化完了後のモデルに対しても重み比較およびLogits検証を再実施し、LoRA対象全18層での完全一致（Max Diff <= 0.000977、bfloat16 の最小丸め単位1 ULP以内）およびLogits変化量（23.750000 vs 23.875000）が100%無傷で保持されていることを確認済みです。