[日本語版は下に記載しています / Japanese version is available below]
CyberStag-Security-26B-A4B-V1 is a highly specialized, text-only large language model designed explicitly for cybersecurity analysis and deep logical reasoning. Built upon the robust Gemma-4-26B-A4B architecture (MoE), this model has been fine-tuned using mlx_lm.lora to excel in understanding complex security domains. The LoRA adapters have been successfully merged into the base model for seamless deployment.
This model serves as a powerful reasoning engine for security professionals, researchers, SOC analysts, and system administrators. It enhances capabilities in threat modeling, vulnerability assessment, interpreting obscure system logs, and structuring comprehensive incident response strategies. Note: This is a text-only model and does not process image, audio, or multi-modal inputs.
Comparative testing against the base model in cybersecurity contexts has confirmed the following improvements:
The model was fine-tuned on a carefully curated, distilled dataset focusing on advanced cybersecurity concepts, precise threat intelligence, logical deduction, and complex security scenarios. (Note: To maintain model integrity and prevent misuse, the granular details of the training data remain confidential.)
Gemma-4-26B-A4B (MoE)mlx_lm LoRA (Low-Rank Adaptation), fully merged.q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, and expert layers). This approach, combined with optimized context management, captures the nuances of cybersecurity terminology and code structures without catastrophic forgetting.We provide multiple formats to suit various hardware environments.
CyberStag-Security-26B-A4B-V1-BF16-MLX : Unquantized bf16 (Maximum precision).CyberStag-Security-26B-A4B-V1-OptiQ8-MLX : Dynamically 8-bit quantized using mlx-optiq (Balanced footprint/performance).CyberStag-Security-26B-A4B-V1-BF16-GGUF : Unquantized 16-bit.CyberStag-Security-26B-A4B-V1-Q8_0-GGUF : 8-bit quantized.CyberStag-Security-26B-A4B-V1-Q4_K_M-GGUF : 4-bit quantized (Recommended for limited VRAM).from mlx_lm import load, generate
model, tokenizer = load("deer-sec/CyberStag-Security-26B-A4B-V1-OptiQ8-MLX")
prompt = "Analyze the following server access log for potential SQL injection vulnerabilities: [LOG DATA]"
response = generate(model, tokenizer, prompt=prompt, max_tokens=4096)
print(response)
./main -m CyberStag-Security-26B-A4B-V1-Q4_K_M.gguf -n 4096 -p "Explain the mechanics of a CSRF attack and effective mitigation strategies."
This model inherits the license of the base model and is provided under the Apache License 2.0. Commercial use, modification, and redistribution are freely permitted.
This model is provided solely for educational, defensive research, and system resilience purposes. Usage for unauthorized access, exploit generation, or any cybercrime is strictly prohibited. By downloading/utilizing this model, you agree to employ it only for ethical security research.
CyberStag-Security-26B-A4B-V1 は、サイバーセキュリティ分野の分析と高度な論理的推論に特化して開発された、テキスト専用の大規模言語モデルです。堅牢な Gemma-4-26B-A4B (MoE) アーキテクチャをベースとし、MLXフレームワーク (mlx_lm.lora) を用いてファインチューニングを実施しました。学習完了後、LoRAアダプターはベースモデルにマージされており、すぐにデプロイして使用することが可能です。
本モデルは、セキュリティ専門家、研究者、SOCアナリスト、システム管理者などが、脅威モデリング、脆弱性評価、ログの解釈、そして包括的なインシデント対応戦略を構築する際の推論エンジンを目指して作られています。 ※本モデルはテキスト入力専用であり、画像や音声などのマルチモーダル入力には対応していません。
サイバーセキュリティに関する様々な質問を用いてオリジナルのベースモデルと比較検証を行った結果、本モデルには以下の特徴が確認されています。
本モデルは、高度なサイバーセキュリティの概念、正確な脅威インテリジェンス、論理的演繹、および複雑なセキュリティシナリオに重点を置いて慎重にキュレーション・蒸留されたデータセットを用いてファインチューニングされています。 (注：学習データの詳細や具体的な構成については非公開としています)
ベースモデルの汎用性を維持しつつ、セキュリティ領域の学習効率を最大化するため、細心の注意を払って学習プロセスを設計しました。
Gemma-4-26B-A4B (MoE)mlx_lm による LoRA (Low-Rank Adaptation)、ベースモデルへマージ済みq_proj, k_proj, v_proj, o_proj, gate_proj, up_proj、およびExpert層など）を包括的に更新するよう構成しました。この広範なターゲティングと、コンテキスト長の管理により、既存の知識を破壊することなく（破滅的忘却の防止）、ファインチューニングに成功しております。ハイエンドなワークステーションからエッジデバイスまで、様々なハードウェア環境に対応するため、複数のフォーマットを提供しています。
CyberStag-Security-26B-A4B-V1-BF16-MLX : 最高精度の推論能力を提供する非量子化(bf16)フォーマット。CyberStag-Security-26B-A4B-V1-OptiQ8-MLX : mlx-optiq を用いて動的に8ビット量子化されたモデル。メモリ使用量を大幅に削減しつつ、オリジナルの推論性能をほぼ維持する、非常にバランスの取れたフォーマット。CyberStag-Security-26B-A4B-V1-BF16-GGUF : 非量子化 16bit GGUFモデル。CyberStag-Security-26B-A4B-V1-Q8_0-GGUF : 8bit 量子化 GGUFモデル (高精度、中程度のメモリ要求)。CyberStag-Security-26B-A4B-V1-Q4_K_M-GGUF : 4bit 量子化 GGUFモデル (非常に軽量。VRAMに制限のある環境での実行に強く推奨します)。from mlx_lm import load, generate
# 動的8ビット量子化モデルの読み込み
model, tokenizer = load("deer-sec/CyberStag-Security-26B-A4B-V1-OptiQ8-MLX")
prompt = "以下のサーバーアクセスログを分析し、潜在的なSQLインジェクションの脆弱性がないか確認し、その攻撃ベクトルを解説してください: [ログデータ]"
response = generate(model, tokenizer, prompt=prompt, max_tokens=4096)
print(response)
./main -m CyberStag-Security-26B-A4B-V1-Q4_K_M.gguf -n 4096 -p "モダンなWebアプリケーションにおけるクロスサイトリクエストフォージェリ(CSRF)攻撃の仕組みと、最も効果的な緩和策について詳細に説明してください。"
本モデルは元モデルのライセンスを継承し、Apache License 2.0 の下で提供されています。商用利用、改変、再配布が自由に可能です。
本モデルは、教育目的、防御的なサイバーセキュリティ研究、およびシステム回復力の向上を目的としてのみ提供されています。また、本モデルを不正アクセス、攻撃用エクスプロイトの生成、その他あらゆるサイバー犯罪に悪用することを明確に禁止しています。 なお、本モデルをダウンロードおよび利用した時点で、ユーザーはセキュリティの向上および倫理的な研究の目的にのみ本モデルを使用することに明示的に同意したものとみなされます。