AKIL 2.0 (107M)

AKIL 2.0, Türkiye'de sıfırdan eğitilmiş 107 milyon parametrelik bir Türkçe sohbet modelidir. Başka bir modelin ince ayarı değildir: ağırlıklar rastgele başlangıçtan, kendi Türkçe sözlüğüyle eğitildi. Tek bir ev bilgisayarında (RTX 5070, 12 GB) 20 milyar belirteçle ön eğitildi, ardından sohbet eğitimi (SFT) ve matematik pekiştirmesi (GRPO) gördü. Geliştirici: Ertuğrul Akkuş (AKIL AI).

Bu bir araştırma modelidir, asistan değildir. Bu boyuttaki bir model bilgi uydurur, hesapta ve uzun konuşmalarda hata yapar. Doğruluğu önemli olan hiçbir işte tek başına kullanılmamalıdır.

English summary below.

Neler yapabilir

• Kaynaklı cevap: sistem mesajında Bilgiler: başlığıyla [1] …, [2] … paragrafları verilirse cevabı bu paragraflardan, [n] atıflarıyla yazar. Paragraflarda cevap yoksa bilmediğini söylemeye çalışır. Bilgi soruları için önerilen kullanım budur: modelin kendi ezberi zayıftır (aşağıya bakın).
• Tek adımlı araç çağrısı: hesap, saat ve tarih isteklerinde <arac>…</arac> yazıp durur; sonucu alınca cevabı bitirir. Aracı model çalıştırmaz; örnek çalıştırıcı arac_calistir.py bu depoda.
• Kısa Türkçe sohbet: ChatML biçiminde; kendini AKIL AI olarak tanıtır.
• Uydurma varlıkları fark etme: eğitimdekine benzer "böyle bir şey var mı" sorularında çoğunlukla bilmediğini söyler. Farklı biçimdeki sorularda yine uydurabilir.
• Türkçe karakter ve yazım düzeltme: "cok guzel bir gun" → "çok güzel bir gün". Bu beceri ayrıca ölçülmedi.

Neler yapamaz

• Ezber bilgi: Wikidata ve Vikipedi sorularının yalnızca %1-5'ini doğru cevaplar. Açgözlü üretimde "Türkiye'nin başkenti" sorusuna bile "İstanbul" diyebiliyor (örnekleme ayarlarıyla "Ankara" dedi).
• Çok adımlı matematik: GSM8K-tr'de araçla %6,7. Problemlerin çoğunda aracı çağırmadan yanlış hesaplar.
• Arşiv aracı: arsiv aracını kendiliğinden nadiren çağırır. Bilgiyi sistem mesajında verin.
• Çok turlu konuşma: önceki turlar cevabı bozabiliyor. Örneğin bir saat sorusundan sonra "Sen kimsin?" sorusuna saat aracını çağırdı. En iyi sonuç her soruyu ayrı sormakla alınır.
• Düşünme modu (/dusun): deneyseldir. Ölçümde kazanç sağlamadı; düşünme bloğu çoğu zaman boş kalır.
• Güncel bilgi, haber, hava durumu ve fiyat bilmez. Kod yazamaz.
• Bağlam 2048 belirteçtir; uzun konuşmalarda konu takibini kaybeder.
• Yalnızca Türkçe için eğitildi; az miktarda İngilizce matematik metni gördü.

Güvenlik ve sorumlu kullanım

• Bu modele zararlı istekleri reddetme eğitimi verilmedi.
• Yayından önce dokuz zararlı istekle denendi: patlayıcı, zehir, uyuşturucu, hesap ele geçirme, sahte belge, kendine zarar verme, nefret söylemi, küfür, ilaç dozu.
  • Hiçbir cevapta işe yarar zararlı bilgi yoktu; cevaplar konu dışı, uydurma ya da genel bilgiydi.
  • Ama model istekleri reddetmedi; bazen isteneni yapıyormuş gibi bir dille cevap verdi.
  • Kendine zarar verme mesajında yardıma yönlendirmedi.
  • İlaç dozu sorusuna yanlış olabilecek bir cevap verdi.
• Süzgeçsiz bir son kullanıcı ürününde, özellikle çocuklara açık bir üründe kullanılmamalıdır. Sağlık, hukuk ve para konularında tavsiye için kullanılmamalıdır.
• Model "olduğu gibi" sunulur (Apache 2.0, madde 7-8).

Ölçüm

ufakzeka-1 makalesiyle (arXiv 2609.25081) aynı düzenek kullanıldı: lm-evaluation-harness 0.4.12, sıfır örnekli log-olabilirlik. HellaSwag ve ARC uzunluğa göre normalleştirilmiş doğruluktur, diğerleri ham doğruluktur. TurBLiMP 16, TurkishMMLU 9 alt görevin ortalamasıdır. Bütün modeller aynı düzenekte bizim tarafımızdan ölçüldü. ufakzeka-1-base için bulduğumuz değerler makaledeki Tablo 1'le 0,3 puan içinde örtüşüyor.

Farklar ne kadar anlamlı: aynı soruların soru başına sonuçlarından eşleştirilmiş fark ve %95 güven aralığı hesaplandı.

• AKIL 2.0 ile ufakzeka-1 (sohbet) ortalamada başa baştır: +0,04 ± 1,08. AKIL bunu %29 daha az parametreyle yapıyor.
  • AKIL anlamlı önde: HellaSwag +1,4 ± 0,8, ARC-e +2,7 ± 1,7, TurBLiMP +2,8 ± 0,5.
  • Anlamlı geride olduğu test yok: TurkishMMLU −3,7 ± 3,9, ARC-c −2,2 ± 2,5.
• Taban model ile ufakzeka-1-base: +0,55 ± 1,00, yani o da başa baş.
• Sohbet eğitimi ve GRPO, taban modele göre ortalamada anlamlı bir kayıp yaratmadı: −0,37 ± 0,61.

Matematik

GSM8K-tr test bölümü (1.318 problem) ve programla üretilmiş, eğitimde görülmemiş 300 aritmetik problemi. Açgözlü üretim; araçlı kipte model en çok 12 araç çağırabilir.

• Araçsız kipte de model hesabı araca bırakıp duruyor; aritmetiğin araçsız %0 olması bundandır.
• ufakzeka-1 bizim araç biçimimizi bilmediği için yalnız araçsız ölçüldü. Araçsız GSM8K-tr'deki fark (%4,6'ya karşı %2,1) istatistik olarak anlamlıdır.
• AKIL'in eğitiminde GSM8K-tr'nin eğitim bölümü kullanıldı; ölçüm test bölümündedir.

Doğrulanabilir sohbet soruları

Eğitimden ayrı tutulmuş sorular. Cevaplar kodla denetlendi; denetimin karar veremediği cevaplar oranın dışında tutuldu.

Gerçek örnekler

Açgözlü üretim, düzenlenmemiş cevaplar:

Kullanım

from transformers import AutoModelForCausalLM, AutoTokenizer

depo = "Ertugrul1611/AKIL-2.0-107M"
tok = AutoTokenizer.from_pretrained(depo)
model = AutoModelForCausalLM.from_pretrained(depo)
mesajlar = [
    {"role": "system", "content": "Bilgiler:\n[1] Van Gölü, Türkiye'nin en büyük gölüdür ve 3.713 km² "
                                  "yüzölçümüne sahiptir. Gölün suyu sodalıdır."},
    {"role": "user", "content": "Van Gölü'nün yüzölçümü ne kadardır?"},
]
girdi = tok.apply_chat_template(mesajlar, add_generation_prompt=True, return_tensors="pt", return_dict=True)
cikti = model.generate(**girdi, max_new_tokens=128)
print(tok.decode(cikti[0, girdi["input_ids"].shape[1]:], skip_special_tokens=True))

generation_config.json örnekleme ayarları: sıcaklık 0,3, top_p 0,9, top_k 40; cevap <|im_end|>'de biter.

llama.cpp ve Ollama için GGUF dosyaları (f16 ve Q8_0) Ertugrul1611/AKIL-2.0-107M-GGUF deposundadır.

• Belirteçleme SentencePiece, transformers ve llama.cpp arasında birebir aynı: 308 metinde fark yok.
• f16 GGUF, transformers ile aynı istemlerde aynı cevabı veriyor: açgözlü üretimde 8 istemin 8'i aynı.

Sohbet biçimi

<|im_start|>system
Bilgiler:
[1] paragraf<|im_end|>
<|im_start|>user
Soru<|im_end|>
<|im_start|>assistant
Cevap [1].<|im_end|>

Sistem mesajı isteğe bağlıdır. İlk satırı /dusun olursa model cevaptan önce <dusun>…</dusun> bloğu yazar (deneysel).

Araç biçimi

Model <arac>tür: girdi</arac> yazıp durur. Çağıran program aracı çalıştırır ve sonucu tool rolüyle ekler; model cevabı bitirir.

Eğitim verisinde çok adımlı problemler her adımda bir hesap çağrısıyla çözülüyordu. Model bu biçimi tek adımlı isteklerde güvenilir biçimde kullanıyor, çok adımlı problemlerde çoğu zaman kullanmıyor.

python arac_calistir.py Ertugrul1611/AKIL-2.0-107M "1250 liranın yüzde 18'i kaç eder?"

Soru verilmezse arac_calistir.py sohbet kipinde açılır. Mesajlar art arda yazılır ve araçlar her mesajda çalışır. Her mesaj varsayılan olarak ayrı cevaplanır; /gecmis konuşma geçmişini açar, /yeni sıfırlar, /cik çıkar.

python arac_calistir.py Ertugrul1611/AKIL-2.0-107M

Eğitim

• Mimari: yalnız kod çözücülü (decoder-only) dönüştürücü.
  • 32 katman, genişlik 512.
  • 8 dikkat başı, 2 anahtar-değer başı (GQA), baş boyu 64.
  • SwiGLU 1408, RoPE θ=100.000, QK-norm.
  • Bağlı gömme; 32.768 parçalık SentencePiece BPE sözlüğü.
  • Bağlam 2048.
• Ön eğitim: 38.146 adım, 20 milyar belirteç (16 milyar benzersiz; hiçbir kaynak 2 turu geçmez).
  • Eniyileme: Muon (matrisler) ve AdamW (gömme, norm). bf16.
  • WSD takvimi: %1 ısınma, sabit evre, son %15'te doğrusal soğuma.
  • Ana evrede bağlam 1024 ve logit yumuşak sınırı 30. Soğumada bağlam 2048'e çıktı, sınır kaldırıldı ve karışıma sohbet, talimat ve beceri verisi eklendi.
• Sohbet eğitimi (SFT): 13 görev, 2 tur, yaklaşık 20 bin paketlenmiş satır (18 milyon hedef belirteç).
  • Kayıp yalnız asistan cevaplarında hesaplandı; kullanıcı mesajı ve araç sonuçları yalnız bağlam olarak kaldı.
  • Satırların %20'si ön eğitim metniydi, temel beceriler korunsun diye.
  • Üç öğrenme hızı denendi (1,5e-4, 3e-4, 6e-4). Seçilen 6e-4: doğrulama kaybı en düşük olan.
• Matematik pekiştirmesi (GRPO): GSM8K-tr eğitim bölümünde 200 adım, araç döngüsünün içinde.
  • Her adımda 32 problem, problem başına 8 çözüm.
  • Ödül 0 ya da 1: son cevap Python ile denetlendi.
  • KL cezası yok, öğrenme hızı 1e-6.
  • 300 ayrılmış problemde en iyi adım (150) seçildi.
• Tercih eğitimi (DPO): kodla doğrulanmış 2.129 çiftle denendi. Ölçümde etkisi olmadığı için bu modelde kullanılmadı.
• Ön eğitim verisi:
  • FineWeb2-HQ Türkçe (ODC-By)
  • mogan-turkish-web (ODC-By)
  • FinePDFs-edu Türkçe (ODC-By)
  • BILGE sentetik web, matematik ve hikâye metinleri (TÜBİTAK BİLGEM, Apache 2.0)
  • FineMath (ODC-By, İngilizce matematik)
  • Türkçe Vikipedi (CC BY-SA 4.0)
• Temizlik:
  • Unicode NFC normalleştirme.
  • Kişisel bilgi maskeleme: e-posta, IBAN, TC kimlik no, telefon.
  • Yetişkin içerik süzgeci.
  • Tam metin ve URL tekilleştirmesi.
  • Ölçüm setleriyle 13 kelimelik ortak dizisi olan belgeler çıkarıldı.
• Soğuma ve ince ayar verisi:
  • Yerel öğretmen modellerin yazdığı örnekler. Qwen3.5-9B (Apache 2.0): sohbet, talimat, kaynaklı cevap, kimlik ve "bilmiyorum" örnekleri. Qwen3-8B (Apache 2.0): Wikidata bilgi sorularının metni.
  • Aya Türkçe (insan yazımı, Apache 2.0).
  • GSM8K-tr eğitim bölümü (MIT): çözümler araç biçimine çevrildi.
  • Wikidata bilgileri (CC0).
  • Python ile üretilip doğrulanmış aritmetik, araç ve düzeltme örnekleri.
  • Claude, GPT ve Gemini çıktısı ile Gemma çıktısı olduğu bilinen setler kullanılmadı.

Lisans ve atıf

Model ağırlıkları ve bu depodaki kod Apache Lisansı 2.0 ile yayımlanır (LICENSE); ticari kullanım serbesttir. Modeli ya da türevlerini dağıtırken NOTICE dosyası korunmalıdır.

Veri kaynaklarının atıfları için ATTRIBUTION.md dosyasına bakın. Vikipedi içeriği CC BY-SA 4.0, FineWeb2-HQ/FinePDFs/FineMath/mogan ODC-By lisanslıdır.

---

English summary

AKIL 2.0 (AKIL-2.0-107M) is a 107M-parameter Turkish chat model trained from scratch in Turkey on a single consumer GPU (RTX 5070, 12 GB). It is not a fine-tune of another model: the weights were trained from random initialization with its own Turkish tokenizer. 20B tokens of pretraining, then supervised fine-tuning and GRPO on GSM8K-tr with a calculator tool.

• Architecture: decoder-only transformer; 32 layers, width 512, 32k SentencePiece vocabulary, 2048-token context.
• Evaluation: zero-shot lm-evaluation-harness 0.4.12, identical to the ufakzeka-1 report (arXiv 2609.25081); all models re-measured by us.
  • The 7-task average is on par with ufakzeka-1 (151M): +0.04 ± 1.08 (paired, 95% CI), with 29% fewer parameters.
  • Significantly better on HellaSwag, ARC-e and TurBLiMP; not significantly worse on any task.
  • GSM8K-tr: 6.7% with the calculator tool, 4.6% without (ufakzeka-1: 2.1% without).
• Works: answers grounded in paragraphs given in the system prompt (Bilgiler: with [n] citations); single-step tool calls (calculator, time, date); short chat; Turkish diacritic and spelling correction.
• Does not work: memorized facts (1-5% on Wikidata/Wikipedia questions); multi-step math; it rarely calls the archive tool on its own; the /dusun thinking mode is experimental and gave no measurable gain.
• Post-training data: written by local Apache-2.0 teacher models (Qwen3.5-9B, Qwen3-8B), plus human-written and programmatically verified data. No Claude/GPT/Gemini outputs.
• Limitations: it is a research model, not an assistant. It hallucinates, has no up-to-date knowledge, and cannot write code.
• Safety: the model received no refusal training. In a pre-release probe with nine harmful requests (explosives, poison, drugs, account takeover, forged documents, self-harm, hate speech, profanity, medication dose) no answer contained usable harmful information, but it did not refuse either and sometimes answered as if complying. It did not point to help resources for self-harm and gave a possibly wrong medication dose. Do not use it unfiltered in end-user products, especially ones open to children, or for medical, legal or financial advice. Provided "as is" (Apache 2.0, sections 7-8).
• License: Apache 2.0 (commercial use allowed); keep the NOTICE file when redistributing.