🧠 Kayra-1-Thinking-Exp

A thinking Turkish language model — Chain-of-Thought reasoning fine-tune of Kayra-1-exp

This is an experimental fine-tune of sixfingerdev/kayra-1-exp (86.4M parameters) on a chain-of-thought reasoning dataset. It learns to produce step-by-step reasoning within <|think|> tags before generating the final answer.

Model Details

Training

Eval loss decreased from 2.73 → 2.25 over 5 epochs.

Dataset

Trained on kayra-thinking-data: a curated collection of 4,191 Turkish reasoning examples combining 4 sources — duxx (226), efe (350), Gemma-4 generated (32), and ThinkingData-200K-Turkish (~3,583).

Format:

### Soru: <question>

### Yanit: <|think|><step-by-step reasoning></|think|><final answer>

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "sixfingerdev/kayra-1-thinking-exp",
    trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained("sixfingerdev/kayra-1-thinking-exp")

prompt = "### Soru: Türkiye'nin başkenti neresidir?\n\n### Yanit: <|think|>"
inputs = tokenizer(prompt, return_tensors="pt")

outputs = model.generate(
    **inputs,
    max_new_tokens=120,
    do_sample=True,
    temperature=0.3,
    top_k=40,
    repetition_penalty=1.2,
    pad_token_id=tokenizer.pad_token_id,
)

Recommended generation parameters: temperature=0.3, top_k=40, repetition_penalty=1.2, max_new_tokens=100-150.

Known Limitations

1. Model capacity: 86M parameters is too small for reliable complex reasoning. The model learns the format of thinking but struggles with correct logical inference.
2. Function-call contamination: The ThinkingData-200K source contains tool/API call examples. The model may occasionally generate function-call syntax (get_name_by_id, tool_call).
3. Repetition: Like most small models, it can enter repetitive loops. Use repetition_penalty to mitigate.
4. Tokenizer spacing: BPE subword tokenization can introduce spaces in Turkish words ("soruyor" → "sor uyor", "düşüneyim" → "düşün eyim").
5. No factuality guarantee: This is an experimental model. Do not use in production without verification.

---

🧠 Kayra-1-Thinking-Exp (Türkçe)

Düşünen Türkçe model — Chain-of-Thought reasoning fine-tune of Kayra-1-exp

Bu model, sixfingerdev/kayra-1-exp (86.4M parametre) üzerine chain-of-thought reasoning formatında fine-tune edilmiş deneysel bir sürümdür. <|think|> etiketleri arasında adım adım muhakeme yapıp ardından nihai cevabı üretmeyi öğrenir.

---

📊 Model Details

---

📈 Training Details

Hyperparameters

Training Metrics

Loss monotonik olarak düştü, eval loss 2.25'te plateu yaptı. Daha fazla epoch overfitting riski taşır.

Weight Tying Fix

Kayra-1-exp'in checkpoint'ında lm_head.weight bulunmaz (tie_word_embeddings=True). Eğitim öncesi lm_head.weight.data.copy_(model.tok_emb.weight.data) ile embedding ağırlıkları kopyalanır. Transformers 5.x'te tie_word_embeddings=False ile kaydedilir, böylece checkpoint save hatası önlenir.

---

📦 Dataset

Fine-tune verisi: kayra-thinking-data

4 kaynaktan derlenmiş, dedupe edilmiş 4,191 Türkçe reasoning örneği:

Her örnek şu formattadır:

### Soru: <soru>

### Yanit: <|think|><adım adım muhakeme></|think|><nihai cevap>

---

🚀 Usage

Yükleme

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "sixfingerdev/kayra-1-thinking-exp",
    trust_remote_code=True
)
tokenizer = AutoTokenizer.from_pretrained("sixfingerdev/kayra-1-thinking-exp")

Generate

prompt = "### Soru: Türkiye'nin başkenti neresidir?\n\n### Yanit: <|think|>"
inputs = tokenizer(prompt, return_tensors="pt")

outputs = model.generate(
    **inputs,
    max_new_tokens=120,
    do_sample=True,
    temperature=0.3,
    top_k=40,
    repetition_penalty=1.2,
    pad_token_id=tokenizer.pad_token_id,
)

generated = outputs[0][inputs.input_ids.shape[1]:]
print(tokenizer.decode(generated, skip_special_tokens=False))

Önerilen generation parametreleri:

• temperature: 0.3-0.4 (düşük = daha deterministik)
• top_k: 40
• repetition_penalty: 1.15-1.25 (tekrarlamayı azaltır)
• max_new_tokens: 100-150 (512 context sınırı)
• do_sample: True

Output Format

Model çıktısı şu pattern'i takip eder:

<|think|>Öncelikle, <adım 1>. Sonra, <adım 2>. ... </|think|><nihai cevap>

Not: Model bazen </|think|> kapatma etiketi üretmez. Bu durumda tüm çıktı thinking aşaması olarak kabul edilmelidir.

---

⚠️ Limitations & Known Issues

1. Model Kapasitesi

86M parametre karmaşık muhakeme için çok küçüktür. Model muhakeme formatını öğrenir ancak doğru mantıksal çıkarımı tutarlı şekilde yapamaz.

2. Function-Call Contamination

ThinkingData-200K verisi tool/API çağrısı formatında örnekler içerir. Model bazen get_name_by_id, tool_call gibi fonksiyon çağrısı syntax'ı üretebilir.

3. Tekrarlama (Repetition)

Küçük modellerde yaygın olduğu gibi, model uzun generation'larda tekrara girebilir. repetition_penalty ve no_repeat_ngram_size ile kontrol edilebilir.

4. Tokenizer Spacing

BPE tokenizer bazı kelimelerde boşluk ekler ("soruyor" → "sor uyor", "düşüneyim" → "düşün eyim"). Bu, tokenizer'ın alt kelime bölümlemesinden kaynaklanır ve model çıktısında görülebilir.

5. Doğruluk Garantisi Yok

Bu deneysel bir modeldir. Ürettiği bilgilerin doğruluğu garanti edilmez. Production kullanımı için uygun değildir.

---

🧪 Sample Outputs

Türkiye'nin başkenti neresidir?

Tamam, kullanıcı Türkiye'nin başkentini soruyor. Türkiye'nin başkenti nedir ve nerede olduğunu bilmek istiyorlar. Kullanılabilir işlevleri kontrol edeyim...

→ Doğru yanıtı üretmekte zorlanır, function-call pattern'ine kayar.

2+2 kaç eder?

Doğrudan sonuca atlamadan önce verilenleri düzenli okuyorum. İlk olarak, ikinci veya üçüncü şahıs zamirlerinden kaçınmam gerekiyor...

→ </|think|> kapatır ama matematiksel doğruluk zayıftır.

---

🔬 Comparison: Base vs Fine-tuned

---

📜 License

MIT License — Ticari ve akademik kullanım serbesttir.

---

🙏 Acknowledgments

• Base model: sixfingerdev/kayra-1-exp — Sıfırdan Türkçe eğitilmiş GPT
• Dataset: kayra-thinking-data
• Framework: PyTorch, HuggingFace Transformers
• Inspired by: DeepSeek-R1, ThinkingData-200K

---

Kayra-1-Thinking-Exp — Küçük modeller de düşünebilir 🧠