ALLaM-7B-Arabic-SFT

A QLoRA fine-tune of ALLaM-7B-Instruct-preview on 39,576 Arabic conversations from SmolKalam, trained on one RTX 5080 (16 GB). Merged bf16 weights and GGUF quants are in this repo.

Benchmarks

lm-evaluation-harness, 0-shot log-likelihood, "light" Arabic leaderboard sets. All three models were loaded in 4-bit nf4 so they fit 16 GB; absolute scores are lower than full-precision runs, but every row used the same settings. Single runs: differences under about 1 point on ArabicMMLU/ACVA are noise, and Arabic EXAMS has only 53 questions (±13 points).

Why the released weights use the LoRA at half strength. Merged at full strength (alpha/r = 2.0) the fine-tune gained on ArabicMMLU and EXAMS but lost 6 points on ACVA (Arab culture), worse on 27 of 58 subsets: general instruction data translated from English traded away Arab-specific knowledge. Merging the same adapter at half strength (alpha/r = 1.0) kept most of the gain and brought ACVA back to within noise of the base. No retraining was involved; both rows come from the same trained adapter.

GGUF quants

Perplexity on the held-out assistant replies (lower is better), speed measured with llama-bench on an RTX 5080, full GPU offload, 512-token prompt / 128-token generation.

Training

• Base: ALLaM-7B-Instruct-preview, 4-bit nf4 (QLoRA), LoRA r=32 / alpha=64 / dropout 0.05 on all attention and MLP projections (80M trainable parameters, 1.1%)
• Data: SmolKalam subsets magpie-ultra (20k), systemchats (6k), everyday conversations (2k), rewrite (4k), summarize (4k), Tulu-3 persona instruction following (4k); rows kept only with Arabic script purity >= 0.95 and strictly alternating turns
• Loss on assistant tokens only; 1 epoch (2,474 steps, 10.2 h on an RTX 5080, 9.4 GB peak), effective batch 16, lr 1e-4 cosine, 75 warmup steps, max length 2048
• Released merge: the trained adapter applied at half strength (lora_alpha 64 -> 32), merged into bf16 weights on CPU
• Held-out validation loss:

Sample outputs

Greedy decoding, same prompt to both models, unedited.

اشرح لطفل عمره عشر سنوات لماذا السماء زرقاء.

Base ALLaM-7B

السماء زرقاء بسبب الطريقة التي يتفاعل بها ضوء الشمس مع الهواء. عندما يمر ضوء الشمس عبر الغلاف الجوي، يتم تشتيته في جميع الاتجاهات بواسطة جزيئات صغيرة من الغازات والجسيمات الأخرى. هذا التشتت يسمى تشتيت رايلي، وهو ما يجعل السماء زرقاء.

فكر في الأمر مثل رمي كرة في غرفة مليئة بالكرات الصغيرة. سترتد الكرة في كل الاتجاهات، وستصل إلى عينيك من زوايا مختلفة. إذا كانت الغرفة مليئة بجزيئات صغيرة من الهواء، فإن الضوء الذي يسافر عبرها سيتشتت بنفس الطريقة.

الضوء الأزرق يتشتت أكثر من الألوان الأخرى لأن لديه طول موجي أقصر، مما يعني أنه يتحرك في موجات أصغر. لذا، عندما يمر ضوء الشمس عبر الغلاف الجوي، يتشتت الضوء الأزرق في جميع الاتجاهات، مما يجعل السماء تبدو زرقاء. الألوان الأخرى، مثل الأحمر والبرتقالي، تتشتت أقل، لذا فهي لا تجعل السماء تبدو بنفس اللون.

ALLaM-7B-Arabic-SFT

السماء زرقاء لأن الهواء يمتص بعض الألوان من ضوء الشمس، مما يجعل السماء تبدو زرقاء. عندما تنظر إلى السماء، ترى الضوء الذي يمر عبر الهواء. يحتوي ضوء الشمس على جميع ألوان قوس قزح، لكن الهواء يمتص بعض الألوان مثل الأحمر والبرتقالي والأصفر.

عندما يمر الضوء عبر الهواء، يتم امتصاص الألوان التي لا نحبها، مثل الأحمر والبرتقالي والأصفر، من قبل جزيئات الهواء. هذا يترك الألوان الزرقاء والخضراء والبنفسجية، والتي تمر عبر الهواء وتصل إلى أعيننا. لهذا السبب نرى السماء زرقاء.

اكتب رسالة بريد إلكتروني رسمية قصيرة أعتذر فيها عن التأخر في تسليم مشروع.

Base ALLaM-7B

الموضوع: اعتذار عن التأخير في تسليم المشروع

عزيزي [المستلم]،

أكتب هذه الرسالة لأعبر عن أسفي الصادق للتأخير في تسليم المشروع الذي كان من المفترض أن يتم تسليمه في الوقت المحدد. أدرك أن هذا قد يسبب لك إزعاجًا، وأعتذر بصدق عن أي إزعاج قد يكون قد تسبب فيه.

كانت هناك ظروف غير متوقعة خارجة عن سيطرتي أدت إلى هذا التأخير، وأنا أتخذ خطوات لضمان عدم حدوث مثل هذه الحوادث مرة أخرى في المستقبل.

مرة أخرى، يرجى قبول اعتذاري الصادق، وأتطلع إلى مواصلة العمل معك.

مع خالص التقدير، [اسمك]

ALLaM-7B-Arabic-SFT

الموضوع: اعتذار عن التأخير في تسليم المشروع

عزيزي [اسم المستلم]،

أكتب هذه الرسالة لأعبر عن أسفي الصادق للتأخير في تسليم المشروع الذي تم تكليفنا به. أدرك أن هذا قد تسبب لك وللفريق في بعض الإزعاج، وأعتذر بصدق عن أي إزعاج قد يكون قد سببه ذلك.

لقد واجهنا بعض التحديات غير المتوقعة التي أدت إلى تأخير عملية التسليم. ومع ذلك، نحن ملتزمون بضمان أن يلبي المشروع معايير الجودة الخاصة بك وأن يتم تسليمه في الوقت المناسب.

نحن نعمل حاليًا على حل المشكلات المتبقية وسنتواصل معك قريبًا بشأن تاريخ التسليم المتوقع. مرة أخرى، يرجى قبول اعتذاري الصادق عن أي إزعاج قد يكون قد سببه هذا الأمر.

شكرًا لتفهمك وصبرك.

مع خالص التقدير، [اسمك]

ما الفرق بين الذكاء الاصطناعي وتعلم الآلة؟ أجب في ثلاث نقاط.

Base ALLaM-7B

الذكاء الاصطناعي هو مجال واسع من علوم الحاسوب يهدف إلى إنشاء آلات ذكية قادرة على أداء المهام التي تتطلب عادة ذكاءً بشريًا، مثل حل المشكلات، واتخاذ القرارات، وفهم اللغة الطبيعية، والتعرف على الصور.

تعلم الآلة هو مجموعة فرعية من الذكاء الاصطناعي تركز على تطوير خوارزميات ونماذج تمكن الآلات من التعلم والتحسن تلقائيًا من التجربة دون الحاجة إلى برمجة صريحة.

إليك الاختلافات الرئيسية بين الذكاء الاصطناعي وتعلم الآلة:

1. الغرض: الذكاء الاصطناعي هو الهدف النهائي لإنشاء آلات ذكية يمكنها تقليد الذكاء البشري، بينما تعلم الآلة هو تقنية تستخدم لتحقيق هذا الهدف.
2. التركيز: الذكاء الاصطناعي أوسع ويشمل العديد من المجالات مثل معالجة اللغة الطبيعية، ورؤية الكمبيوتر، والروبوتات، بينما يركز تعلم الآلة على تطوير الخوارزميات والنماذج التي يمكن أن تتعلم من البيانات وتحسين أدائها مع مرور الوقت.
3. البرمجة: الذكاء الاصطناعي يتضمن عادة برمجة صريحة للمهام والسلوكيات، بينما تعلم الآلة ينطوي على تدريب النماذج باستخدام البيانات للتعلم وتحسين الأداء تلقائيًا.

ALLaM-7B-Arabic-SFT

الذكاء الاصطناعي (AI) هو مجال واسع من علوم الحاسوب يركز على إنشاء آلات ذكية قادرة على أداء المهام التي تتطلب عادة الذكاء البشري، مثل الإدراك البصري، والتعرف على الكلام، واتخاذ القرارات، وترجمة اللغة.

تعلم الآلة (ML)، وهو فرع من الذكاء الاصطناعي، هو عملية تدريب خوارزميات الكمبيوتر للتعرف على الأنماط وإجراء التنبؤات استنادًا إلى البيانات. إنه يتيح للآلات التعلم والتحسن من التجربة دون أن يتم برمجتها بشكل صريح لأداء مهمة معينة.

باختصار، الذكاء الاصطناعي هو الهدف العام لإنشاء آلات ذكية، بينما تعلم الآلة هو الطريقة المحددة المستخدمة لتحقيق هذا الهدف من خلال تعليم الآلات التعرف على الأنماط وإجراء التنبؤات استنادًا إلى البيانات.

لخص فوائد المشي اليومي في فقرة واحدة.

Base ALLaM-7B

يوفر المشي اليومي مجموعة من الفوائد، بما في ذلك تحسين الصحة البدنية والعقلية، وزيادة مستويات الطاقة، وتقليل التوتر، وتحسين النوم، وتعزيز الرفاهية العامة. كما يساعد المشي المنتظم على تقليل خطر الأمراض المزمنة مثل أمراض القلب والسمنة والسكري، مما يجعله جزءًا أساسيًا من نمط حياة صحي. بالإضافة إلى ذلك، يمكن أن يعزز المشي الاتصال الاجتماعي، ويقلل من التوتر، ويعزز الإبداع، مما يجعله نشاطًا مثاليًا للحفاظ على الصحة الجسدية والعقلية.

ALLaM-7B-Arabic-SFT

يوفر المشي اليومي العديد من الفوائد الصحية، بما في ذلك تحسين صحة القلب والأوعية الدموية، وزيادة قوة العضلات ومرونتها، وتقليل خطر الإصابة بأمراض مزمنة مثل أمراض القلب والسكري والسرطان. كما يساعد المشي المنتظم على تعزيز المزاج، وتقليل التوتر والقلق، وتحسين الوظائف الإدراكية، مما يجعله نشاطًا مثاليًا للحفاظ على الصحة العامة والرفاهية. بالإضافة إلى ذلك، يمكن أن يعزز المشي في الهواء الطلق الاتصال بالطبيعة، مما يوفر استراحة من ضغوط الحياة اليومية وفرصة للاستمتاع بجمال العالم الطبيعي.

أعد صياغة هذه الجملة بأسلوب أدبي: ذهبت إلى السوق واشتريت الخبز.

Base ALLaM-7B

بكل سرور، إليك إعادة صياغة الجملة بأسلوب أدبي: "توجّهت إلى السوق، وابتعت رغيفًا من الخبز الطازج."

ALLaM-7B-Arabic-SFT

تجولت في السوق المزدحم، حيث كانت روائح الخبز الطازج تملأ الهواء، واخترت رغيفًا دافئًا وناعمًا لأحضانه.

اقترح خطة من خمس خطوات لتعلم البرمجة بلغة بايثون للمبتدئين.

Base ALLaM-7B

1. ابدأ بالأساسيات: تعلم أساسيات لغة برمجة Python، مثل المتغيرات، أنواع البيانات، وهياكل التحكم.
2. قم ببناء أساس قوي في مفاهيم البرمجة: قم بتغطية المفاهيم الأساسية للبرمجة مثل الحلقات، الوظائف، والمصفوفات.
3. قم بتطبيق معرفتك: قم بإنشاء برامج بسيطة باستخدام Python، مثل آلة حاسبة أو برنامج قائمة المهام.
4. قم بتوسيع معرفتك: قم بتعلم مكتبات Python مثل NumPy و Pandas و Matplotlib، التي يمكن أن تساعدك على إنشاء تطبيقات أكثر تعقيدًا.
5. قم بالتدريب بانتظام: قم بالتدريب بانتظام على كتابة الكود، حل المشكلات، والمشاركة في تحديات البرمجة عبر الإنترنت لتعزيز فهمك لـ Python.

ALLaM-7B-Arabic-SFT

1. ابدأ بالأساسيات: ابدأ بفهم أساسيات لغة بايثون، بما في ذلك بناء الجمل، وأنواع البيانات، وهياكل التحكم، والوظائف. استخدم الموارد عبر الإنترنت مثل Codecademy أو Coursera أو Udemy للبدء.
2. تمرن على كتابة الكود: بمجرد أن يكون لديك فهم جيد للأساسيات، ابدأ في كتابة كود بايثون الخاص بك. ابدأ بمشاريع بسيطة مثل إنشاء آلة حاسبة أساسية، أو برنامج لحساب المتوسط ​​الرقمي، أو لعبة بسيطة.
3. تعلم هياكل البيانات والخوارزميات: بعد أن تتقن الأساسيات، تعلم هياكل البيانات مثل القوائم والمجموعات والقواميس، بالإضافة إلى الخوارزميات مثل الفرز والبحث. سيساعدك هذا على كتابة كود أكثر كفاءة وفعالية.
4. اقرأ الكود الموجود: اقرأ الكود المكتوب بواسطة الآخرين لفهم أفضل للممارسات الجيدة وأفضل الممارسات. يمكنك العثور على الكود على GitHub أو Stack Overflow أو مواقع أخرى.
5. شارك في مشاريع مفتوحة المصدر: شارك في مشاريع مفتوحة المصدر للمساهمة في المجتمع وتعلم من المطورين ذوي الخبرة. سيساعدك هذا أيضًا على بناء محفظتك وإظهار مهاراتك لأصحاب العمل المحتملين.

اكتب تغريدة حماسية عن مباراة كرة قدم انتهت بفوز في الدقيقة الأخيرة.

Base ALLaM-7B

إليك تغريدة حماسية عن مباراة كرة قدم انتهت بفوز في الدقيقة الأخيرة: "في اللحظات الأخيرة، عندما ظن الجميع أن المباراة ستنتهي بالتعادل، سجل فريقنا هدفًا رائعًا! هذا هو الروح الرياضية الحقيقية! #فوز_في_الوقت_المناسب #لا_يأس_مع_الحياة". هذه التغريدة تعكس الحماس والإثارة التي تصاحب المباريات الحاسمة، وتبرز أهمية الروح الرياضية وعدم الاستسلام حتى اللحظة الأخيرة.

ALLaM-7B-Arabic-SFT

ها هي تغريدة حماسية عن مباراة كرة قدم انتهت بفوز في الدقيقة الأخيرة:

"يا له من فوز مذهل! كانت قلوبنا في حناجرنا، لكن فريقنا أظهر لنا ما هو ممكن عندما نؤمن ببعضنا البعض. تهانينا على هذا الانتصار الرائع! #فوز_في_الدقيقة_الأخيرة #لا_تستسلم_أبداً #فخر_الفريق"

كيف أحسب النسبة المئوية للزيادة إذا ارتفع السعر من 80 إلى 100؟

Base ALLaM-7B

لحساب النسبة المئوية للزيادة عندما يرتفع السعر من 80 إلى 100، يمكنك اتباع الخطوات التالية: أولاً، يجب أن نفهم الفرق بين القيمتين. الفرق بين 80 و100 هو 20. بعد ذلك، نحسب النسبة المئوية لهذا الفرق بالنسبة للقيمة الأصلية (80). الصيغة هي كالتالي:

$$ \text{النسبة المئوية للزيادة} = \left( \frac{\text{الفرق}}{\text{القيمة الأصلية}} \right) \times 100 $$

لذا، في حالتك:

$$ \text{النسبة المئوية للزيادة} = \left( \frac{20}{80} \right) \times 100 = 25% $$

هذا يعني أن السعر زاد بنسبة 25% عن السعر الأصلي البالغ 80.

ALLaM-7B-Arabic-SFT

لحساب النسبة المئوية للزيادة، يمكنك استخدام الصيغة التالية: (القيمة الجديدة - القيمة الأصلية) / القيمة الأصلية * 100. هذا يعني أنك ستطرح السعر الأصلي البالغ 80 من السعر الجديد البالغ 100، ثم تقسم على السعر الأصلي، وأخيرًا تضرب في 100 للحصول على النسبة المئوية.

لذا، ستكون العملية الحسابية كالتالي: (100 - 80) / 80 * 100 = 25%. وهذا يعني أن السعر قد زاد بنسبة 25% عن السعر الأصلي.

Limitations

• Gains are small (ArabicMMLU +1.4, Arabic EXAMS +3.8, ACVA -1.1). In the samples the tuned model is not uniformly better; read them before choosing it over the base.
• Trained one epoch on translated data (SmolKalam is a machine translation of SmolTalk2, ensemble-filtered). Dialect coverage follows the source and is mostly Modern Standard Arabic.
• Benchmarks are multiple-choice log-likelihood; they do not measure long-form writing quality. Read the samples.
• The training data follows the SmolTalk2 upstream licences; review them before commercial use.

Usage (llama.cpp)

llama-cli -m ALLaM-7B-Arabic-SFT-Q4_K_M.gguf -ngl 99 -cnv

Built by

Built by Mohamed Haddaji Mastouri, founder of Kaidris LLC.

Kaidris is a boutique AI and enterprise-transformation advisory: practical AI that ships, from strategy to production. Services: AI strategy and use-case design, agentic and multi-agent systems, LLM solutions (fine-tuning, quantization, deployment), AI governance and evaluation, enterprise integration including SAP, and fractional AI leadership.

Website: https://kaidris.com/ · Model listing: https://kaidris.com/tools · Contact: contact@kaidris.com