Sentence embeddings for finetuned on Moroccan Darija.

This is a sentence-transformers model finetuned from BounharAbdelaziz/XLM-RoBERTa-Morocco on the triplet, negation_triplet, pair_score and english_non_english datasets. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BounharAbdelaziz/XLM-RoBERTa-Morocco
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Datasets:
  • triplet
  • negation_triplet
  • pair_score
  • english_non_english
• Language: ar
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("atlasia/XLM-RoBERTa-Morocco-bs-32-lr-2e-05-ep-2-wp-0.05-gacc-1-gnm-1.0-v0.3")
# Run inference
sentences = [
    'تلاتة د الكلاب فالتلج.',
    'تلاتة د الكلاب برا.',
    'ما كاين حتى كلب برا.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

• Datasets: triplet-evaluator-dev and negation-triplet-evaluator-dev
• Evaluated with TripletEvaluator

Semantic Similarity

• Datasets: pair-score-evaluator-dev and atlasia_sent_embd_bench-evaluator-dev
• Evaluated with EmbeddingSimilarityEvaluator

Translation

• Dataset: english_non_english-evaluator-dev
• Evaluated with TranslationEvaluator

Training Details

Training Datasets

triplet

• Dataset: triplet at c16b85f
• Size: 73,178 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 7 tokens mean: 24.25 tokens max: 106 tokens	min: 17 tokens mean: 215.8 tokens max: 512 tokens	min: 16 tokens mean: 213.93 tokens max: 512 tokens

• Samples:

  anchor	positive	negative
  تومي لي، اللي كان متزوج من قبل من باميلا أندرسون، كان الطبال اللي نجح فالفرقة ديال المعادن الثقيلة فالثمانينات؟	باميلا أندرسون كيسوق القوانين فصناعة النقل البري الخاصة. أندرسون تزوج من تومي لي، عازف الطبلة ديال موتلي كرو، فـ19 فبراير 1995، بعد ما عرفوه تقريبا 96 ساعة، ولا 4 أيام. تزوجو فالبلاج، و أندرسون لابس بيكيني. أم أندرسون ما عرفتش، وعلمات بالزواج من مجلة "الناس". خلال هاد الوقت، كانت معروفة مهنيا باسم باميلا أندرسون لي. عندهم جوج ولاد مع بعضهم: براندون توماس (ولدت فـ5 يونيو 1996) و ديلان جاغر (ولدت فـ29 دجنبر 1997). خلال زواجهم المضطرب، تم اعتقال لي بتهمة الاعتداء الزوجي بعد الاعتداء على أندرسون. حكم عليه بستة ولاد	تومي لي عمرو سنين، وأول طبلة ديالو ملي كان مراهق. لي عندو خت صغيرة، أثينا لي (ناية باس)، اللي كانت تاني الطبلة فالفرقة ديالو الوحيدة كرونك وكان متزوج بجيمس كوتاك، الطبالة للفرقة ديال الروك سكوريبز. كمراهق، لي سمع ل ليد زيبلين، فان هالن، شياب تريك، كيس، أي سي/دي سي وسويت. التأثيرات الرئيسية ديالو ديال الطبلة كانت جون بونهام، تومي ألدريدج، أليكس فان هالن وتيري بوزيو. الفرقة الناجحة الأولى ديالو "سويت 19" لعبات "Sunset Streep" فلوس أنجلوس خلال أواخر السبعينات. تقريبا، تلاقى مع صاحب الفرقة المستقبلية، نيكي سيكس.
  شنو هي الانتفاضة الإنجليزية اللي انتهت بموت واحد من القادة ديالها وات تايلر فـ يونيو 1381؟	وات تايلر وات والتر "وات" تايلر (مات ف15 يونيو 1381) كان قائد ثورة الفلاحة فـ1381 فـ إنجلترا. مشى مجموعة ديال الثوار من كانتربري للعاصمة باش يعارضو تأسيس ضريبة الاستطلاع ويطالبو بإصلاحات اقتصادية واجتماعية. رغم أن التمرد القصير تمتع بالنجاح المبكر، تايلر قتل على يد الضباط الموالين للملك ريتشارد الثاني خلال المفاوضات فـسميثفيلد، لندن. ما كاين حتى شي حاجة معروفة بالحياة المبكرة ديال وات تايلر. ولد بالاسم الأول والتر، لقبو الأصلي ما كانش معروف. كيعتقد بلي سميتو "تايلر" كيجي من الخدمة ديالو كتيلر على السطح.	وات تايلر تنشر حتى 1813. الرواية الأولى لي فيها Wat Tiler هي "The Bundman ديال السيدة أونيل: قصة ديال أيام وات تايلر" (1833). هو البطل في رواية بيرس إيغان اليونغر "Wat Tyler، ولا التمرد ديال 1381" (1841)، وهي نص متطرف بزاف تنشر فعالي المرحلة الثانية ديال حركة تشارتيست لي دافعات على الحكومة الجمهورية في إنجلترا. رواية إيغان كانت من بعد مختصرة ومسرقة ونشرت كـ "The Life and Adventers of Wat Taler: The Good and the Brave" (1851). وات تايلر هي البطلة في الرواية المتسلسلة المرعبة "Wat
  تأسست من طرف الرئيس الأمريكي ليندون ب جونسون، 'لجنة الرئيس المعنية باغتيال الرئيس كينيدي' كانت معروفة بشكل غير رسمي بأي اسم؟	لجنة وارن لجنة وارن لجنة الرئيس المعنية باغتيال الرئيس كينيدي، المعروفة بشكل غير رسمي باسم لجنة وارن، أسسها الرئيس ليندون ب. جونسون حتى 29 نوفمبر 1963 للتحقيق في اغتيال الرئيس الأمريكي جون ف. كينيدي اللي وقع في 22 نوفمبر 1963. الكونغرس الأمريكي أصدر قرار مشترك لمجلس الشيوخ 137 كيأذن للجنة الرئيس المعينة بتقديم تقرير على اغتيال الرئيس جون ف. كينيدي، وفرض الحضور وشهادة الشهود وتقديم الأدلة. التقرير النهائي ديالو من 888 صفحة قدم للرئيس جونسون في 24 سبتمبر 1964 وعلن على الناس تلاتة	تنصيب ليندون ب. جونسون الأول ديال ليندون ب. جونسون التنصيب الأول ديال ليندون ب. جونسون كرئيس 36 ديال الولايات المتحدة نهار الجمعة، 22 نوفمبر 1963، على متن القوات الجوية وان فيلد، بعد اغتيال الرئيس جون ف. كينيدي قبل هاد النهار. التنصيب كان بداية الولاية الأولى (مدة جزئية) ديال ليندون ب. جونسون كرئيس. هادي كانت تامن تنصيب غير مخطط وغير عادي تم منين تأسس الرئاسة في 1789. ف 12:30 مساء بتوقيت سنترال ستاندرال تايم في 22 نوفمبر، كينيدي تعرض لإطلاق النار في دالاس وهو راكب مع الرئيس

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          512,
          256,
          128,
          64,
          32
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

negation_triplet

• Dataset: negation_triplet at c16b85f
• Size: 10,000 training samples
• Columns: anchor, entailment, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	entailment	negative
  type	string	string	string
  details	min: 7 tokens mean: 22.79 tokens max: 90 tokens	min: 4 tokens mean: 12.2 tokens max: 53 tokens	min: 5 tokens mean: 13.41 tokens max: 53 tokens

• Samples:

  anchor	entailment	negative
  جوج ناس كيحضرو اللحم على گريل فجنب الزنقة وواحد فيهم لابس ماسك والآخر حاني راسو للتحت.	جوج رجال كيطيبو برا.	جوج رجال ما كيطيبوش برا.
  الناس كيمشيو فالمدينة فالزنقة، والبيسكليتات واقفين على ليسر ديال الصورة.	الناس كيدوزو حدا البيسكليتات لي واقفين.	الناس ما كيمشيوش حدا البيسكليتات لي واقفين.
  واحد الولد مراهق كيتمرن بالسيف فالصالة مع الفريق ديالو.	واحد الولد شاد سيف.	الولد ماشي شاد سيف.

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          512,
          256,
          128,
          64,
          32
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

pair_score

• Dataset: pair_score at c16b85f
• Size: 200,000 training samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 4 tokens mean: 26.68 tokens max: 115 tokens	min: 4 tokens mean: 15.19 tokens max: 41 tokens	min: 0.0 mean: 0.51 max: 1.0

• Samples:

  sentence1	sentence2	score
  واحد الولد صغير وواحد البنت صغيرة كيتمتعو بركوب، فالطوموبيل.	واحد الولد صغير وواحد البنت صغيرة واقفين فالطوموبيل على جنب الطريق	0.0
  واحد الولد صغير فالصحرا گالس على حمار مقلوب.	الولد الصغير كيتسنى باش يجيوه من الصحرا.	0.5
  تفكر فيه السيد كارتر.	السيد كارتر ما كانش فبالو نهائيا.	0.0

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

english_non_english

• Dataset: english_non_english at c16b85f
• Size: 354,112 training samples
• Columns: english and non_english
• Approximate statistics based on the first 1000 samples:

  	english	non_english
  type	string	string
  details	min: 3 tokens mean: 120.77 tokens max: 512 tokens	min: 3 tokens mean: 133.74 tokens max: 512 tokens

• Samples:

  english	non_english
  Keeping records and writing reports are important tasks in a language school, as they provide valuable information about the students' progress and can help you to plan future lessons. Here are some tips that might help you to keep organized: 1. Use digital tools: You can use digital tools like spreadsheets, note-taking apps, or dedicated software to keep records. This will make it easier to store, access, and share the information you need. 2. Set up a system: Determine what information you need to record and create a system for doing so. For example, you could create a template for each lesson that includes the date, the topics covered, and any notes on the students' progress. 3. Be consistent: Make sure to record information after each lesson and keep the records up to date. This will help you to remember what you covered in previous lessons and to track the students' progress over time. 4. Keep it simple: Don't try to record too much information, as this can be overwhelming and ti...	الاحتفاظ بالسجلات وكتابة التقارير مهمين بزاف فمدرسة اللغة، حيت كيعطيو معلومات مفيدة على تقدم الطلبة وكيقدرو يعاونوك باش تخطط للدروس المقبلة. هاكي شي نصائح اللي ممكن يعاونوك تبقى منظم: 1. استعمل الأدوات الرقمية: تقدر تستعمل أدوات رقمية بحال spreadsheets، تطبيقات تدوين الملاحظات، ولا برامج مخصصة باش تحتفظ بالسجلات. هادشي غادي يسهل عليك تخزين وولوج ومشاركة المعلومات اللي محتاجها. 2. دير نظام: حدد المعلومات اللي محتاج تسجلها ودير نظام باش تدير هادشي. مثلا، تقدر تصاوب نموذج لكل درس اللي كيتضمن التاريخ، المواضيع اللي تغطات، وأي ملاحظات على تقدم الطلبة. 3. كون متناسق: تأكد باش تسجل المعلومات بعد كل درس وخلي السجلات محدثة. هادشي غادي يعاونك تتفكر شنو غطيتي فالدروس السابقة وتتبع تقدم الطلبة مع الوقت. 4. خليه بسيط: ماتحاولش تسجل بزاف ديال المعلومات، حيت هادشي يقدر يكون مرهق وكياخد الوقت. ركز على التفاصيل الأكثر أهمية وخلي السجلات موجزة وساهلة للقراية. 5. استعمل التقارير باش تتبع التقدم: استعمل التقارير باش تلخص تقدم الطلبة وتعطي الفيدباك. التقارير تقدر تستعمل باش تحدد المجالات فين الطلبة محتاجي...
  Identify the parts of speech for the words in bold. The town hosted a popular festival.	حدد أقسام الكلام للكلمات اللي بالخط الغليظ. المدينة دارت مهرجان مشهور.
  Answer the following question. A company has 500 employees, each paid $12 per hour, working 10 hours a day, five days a week, 4 weeks a month. In August, the amount of work increased, and the company hired 200 more people. How much money does the company pay in total per month after the new hires? Step-by-step reasoning process: The total pay per employee in a day is 12 * 10 = $120. An employee works for 5 * 4 = 20 days in a month. The total amount of money paid to each employee monthly is 20 * 120 = $2400. When the number of employees increased to 500 + 200 = 700 after the new hires in August. The company pays a total of 700 * 2400 = $1680000 per month to its employees. The answer is 1680000. Answer the following question. Yesterday, David and William were invited to a party. David broke 2 glasses, while his friend William broke 4 times the number of glasses David broke. How many glasses were broken? Step-by-step reasoning process: William broke 4 * 2 = 8 glasses. So, David and Willi...	جاوب على السؤال التالي. واحد الشركة عندها 500 موظف، كل واحد كيتخلص 12 دولار فالساعة، كيخدمو 10 ساعات فالنهار، خمس أيام فالسيمانة، 4 سيمانات فالشهر. فشهر غشت، زاد الخدمة وزادت الشركة 200 موظف جديد. شحال كتخلص الشركة فالمجموع كل شهر من بعد ما زادت الموظفين الجداد؟ طريقة التفكير خطوة بخطوة: الخلاص ديال كل موظف فالنهار هو 12 * 10 = 120 دولار. الموظف كيخدم 5 * 4 = 20 يوم فالشهر. المبلغ الإجمالي اللي كيتخلص كل موظف شهريا هو 20 * 120 = 2400 دولار. ملي زاد عدد الموظفين ل 500 + 200 = 700 من بعد التوظيف الجديد فغشت. الشركة كتخلص فالمجموع 700 * 2400 = 1680000 دولار كل شهر للموظفين ديالها. الجواب هو 1680000. جاوب على السؤال التالي. البارح، داود ووليام تعيطو لواحد الحفلة. داود كسر 2 ديال الكيسان، بينما صاحبو وليام كسر 4 مرات العدد ديال الكيسان اللي كسر داود. شحال من كاس تكسر فالمجموع؟ طريقة التفكير خطوة بخطوة: وليام كسر 4 * 2 = 8 كيسان. إذن، داود ووليام كسرو 8 + 2 = 10 كيسان. الجواب هو 10. جاوب على السؤال التالي. فواحد الحانوت الجديد، كاين 3 مرات بزاف ديال الحلوى ديال العنب على قد الحلوى ديال الك...

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          512,
          256,
          128,
          64,
          32
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Evaluation Datasets

triplet

• Dataset: triplet at c16b85f
• Size: 73,178 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 7 tokens mean: 22.88 tokens max: 70 tokens	min: 110 tokens mean: 220.64 tokens max: 512 tokens	min: 50 tokens mean: 214.82 tokens max: 512 tokens

• Samples:

  anchor	positive	negative
  فين كانت معركة بالاكلافا (بما فيها تهمة اللواء الخفيف)؟	تهمة اللواء الخفيف من البطالة الطويلة المدى. تهمة اللواء الخفيف تهمة سلاح الفرسان الخفيف البريطاني بقيادة اللورد كارديغان ضد القوات الروسية خلال معركة بالاكلافا في 25 أكتوبر 1854 في حرب القرم. القائد البريطاني اللورد راغلان كان باغي يصيفط اللواء الخفيف باش يمنع الروس من إزالة الأسلحة المأسورة من المواقع التركية المتجاوزة، وهي مهمة كان الفرسان الخفيف مناسبين ليها مزيان. ولكن، كان هناك سوء تواصل في سلسلة القيادة، واللواء الخفيف تم إرسالو لهجوم أمامي ضد بطارية مدفعية مختلفة، واحد جاهز مزيان	تهمة اللواء الخفيف (1968 فيلم) قضية Lansers 17، خطوط بيضة مزدوجة. فواحد المشهد واحد من الجنود ديال 17 كيتم تصويرو بشكل صحيح. تصوير الفيلم لمعركة بالاكلافا كيبين الهجوم الروسي الأولي على القوات المسلحة وبطبيعة الحال تهمة اللواء الخفيف، ولكن إيلايد موقف هايلاندرز 93 ("Thin Red Line") وشحن اللواء الثقيل. حسب المدير طوني ريتشاردسون، تم تصوير مشهد اللواء الثقيل ولكن تم قطعو من بعد على حساب الستوديو. بنفس الطريقة تبين أن فاني دوبرلي تم إغواءها من طرف اللورد كارديغان؛ رغم أنها كانت فاللورد Cargan؛
  "من تبنى اللقب "Montbatten" ف 1947؟"	عائلة جبل باتن كاريزبروك و ميلفورد هافن، وكذلك إيرلز مونتباتن ديال بورما. الأمير فيليب ديال اليونان والدنمارك، صاحب الملكة إليزابيث الثانية، تبنا عائلة جبل باتن من عائلة موه ف 1947، رغم أنه عضو فدار شليسفيغ هولستين-سوندربورغ-غلوكسبورغ بالنسب الأبوي. السيدة لويز مونتباتن ولات ملكة كونسورت ديال السويد، بعد ما تزوجات غوستاف السادس أدولف ديال السويد. عائلة مونتباتن هي فرع من الدار الألمانية ديال باتنبرغ. عائلة باتنبرغ كانت فرع منظم ديال دار هيس-دارمستادت، حاكمة الدوشي الكبير ديال هيس فألمانيا. العضو الأول	عائلة مونتباتن فالمجلس لي صدرات فـ 1960، لي ما تطبقش بشكل مستمر. رغم أن الأمر كيطبق بالتحديد اسم العائلة "Montbatten-Windsor" على الأحفاد الذكور ديال إليزابيث اللي ما عندهمش أساليب و ألقاب ملكية، "Montbatten-Windsor" تم استخدامو رسميا من طرف بعض الأحفاد ديالها اللي "do" عندهم ستيلات ملكية. اللقب كان أول استخدام رسمي من طرف الأميرة آن فـ 1973، فالسجل ديال العرس باش يتزوجو مارك فيليبس. الأمير ويليام وزوجته كاترين استخدمو سميتي "Monseur و Mداما Muntbaten-Windsor" فـ تقديم دعوى قضائية فرنسية ضد المجلة الفرنسية "Clouser". Montbatten-Windsor كيختلف على الاسم الرسمي ديال العائلة الملكية البريطانية ولا
  شنو هو الواد الكبير اللي كيدخل لخليج غينيا؟	خليج غينيا كيعطي وصف شامل: سمية "غينيا" كانت كتطبق حتى على الساحل الجنوبي ديال غرب إفريقيا، شمال خليج غينيا، اللي ولات كتسمى "غينيا الكبرى"، والساحل الغربي ديال جنوب إفريقيا، فالشرق، اللي ولات كتسمى "غينيا السفلى". سمية "غينيا" مازال كتربط مع أسماء ثلاثة بلدان فإفريقيا: غينيا وغينيا بيساو وغينيا الاستوائية، وكذلك غينيا الجديدة فملانيسيا. النهر الرئيسي اللي كيهز المياه ديالو فالغولف هو نهر النيجر. كاينين تعريفات مختلفة للحدود الجغرافية ديال خليج غينيا؛ المنظمة الهيدروغرافية الدولية	خليج غينيا كيعرف المدى الجنوبي الغربي ديال خليج غينيا على أنه "خط من كاب لوبيز ()، في الغابون، في الشمال الغربي حتى إلى إيهليو غاغو كوتينهو (إيلهيو داس رولاس) ()؛ ومن بعد خط من إيهليو غاغو كوتينهو في الشمال الغربي حتى كيب بالماس ()، في ليبيريا. خليج غينيا فيه عدد من الجزر، أكبرها في سلسلة جنوب غربية وشمال شرقية، كتشكل جزء من خط الكاميرون ديال البراكين. أنوبون، اللي كيتسمى تاني باغالو ولا بيغالو، هي جزيرة جزء من غينيا الاستوائية. جزيرة بوبواسي هي جزيرة قبالة الساحل الغربي ديال إفريقيا في خليج غينيا

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          512,
          256,
          128,
          64,
          32
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

negation_triplet

• Dataset: negation_triplet at c16b85f
• Size: 10,000 evaluation samples
• Columns: anchor, entailment, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	entailment	negative
  type	string	string	string
  details	min: 9 tokens mean: 22.22 tokens max: 84 tokens	min: 5 tokens mean: 12.62 tokens max: 33 tokens	min: 6 tokens mean: 14.06 tokens max: 35 tokens

• Samples:

  anchor	entailment	negative
  جوج رجال، واحد واقف والآخر گالس فالأرض كيحاولو يضاربو ثور والغبرة ديال الحركة كتطير.	جوج كاوبوي كيحاولو يضربو ثور.	جوج كاوبوي ما كيحاولوش يضربو ثور.
  وحدة المرا لابسة الكحل كتبان بحال السيلويت قدام سما مغيمة.	وحدة المرا لابسة الكحل واقفة قدام خلفية غيمة ومظلمة.	المرا اللي لابسة الكحل ما كتوقفش قدام خلفية غيمة ومظلمة.
  دري لابس قميجة زرقة كيلعب فالملعب.	دري كيلعب ف الملعب لابس قميجة زرقة	دري ما كيلعبش ف الملعب لابس قميجة كحلة

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          512,
          256,
          128,
          64,
          32
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

pair_score

• Dataset: pair_score at c16b85f
• Size: 200,000 evaluation samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 8 tokens mean: 26.93 tokens max: 133 tokens	min: 6 tokens mean: 15.01 tokens max: 42 tokens	min: 0.0 mean: 0.54 max: 1.0

• Samples:

  sentence1	sentence2	score
  همسات لراسها، بحال إلا نسات بلي كنت معاك: 'هاد الكلمات القليلة، وكلشي تبدل.' ومن بعد قالت ليا: 'ما تثيقش فشي راجل، دوركاس، ما يستاهلوش!' مشيت بسرعة، وجبت ليها كاس ديال أتاي قوي ومزيان، وشكراتني، وقالت ليا غادي تحسن ملي تشربو.	هي هضرات، ولكن كانت لراسها ماشي ليا.	1.0
  آه آه وزيد ما عجبنيش هاد الاتفاق مع ستاد الكاوبويز فين باش تلقى بلاصة مزيانة خاصك تشري تيكي ديال الموسم	كنظن خاص تكون شي بيعات مزيانة لأي واحد غير باغي يمشي لشي ماتش واحد	0.5
  واحد الگيتاريست كيعزف قدام الناس على آلة حمرا محاط بالزملاء ديالو فالفرقة تحت ضو بيض كيجري.	راجل كيسوق طوموبيل.	0.0

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

english_non_english

• Dataset: english_non_english at c16b85f
• Size: 354,112 evaluation samples
• Columns: english and non_english
• Approximate statistics based on the first 1000 samples:

  	english	non_english
  type	string	string
  details	min: 5 tokens mean: 126.42 tokens max: 512 tokens	min: 5 tokens mean: 138.9 tokens max: 512 tokens

• Samples:

  english	non_english
  Let's do it gradually: A person use an expressway in american city to get around quickly.... So the answer is american city.	خلينا نديروها بالتدريج: الواحد كيستعمل الطريق السريع فالمدينة الأمريكية باش يتنقل بسرعة.... إذن الجواب هو مدينة أمريكية.
  you are to to develop vaccination strategies to specifically boost antiviral CD8+ T cell responses in people previously infected with SARS-CoV-2. What would you try? what has been tried before and could be improved?	انت خاصك تطور استراتيجيات ديال التلقيح باش تزيد من ردود فعل الخلايا التائية CD8+ المضادة للفيروسات عند الناس اللي سبق ليهم تصابو ب SARS-CoV-2. شنو غادي تجرب؟ شنو هوما الحوايج اللي تجربو من قبل و ممكن يتحسنو؟
  ## Mark Down
  Title: The Benefits of Meditation
  Introduction: Meditation has been practiced for thousands of years and has gained popularity in recent years as a tool for reducing stress and improving overall well-being. There are many benefits to meditation, including physical, mental, and emotional benefits.
  Body:
  - Physical benefits: Meditation has been shown to reduce blood pressure, lower the risk of heart disease, and improve sleep quality.
  - Mental benefits: Regular meditation can help reduce symptoms of anxiety and depression, improve focus and attention, and increase feelings of happiness and well-being.
  - Emotional benefits: Meditation can help individuals develop a greater sense of self-awareness, cultivate empathy and compassion, and improve relationships with others.
  Conclusion: Incorporating regular meditation into your daily routine can have numerous benefits for your physical, mental, and emotional health. Whether you are new to ...	## Mark Down
  العنوان: فوايد الميديتاسيون
  المقدمة: الميديتاسيون كانت كتمارس هادي آلاف السنين و ولات مشهورة فهاد السنين الأخيرة كوسيلة باش نقصو من الستريس و نحسنو الصحة بشكل عام. كاينين بزاف د الفوايد للميديتاسيون، بما فيهم الفوايد الجسدية و العقلية و العاطفية.
  الموضوع:
  - الفوايد الجسدية: الميديتاسيون بينات بلي كتنقص الضغط د الدم، كتقلل من خطر أمراض القلب، و كتحسن جودة النعاس.
  - الفوايد العقلية: الميديتاسيون المنتظمة كتقدر تساعد فتنقيص أعراض القلق و الاكتئاب، كتحسن التركيز و الانتباه، و كتزيد من الشعور بالسعادة و الراحة.
  - الفوايد العاطفية: الميديتاسيون كتقدر تساعد الناس باش يطورو وعي أكبر بالذات، يزرعو التعاطف و الشفقة، و يحسنو العلاقات مع الآخرين.
  الخاتمة: إدخال الميديتاسيون المنتظمة فالروتين اليومي ديالك يمكن يكون عندو بزاف د الفوايد على الصحة الجسدية و العقلية و العاطفية ديالك. سواء كنتي جديد فالميديتاسيون ولا كنتي كتمارسها هادي سنين، تاخد الوقت كل نهار باش تهدي عقلك و تركز على التنفس ديالك يقدر يساعدك تحسن الصحة ديالك بشكل عام.
  **سؤال مطر...

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          512,
          256,
          128,
          64,
          32
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

atlasia_sent_embd_bench

• Dataset: atlasia_sent_embd_bench at 1a54511
• Size: 725 evaluation samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 725 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 4 tokens mean: 12.5 tokens max: 47 tokens	min: 4 tokens mean: 10.58 tokens max: 38 tokens	min: 0.01 mean: 0.69 max: 1.0

• Samples:

  sentence1	sentence2	score
  فين كاين سوق الخميس؟	فين هو سوق الخميس؟	0.95
  بغيت نمشي لمراكش.	غادي نمشي لمراكش.	0.84
  كليت طاجين باللحم.	كليت طاجين باللحم والبرقوق.	0.85

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• num_train_epochs: 2
• warmup_ratio: 0.05
• bf16: True
• fp16_full_eval: True
• load_best_model_at_end: True
• push_to_hub: True
• gradient_checkpointing: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.05
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: True
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: True
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 3.3.1
• Transformers: 4.49.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.1.1
• Datasets: 2.21.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}