RoBERTa Amharic Text Embedding Medium

This is a sentence-transformers model finetuned from yosefw/roberta-base-am-embed on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: yosefw/roberta-base-am-embed
• Maximum Sequence Length: 510 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json
• Language: en
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 510, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("yosefw/roberta-amharic-embed-base")
# Run inference
sentences = [
    'አፀፋዊ እርምጃዉ ሻዕቢያ ለሚፈፅማቸው ጥፋቶች ቆም ብሎ እንዲያስብ የሚያደርግ መሆኑን ተገለጸ',
    'ሃላፊው ባሳለፍነው ሳምንት መጨረሻ በኤርትራ ጦር ላይ የተወሰደውን አፀፋዊ እርምጃ አስመልክተው በሰጡት ጋዜጣዊ መግለጫ፥ እርምጃው የኤርትራ መንግስት የሚያደርጋቸውን ትንኮሳዎች ሊያስቆም ይችላል የሚል እምነት እንዳላቸውም ገልጸዋል።በዚህ አጸፋዊ እርምጃ የተፈለገው ውጤት መገኘቱን ጠቅሰው፥ በኢትዮ – ኤርትራ ድንበር አካባቢ ከዚህ በኋላ ለሚፈጠር ችግርም የኤርትራ መንግስት ተጠያቂ መሆኑን ነው አጽንኦት ሰጥተው የተናገሩት።የኤርትራ መንግስት ከዚህ በኋላ የሚያደርገውን ትንኮሳ ከቀጠለ፥ መንግስት የሚወስደውን ተመጣጣኝ እርምጃ እንደሚቀጥልም ገልጸዋል።ሃገራቱ ወደ ጦርነት የሚገቡበት እድል ስለመኖሩ ለቀረበላቸው ጥያቄም፥ ሁኔታዎች የኤርትራ መንግስት በሚያደርጋቸው እንቅስቃሴዎች ላይ የተመሰረቱ ናቸው ብለዋል።ከዚህ ባለፈ ግን ከደረሰበት ኪሳራ እና ካለበት ሁኔታ አንጻር፥ የኤርትራ መንግስት ወደ ጦርነት ሊገባ እንደማይችል አስረድተዋል።በአሁኑ ወቅት የኢፌዴሪ መከላከያ ሰራዊት የሚፈለገውን ግብ አሳክቶ ወደ ቦታው መመለሱንም ነው ያስረዱት።ከአል ሸባብ ጋር ተያይዞ በሰጡት መግለጫም፥ ቡድኑ በሶማሊያ የኢትዮጵያን የጦር ቤዝ ለመቆጣጠር ያደረገው ጥረት እንዳልተሳከለት እና ከፍተኛ ኪሳራ እንደደረሰበት ጠቅሰዋል።መሰል የአል ሸባብ ጥቃቶች በሰላም አስከባሪ ሃይሎች ላይ እንደሚፈጸሙ አንስተው፥ የኢፌዴሪ መከላከያ ሰራዊት በሌሎች ሃገራት ካገኘው ተሞክሮ በመነሳት በቡድኑ ላይ ጠንካራ አፀፋዊ እርምጃ መውሰዱን አውስተዋል።አቶ ጌታቸው መከላከያ ሰራዊቱ በአሁኑ ሰአት በመደበኛ የሰላም ማስከበር ተልዕኮው ይገኛልም ነው ያሉት። (ኤፍ ቢ ሲ)',
    'በቅርቡ ኦፌኮን የተቀላቀሉት ጃዋር መሃመድ የፌደራል ፖሊስ ሲያደርግላቸው የነበረውን ጥበቃ ከ እሁድ ጥር 17/2012 ጀምሮ ማንሳቱን የኦሮሚያ ብሮድካስት ኮርፖሬሽን አስታወቀ፡፡ኦቢኤን በምሽት ሁለት ሰአት ዜናው ላይ አንዳስነበበው መንግስት ለማንኛውም ተፎካካሪ ፓርቲ አመራርም ሆነ አባል የግል ጥበቃ ስለማያደርግ እና አሰራሩም ስለማይፈቅድ ጥበቃዎቹ እንደተነሱ ፌደረላ ፖሊስ አስታውቋል፡፡አዲስ ማለዳም ባደረገችው ማጣራት ጃዋር ጠባቂዎቻቸው ወደ መደበኛ ስራቸው እንዲመለሱ እንዲያደርጉ የፌደራል ፖሊስ የወንጀል መከላከል ዘርፍ በፃፈው ደብዳቤ ማስታወቁን አረጋግጣለች፡፡አዲስ ማለዳ ወደ ጃዋር መሃመድ በተደጋጋሚ የስልክ ጥሪ ብታደርግም ለግዜው አስተያየት ከመስጠት ተቆጥበዋል፡፡',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Datasets: dim_768 and dim_256
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

json

• Dataset: json
• Size: 40,237 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 5 tokens mean: 14.57 tokens max: 37 tokens	min: 47 tokens mean: 295.23 tokens max: 510 tokens

• Samples:

  anchor	positive
  በጠበቃ የመወከል መብቱ አልተከበረም የተባለ ፍርደኛ ውሳኔ ተቀለበሰ	የፌዴራል ከፍተኛው ፍርድ ቤት በአንድ ተከሳሽ ላይ መጋቢት 13 ቀን 2008 ዓ.ም. በዕድሜ ልክ ጽኑ እስራት እንዲቀጣ የሰጠውን ፍርድ፣ በጠበቃ የመወከል መብቱ አልተከበረም በማለት የፌዴራል ጠቅላይ ፍርድ ቤት ይግባኝ ሰሚ ችሎት ታኅሳስ 14 ቀን 2009 ዓ.ም. ውድቅ አደረገው፡፡የፌዴራል ዓቃቤ ሕግ ወርቁ ከበደ ካሳ የተባለ ግለሰብ የወንጀል ሕግ አንቀጽ 32(1ሀ) እና 539(1ሀ) ሥር የተደነገገውን በመተላለፍ፣ ከባድ የግፍ አገዳደል በመጠቀም ሰው መግደሉን በመጥቀስ ለከፍተኛ ፍርድ ቤት ክስ ያቀርባል፡፡ ከፍተኛው ፍርድ ቤት የዓቃቤ ሕግ አንድ ምስክርን በመስማትና ተከሳሽ በአግባቡ ሊከላከል እንዳልቻለ በመግለጽ፣ በዕድሜ ልክ ጽኑ እስራት እንዲቀጣ ፍርድ መስጠቱን የጠቅላይ ፍርድ ቤት ውሳኔ ያስረዳል፡፡ፍርደኛው ለጠቅላይ ፍርድ ቤት ባቀረበው የይግባኝ አቤቱታ እንደገለጸው፣ ዓቃቤ ሕግ በሥር ፍርድ ቤት ያቀረበው ምስክሮች የሚመሰክሩበት ጭብጥና ያቀረባቸው ምስክሮች በሌላ ተከሳሽ ላይ የሚያስረዱ መሆኑ ተረጋግጧል፡፡ ሌላኛው ተከሳሽም ወንጀሉን መፈጸሙን መርቶ አሳይቷል፡፡ ሒደቱ ይህንን የሚያስረዳ ቢሆንም፣ ፍርድ ቤቱ ይግባኝ ባይን ጥፋተኛ በማለት ቅጣቱን እንደጣለበት አስረድቷል፡፡ በተጨማሪም ጥፋተኛ ሲባል ያቀረበው የቅጣት ማቅለያ እንዳልተያዘለት፣ ቅጣቱ በቅጣት ማንዋሉ መሠረት ሲሰላ ስህተት እንደተፈጸመና አቅም እንደሌለው እየታወቀ ተከላካይ ጠበቃ ሊቆምለት ሲገባ እንዳልቆመለት አስረድቷል፡፡ በሥር ፍርድ ቤት በሰነድ ማስረጃነት የቀረበበት በቀዳሚ ምርመራ አድራጊ ፍርድ ቤት የተሰጠ የምስክር ቃል ሲሆን፣ እሱ የሕግ ዕውቀት የሌለውና የተከሰሰበትም ድንጋጌ ከባድ መሆኑ እየታወቀ፣ ያለ ተከላካይ ጠበቃ መታየቱ ተገቢ አለመሆኑንና ሕገ መንግሥታዊ መብቱ ያልተጠበቀለት መሆኑን አስረድ...
  የሱዳን ጦር እና የቀድሞ የደህንነት ሃይሎች ተጋጩ	አዲስ አበባ፣ ጥር 6፣ 2012 (ኤፍ.ቢ.ሲ) የሱዳን ጦር እና የሱዳን የቀድሞው ፕሬዚዳንት ኦማር ሃሰን አልበሽር ታማኝ ናቸው የተባሉ የደህንነት ሃይሎች ተጋጩ።የቀድሞ የደህንነት አካላት በሰሜናዊ ካርቱም ከባድ መሳሪያዎችን መተኮሳቸውን ነዋሪዎች ተናግረዋል።ከዚህ ባለፈም ከአውሮፕላን ማረፊያው አቅራቢያ የሚገኝን የደህንነት መስሪያ ቤት ህንጻም ተቆጣጥረዋል ተብሏል።የሱዳን ወታደራዊ ምንጮች ደግሞ የመንግሥት ወታደሮች በተቀናቃኞቻቸው የተያዙትን ህንጻዎች መልሰው መቆጣጠራቸውን ገልጸዋል።በተኩስ ልውውጡ አምስት ሰዎች መቁሰላቸውም ነው የተነገረው።የሱዳን ሉዓላዊ ምክር ቤት የቀድሞ የደህንነት ሰዎች በሃገሪቱ መረጋጋት እንዳይሰፍን እያደረጉ ነው በሚል ይወነጅላቸዋል።አሁን ላይ በሃገሪቱ ለሚስተዋለው አመጽና አለመረጋጋትም የቀድሞው የደህንነት ሃላፊ ሳላህ ጎሽ አስተዋጽኦ አድርገዋልም ነው ያለው።የሉዓላዊ ምክር ቤቱ ከፍተኛ የስራ ሃላፊ የሆኑት ጀኔራል ሞሃመድ ሃምዳን ዳጋሎ፥ ድርጊቱን እንደማይታገሱ ተናግረዋል።አሁን ላይ በሃገሪቱ እየታየ ያለው ሰላምና መረጋጋት የሃገሪቱ የቀድሞ ፕሬዚዳንት ኦማር ሃሰን አልበሽር ከስልጣን ከወረዱ በኋላ የተካሄደውን ማሻሻያ ሲቃወሙ በነበሩ አካላት ፈተና ሊገጥመው ይችላል የሚል ስጋትም አጭሯል።ከዚህ ቀደም የተካሄዱ ተቃውሞዎችን ሲመሩ የነበሩ አካላት መሰል ኃላፊነት የጎደላቸው ተግባራት እንዲቆሙ ጥሪ አቅርበዋል።ምንጭ፦ ቢ.ቢ.ሲ
  የ2018 ኦስካር ዕጩዎች ይፋ ተደርገዋል	ለ90ኛ ጊዜ የሚካሄደው የ2018 የኦስካር ሽልማት ዕጩዎች ዝርዝር ከሰሞኑ ይፋ የተደረገ ሲሆን፣ 13 ጊዜ ለሽልማት የታጨው ዘ ሼፕ ኦፍ ዋተር፣ በአመቱ በብዛት በመታጨት ቀዳሚነቱን የያዘ ፊልም ሆኗል፡፡የሮማንቲክ ሳይንስ ፊክሽን ዘውግ ያለው ዘ ሼፕ ኦፍ ዋተር፣ በዘንድሮው የኦስካር ሽልማት በብዛት በመታጨት ታሪክ ቢሰራም፣ በኦስካር ታሪክ 14 ጊዜ በመታጨት ክብረወሰኑን ከያዙት ታይታኒክ፣ ኦል አባውት ኢቭ እና ላላ ላንድ ተርታ በመሰለፍ ሌላ ታሪክ መስራቱ ለጥቂት ሳይሳካለት ቀርቷል፡፡በ24 የተለያዩ ዘርፎች ዕጩዎች በቀረቡበት በዘንድሮው ኦስካር፣ በብዛት በመታጨት የሚመራው በስምንት ዘርፎች የታጨው ዳንኪርክ ሲሆን፣ ስሪ ቢልቦርድስ አውትሳይድ ኢቢንግ ሚሱሪ በ7፣ ፋንተም ትሬድ በ6 ይከተላሉ፡፡ የ22 አመቱ የፊልም ተዋናይ ቲሞቲ ቻላሜት፣ በኦስካር ታሪክ በለጋ እድሜው ለምርጥ ወንድ ተዋናይነት በመታጨት የሶስተኛነት ደረጃን መያዙን ያስታወቀው ተቋሙ፣ ሁለቱን ደረጃዎች የያዙት ጃኪ ኩፐር የተባለው የ9 አመት ታዳጊና ሚኪ ሩኒ የተባለው የ19 ወጣት መሆናቸውን አስታውሷል፡፡ ኦል ዘ መኒ ኢን ዘወርልድ በሚለው ፊልሙ በምርጥ ረዳት ተዋናይ ዘርፍ ለሽልማት የታጨው የ88 አመቱ የፊልም ተዋናይ ክሪስቶፈር ፕላመር፣ ረጅም እድሜ የገፋ የኦስካር ዕጩ በመሆን በታሪክ ተመዝግቧል፡፡በብዛት በታጨው ዘ ሼፕ ኦፍ ዋተር ላይ የምትተውነው ኦክታቪያ ስፔንሰር፣ ለሶስት ጊዜ ለኦስካር ሽልማት በመታጨት ቀዳሚዋ ጥቁር ሴት ተዋናይት የሚለውን ማዕረግ ከቪዮላ ዳቪስ ጋር ተጋርታለች፡፡ ዴንዘል ዋሽንግተን በበኩሉ፤ ስምንት ጊዜ በመታጨት ቀዳሚው ጥቁር የፊልም ተዋናይ በመሆን ታሪክ ሰርቷል፡፡ ሁለቱም ጥቁር ተዋንያን በብዛት በመታጨት ብቻ ሳይሆን፣ በተከታታይ አመታት ለዕጩነት በመቅረብም ታሪክ መስረታቸው...

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          256
      ],
      "matryoshka_weights": [
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• gradient_accumulation_steps: 4
• num_train_epochs: 4
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 4
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 4
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.48.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.3.0
• Datasets: 3.3.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}