LoadingâŚ
LoadingâŚ
rasyosef/roberta-medium-amharicThis is a sentence-transformers model finetuned from rasyosef/roberta-medium-amharic on the amharic-passage-retrieval-dataset dataset. It maps sentences & paragraphs to a 512-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
SentenceTransformer(
(0): Transformer({'max_seq_length': 510, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
(1): Pooling({'word_embedding_dimension': 512, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
(2): Normalize()
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the đ¤ Hub
model = SentenceTransformer("Desalegnn/Desu1-xlm-roberta-base-amharic-embed-45k")
# Run inference
sentences = [
'á ááĽáĽá áľá á¨áá á¨á
áááľ áłáŁááá˝ áአáááá ááŁáą á¨áĽááľ áĄáľá áĽáŠá ááá ááľáá¸á፠á¨ááá áĽáá˛áá ᥠá áľááááĄ',
'á á˛áľ á á ᣠᣠá
áłá 1 ᣠ2013 (á¤á ᢠá˛) áአáááá ááŁáą á¨áĽááľ áĄáľá áĽáŠá ááá ááľáá¸á፠ááá á¨ááŁá¸áá á˛á á ááĽáĽá áľá á¨áá á¨á˝áááá á
áááľ áĄáľá áłáŁááá˝ ááášá˘á¨á ááľ áłáááľ á ááľ á áľááŤá ááá á áá á¨á á¨áá¨áá¨áŤ á°áŤááľ á°áá áá áá á á
áááľ áĄáľá á¨á°áá¸ááá áĽááľ á°á¨áľá á¨ááá áá¨áá¨áŤ á áŤááľ á á á
áá áááľáľá áá˘á á áááľ á á°á°á á áááá á¨ááłá á°ááᎠáá áááľá¨á á á¨áááť áĽáŤáá˝á áĽáŤá¨ááá ááááá˘á¨á áŤááą 5á ááŤááááľ ááá áŚá á¨á
áááľá áłáŁááá˝ á ááĽáĽá áľá á áááá˘á ááĽáĽá áľá á¨áááľ áłáŁááá˝ á¨áľááŤá áአáááá á¨á°áááááľ ááŻá¸áá á á¸ááá ááá°á áĽáá á¨ááá áá¨áá¨áŤ á áŤááľ áá áááááľ á ááááá ááá¸ááá˘ááŽá ááá¸áá á áá áá° áአááá á˘ááĄá á¨á
áááľ á¨áĽááľ áĄáľá áĽáŠá ááá ááľáá¸á፠á¨ááá á᪠áŤáááľ ááá á ááááŠá áá á¨á°áááŠáľá˘á¨ááá áá¨áá¨áŤ á áŤááľ áá ááá¨áľ áááľ á¨á˘áľáŽáľáŤ áá ááá¨áľ ááááá ááá¸ááá˘á¨áľááŤá áአááá áĽá ááŁáľá á¨á
áááľ á¨áĽááľ áĄáľá á°áᣠáĽááłááá á¨ááá áá¨áá¨áŤ á áŤááą áá ááá áĽááłááŁá¸á á°ááá¨ááá˘áłáŁáááš á ááĽáĽá áľá á¨áá á áá á ááá áá¨áá¨áŤ á áŤááą á¨á°á¨á°áŁá¸á ááá á áááľ á˝áá áĽáá°ááá á á áá áá
áľ á áĽáŠ áááł áá áĽáá°áááá á áľá¨áľá°ááá˘á¨ááá áá¨áá¨áŤ á áŤááľ áĽáŤá¨ááá áŁáá áááť á¨áľááŤá áአáááá áááť á áŁááľ á ááĽáĽá áľá áĽá¨áá áááá á˘áá ááá§áá˘',
'á¨ááŹááłááľ áśáááľ áľáŤáá á°áşáá˝ áĽáá°áááľá¤ ááŹááłááą áááááľ á¨á ááŞáŤ ááłáá˝ á áááľ á˘áľáŽáľáŤ áĽá ááĽá
ááŤá¨á áłáá á¨ááłá´ ááľáĽá á á°ááá¨á° ááĽá¨áľ ááľá
á°ááá˘áá
á á á ááŞáŤ áĽá á á ááŞáŤ á¨á˛áááᲠáłáŞá áľáá á¨áľáŤáá áľá
á°áľ áá áááá˘áľáŤáá á¨áááľ á ááľ ááĽá
"ááľáĄá ááłáááłá áľá˝ááá˝" áááłá¸á ááłááłáᢠáĽá áá ááŹááłááą "áľááááľ ááá á á˝áŤááᤠá¨áŁáľ áŚáááľá á áľáááŤáá" áĽáá á¨áá¤á á¨á°áá á˝áááľ áĽáá°áááŁá¸á ááááŤá¸á ááłááłáá˘ááá áá á°á¸áá á¨áááľ á á
áá áááľáľá ááĽá á áááľ áá አá˘áľáŤáá á¨áá¤á á¨á°áá á˝áááľ áĽáá°áááŁá¸á á˛ááአááłáŠá ááá
áŁáŤá°áááľáᤠá ááĽá ááŹááłááľ á áĽáąáááłá
á á-á˛á˛ áĽáŞ áá á¨áľ á á˘áľáŽáľáŤ áĽá á ááĽá
ááŤá¨á áŁáá áľááááŁáłá¸á áĽá¨á°ááአáĽáá°áá ᨠááłáááá˘áľáŤáá á á ááľ áá
áľ á áĽáąáááłá
á á-á˛á˛á "á¨á ááᥠá ááŁááá" áááłá¸á á áááááá˘ááĽá
áłáá ááłá´ ááľáĽ "áá°á
ááá´ áŤá°ááá" áľááá˝á˘ áąáłáá á¨ááĽá
á áŤá
á áŁáááá áľááąá áľááŤáá˝á˘ á áá á áŠá á˘áľáŽáľáŤ á¨ááá á áááŞáá ááľáĽ á áľáááááľ á áľá¨áᣠáľáááťáá˝á˘áŹá፠á¨áááá á¨á ááŞáŤ áááľ á¨á¸áĽáł ááłá á°ááłá á¨áşáľ á áĽá˛ áĽáá°áááᤠá ááľáĄ ááŞáŤ á˘áľáŽáľáŤ áĽá ááĽá
á ááá°áŤá°á á ááŞáŤ áŁáá áááŁáˇ á¨áááąá á ááŽá˝ ááĽá¨áľ á áŁáĽáˇáá˘"á˘áľáŽáľáŤ á ááľáĄ á á
áŤá˘áŤ á¨á¸áĽáł áááá áĽáŤá áá¨á¨á˝ ááᢠá¤ááťááá ááá áááá á¨á á¨áŤ á᪠ááľá¨á á ááą ááłáŤ ááᢠá ááľáĄ ááŞáŤ á á¨áŤ á¨ááŤááľ ááŁáŞáŤá á°ááĽááᢠááĽá
á¨ááłá°áŤá á
ááľ á á¨áŤ ááłá°áá áĽáá°ááľá˝á á¨ááľááľ á¨ááᨠááá áá˝áá" áááá˘á°ááłá áĽáá°áááá¨áᤠáľáŤáá ááá á áá á˛áááᲠáĽáá´áľ áĽáá°áá ፠á¨ááááᥠá áááľááá˘"á áááą ááá áĽáá°áá°á¨áá áľááááľ áá ááľá¨áľ ááťáá á¨áá á¨á°áᣠá áááŤá¨áľ á áá¸áᢠá¨á᪠ááłá ááŤá áŤáá áľá ááłá ááᣠá¤áľ áľááľáŠá áĽáá˛á፠áŤá°á¨ááľá ááá
ááᢠá¨áááťáá ááĽá á¨áá á¨áá áááłá á áŁáĽáśáłá" á˛áá á¨áşáľ áŤáľá¨áłáá˘á˘áľáŽáľáŤ á¨ááĽá
áĽá á¨áąáłá áá áŤáá áľááľá áłááá ááľáĄá áááááľ á ááá°á á ááŞáŤ á¨100 áááŽá áśáá áĽááłáł áá á á°ááá§áá˘á¨áşáľ "á˘áľáŽáľáŤ á ááŞáŤ áĽáá°á¨áłáťáľ áá°ááłáᢠáĽá á˘áľáŽáľáŤááŤá áľáŤááá á¨áĽááť ááááľ á áľááááłá" á áááľ áááłáá ááááťáá˘á¨á´áááŤáľ áĽáŠá á áŁáá°á áĽáá˛áŤá¸ááá á¨á ááŤáł á˘áľáŽáľáŤááŤá áááľ ááá˘á ááŞáŤ á¨áááá á´áá°á áá áááŁá á´á¨áááááľ ááľáĽ á¨ááᲠá áĽá á°áĽáá áᏠáá áĽáá°áááľá¤ á¨áľáŤáá á áľá°áłá°á áĽáľáŤá¤áá á¨á á¨áĽ áá á ááŤáľ ááŤá¨á á°áá ááá á áľááááá á¨ááĽá
áá ááá á¨áá á á
ááá˘ááĽá
á¨áĽáľáŤá¤á áá ááááľ áŤáľáá ᨠá˛áááá˛áŤá áľáľáľá á ááľá˘ áľáŤáá á¨á á¨áĽ áá á ááŤáľ ááĽáľáŤá¤á áĽáá
á áĽáá˛á°áĄ áĽá¨áľ áĽáŤá°á¨á áľááá á áĽáąáááłá
á á-á˛á˛á ááľáá¨á á áááááá˘áá áĽáá°ááááŠáľá¤ á¨áľáŤáá á áľá°áłá°á á ááľáĄ áá፠áááĽá
á¨ááááá á áá
ááááŤáľ ááá˘áľáŤáá áąáłáá á á°ááá¨á° á¨á°á¨áąá áľ ááłá á¨á á¨áĄá á ááŤáľ á¨áĽáľáŤá¤á áá áááľáľááľ á¨ááŤá°áááľ áĽá¨áľ á ááľ á áŤá ááá˘áąáłá á¨áĽáľáŤá¤á áá áľááááľ áááľá¨á ááľááá˝á˘á áĽááἠá¨á ááŞáą á°á áŁáŁá á¨á᪠ááłá áááľáľá ááłáá áá á áá á á᪠áá˝á°á
áĽááłáá áľ á˘áááŠáᤠáąáłá áĽáá° ááááŽáłááŤá 1967 áá á¨á á¨áĽ áá á ááŤáľ ááááľ ááľá°ááᡠáááááľ á¨áá áľáᢠá ááááą "á¨áĽáľáŤá¤á áá ááźá á°áá á ááá ááᢠááźá á˘áá ááĽáľáŤá¤á áĽáá
á á áá°áĽáᢠáľááľáá á ááŤááľá" á°áĽáá áá áá˘áąáłá á¨áĽáľáŤá¤á áá áááľáááľ á áááᡠáľáŤáá á˝áĽáá á¨ááľá á ááŽá˝ áááá áĽáá°ááŤáľáá§áľ á°ááá¨ááᢠáá
á áááŁá ááĽáˇ áááá á¨áá¨áł áľáá áĽááľáłáá áŤáááłáá˘áľáŤáá á áľáá á¨á°áá¨áĄ á˘áľáŽáľáŤ ááľáĄá á á°ááá¨á° áąáłá áĽá ááĽá
ááá¸á áľááľ á ááłá˝ áááľ áĽááľáľá°áĽ áŤá áĽáá°ááŤá°áá áá á ááá˘á áĽáá áĽáá°áááľá¤ áąáłá á˝áĽáá á¨áá°áá á ááŽá˝ áááá á¨ááŁá˝ á¨áľáŤáá á áľá°áłá°á á áááš á¨áá áĽáá ááá á áá˘"á¨áĽáľáŤá¤á áá áľááááľ á¨ááá á ááłá á¨áąáłá áá
á á¨á°áĽá á¨á¨ááá ááᢠááááĽáľ á¨áŤáą á¨á¸áĽáł áĽáŤááá˝ áĽáŤáá áľ áá
á ááłá ááłáá á˝áá ááŤáľá¨áľá áá˝áá" áĽáááᢠáľáŤáá á ááŞáŤá á á°ááá¨á° á¨ááŤáŤááąáľ ááá˛á¤ á á ááŞáŤ áĽá á áťáá ááŤá¨á á¨ááŤááľ \'á á˛áą áááá áŚáááľ\' áá á˛á á¨áşáľ áááá¸ááá˘áááłá áťáá á¨ááᡠá᪠á¨ááááŞáŤáá ááłá°áŤá ááá፠á¨á¨áá°á˝á á á
áĄá˛ ááᢠááá¨á á¨áááá á ááŞáŤ á¨áśáá፠áłáŁááá˝ áá á¨á á¨á áĽááľ ááá°ááá áŤáááá˝á ááá¨á á á
áŤá˘áŤ ááá˘á á
áᥠá¨á ááŞáŤ á°áá ááśá˝ ááá¨á á˛áááŠá¤ áťáá á¨á ááŞáŤááŤá ááłá°áŽá˝á áĽááł á¨ááááľ ááŁáŞáŤ ááá¨áŻá á¨áşáľ áŤáŁá
áłáᢠ"á¨áľáŤáá á áľá°áłá°á á¸á¨ áťáá áááľ áŤáŤááłá" á¨ááá á°ááłá áááłá áá ááŞáŤ áááľ á áľá¸á᪠ááááá áŤáľá¨áłáá˘áťáá á ááŞáŤ ááľáĽ áŤááľá á¨áááľ á¨á ááááľ ááááá áľá¤ á¨áľáŤáá á áľá°áłá°á \'ááŽáľááŞá˛ á ááŞáŤ á˘á 2018\' á¨á°áŁá ááᲠááľááá˘á á ááŞáŤ áĽá á á ááŞáŤ ááŤá¨á á¨ááŤáá°áá áááľ á áĽáĽá á¨ááłá°á áĽá
áľ á áᢠá áá á¨á ááŞáŤ ááááĽáľ á¨áááľ á°ááá˝ á ááŞáŤ ááľáĽ áĽáá˛á አá¨áááἠáľáá á¨áá°áĽá áľ á á áŤá ááááˇáá˘áá áĽáá°áááľá¤ á¨á ááŞáŤ áľáá
áśá˝ á¨áťáá á°ááá˝ áá áááłá°á á ááťááá áĽáá á
áŹáł áľáá°á á¨áááἠáľáá áááľá áľ á°ááľááᢠ"á¨á áᲠááá áĽáá° ááłáŤ á˘áá°áľá¤ 70 á ááś á¨á ááŞáŤ á˘ááááá˝á á´áááá á¨á°áá á¨á°á á áťáá áľáá
áśá˝ áá áá" á˛á áŤáĽáŤáŤáᢠá¨áľáŤáá á áľá°áłá°á á 2025 á¨ááŤá ááá á¨30 á áá á¨á ááŞáŤ á ááŽá˝ á°á áá áĽáá˛ááá áľ áłáľáŚ á á ááŞáŤ áá ááŞáŤááŤá á¨á°á°á á á¨áłáŞáá á¨áá¨áĽ áá á¨áá ፠ááľá (á ááŞáŤ ááŽá á¤ááľ áŚááášáᲠá ááľ-á áá) á¨áá°á¨á áĽá
áľ á ááᢠáá ááŞáŤ áááśá˝ á¨á ááŞáŤá áá ፠áááľ á¨ááŤá°ááá áľááááľ á¨á°áá¨áá á á˘á áááá°á áá áá˘á ááŞáŤ á áá áá áľáŠá¨áˇ á¨áááľáŽá˝ á¨áááľ áľááááľ áĽáá°áá áá ááááŤáᢠáááłá á¨áŹá፠áá áááá áĽá¨á°áŤáá° ááá˘áŹááŤá¤ á¨áťáá \'á¤ááľ á¤ááľ áŽáľ á˘áá˝á¨á˛á\' á áŤá áĽáá°ááá˝ ááłáááᢠáľááááą áťááá á¨á ááŞáŤ áá á áááľ á¨ááŤáľá°áłáľáá á¨áťáá ááá á áá á°á°ááááľ á¨ááŤáá áĽáá°áá á ááŞáŤ áłáááá˝á˘áľáŤáá á¨áŹá፠áá á ááĽáł á¨á°áľáá á áá á°ááłáłá ááááľ á°á á
áá á¨ááá˝ á¨á ááŞáŤ á ááŽá˝ áá á¨ááĽáŤáľ ááĽá áĽááłáá¸á áá ááááŤáá˘áá
á¨áľáŤáá ááááľá¤ á¨á ááŞáŤ ááĽá¨áľ á¨ááľáá á˘ááąáľáľáŞ áŽáá˝áá á áá ááľ ááťááá ááłáĽ áá ááŁá¨áłáá˘áĽáłá¸á á¨á ááŞáŤ á ááŤáľ á á°áá á áłááá á á ááľááľ á¨á ááŞáŤ áá áľááááľ áĽáá˛áŤá°áá áááááᢠáá áĽáá°áááľá¤ á¨á ááŞáŤ ááłá á¨á ááŞáŤ ááĽá¨áľ á¨á á
ááŞáąá ááŁá ááĽáľ áááŁáá á¨ááŤá°ááá áĽá¨áľ áá ááŁá¨áłáá˘ááĽá¨áąá¤ á ááŞáŤá á¨ááá áľáá ááť á¨áááľ áá á á¨ááľá¨á á áá á ááá˘áľáŤáá áá á áĽáá¨áľ á¨áá አáááá˝ áá á á፠áŤááá°áŤá°á á ááá፠áŤáłáŤá á˛á á áĽáá áŤáááá˘á¨áľáŤáá á°áááá á áŁáá°á áŤá¸áá á¨á ááŞáŤ ááá˛áŤá¸á áá áĽáá°ááá áĽáľáŤáá á áááášáá˘"á¨áŁáá°á á áľá°áłá°á á áŚáŁá áá áá°áá á¨á áá°áľ ááááľ áá˝áá" ááá ááᢠ',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 512]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7370, 0.0594],
# [0.7370, 1.0000, 0.1437],
# [0.0594, 0.1437, 1.0000]])
dim_512InformationRetrievalEvaluator with these parameters:{
"truncate_dim": 512
}
| Metric | Value |
|---|---|
| cosine_accuracy@1 | 0.6578 |
| cosine_accuracy@3 | 0.796 |
| cosine_accuracy@5 | 0.8378 |
| cosine_accuracy@10 | 0.8817 |
| cosine_precision@1 | 0.6578 |
| cosine_precision@3 | 0.2653 |
| cosine_precision@5 | 0.1676 |
| cosine_precision@10 | 0.0882 |
| cosine_recall@1 | 0.6578 |
| cosine_recall@3 | 0.796 |
| cosine_recall@5 | 0.8378 |
| cosine_recall@10 | 0.8817 |
| cosine_ndcg@10 | 0.7709 |
| cosine_mrr@10 | 0.7353 |
| cosine_map@100 | 0.7393 |
dim_256InformationRetrievalEvaluator with these parameters:{
"truncate_dim": 256
}
| Metric | Value |
|---|---|
| cosine_accuracy@1 | 0.6491 |
| cosine_accuracy@3 | 0.7924 |
| cosine_accuracy@5 | 0.8323 |
| cosine_accuracy@10 | 0.8783 |
| cosine_precision@1 | 0.6491 |
| cosine_precision@3 | 0.2641 |
| cosine_precision@5 | 0.1665 |
| cosine_precision@10 | 0.0878 |
| cosine_recall@1 | 0.6491 |
| cosine_recall@3 | 0.7924 |
| cosine_recall@5 | 0.8323 |
| cosine_recall@10 | 0.8783 |
| cosine_ndcg@10 | 0.7651 |
| cosine_mrr@10 | 0.7287 |
| cosine_map@100 | 0.7327 |
anchor and positive| anchor | positive | |
|---|---|---|
| type | string | string |
| details |
|
|
| anchor | positive |
|---|---|
áááľáľá á´á¤áł áááᎠá áá-ááá á¨á áᣠááá ááľááłáá á¨áŽáŞáľ-19 áááá ááá¨áá áá á |
á á˛áľ á á áŁáŁ ááľá¨á¨á 13ᣠ2013 (á¤á.á˘.á˛) á¨á¤á áááľá´á áááľáľá á´á¤áł áááᎠá ááááá áłáááľ á á°áĄáĽ ááá áá áá á¨á áᣠááá á¨á°á ááľááłá áĽá á¤á áŁá˘áŤ ááĽááĄáĄáĽáá˛áá á áŽáŞáľ-19 á¨á
ááá ááá¨á á°ááá°á áŤááá á¨áľáŤ áĽáá
áľáá´ áááá¨áłá¸áá á°ááá¸ááĄáĄáááľáľá á´á¤áłá á ááĽááą áá
áľ á¨á
ááá á°áááą áá áŤáŁá˘ áááŞáá˝ áĽá¨á°áĄ áŤááá ááá áĽá á áááááľ áĽá ááŽáŞáľ 19 áá¨áá˝á á¨áá¨áá¨áá á¨áááŁá á ááá˝ á á áŁáĽ á¨áá á¨áłáłá áá¤áłá áĽáá°áá á°ááá¨áááĄáĄá áá
á áááá¨á á°áŤá°áá˝ ááľááá¸áá á á
áá áááĄáĄá¨á°áááą áľáŤ ááááá˝á á¨áááľáľá á´á¤áłá áá áááŤá¨áłá¸á á°á°ááˇááĄáĄáááááš á áááááłá¸áá á á°áá ááááľ áááľáŤáľ á áŤáľá˝ááá áŤáá¸áá ááľááśá˝ á ááľá°á ááááľ á áľá¨áááŁá¸áááĄáĄá¨á
ááá á°áááą áŤáá áľ á¨áľáŤ á ááťá¸á á¨áá á¨áłáł á˘ááá áá°áťá áľáŤ áááłáľá á¨á¤á á áááááąá áá áἠááťáťá áŤáľáááá á˛á áááľáľá á´á¤áłá ááłá°áŁá¸áá á¨áááľá´áŠ áŤáááá áá¨á áŤááááłááĄáĄ |
ááá
áŤá á áľáá
ááľ á¤áśá˝á á á á¨áŁá˘áŤá¸á á°áá áĽáá˛á¨ááἠá¨á áŠáá¸áá áá áĽáá˛áᥠá°á á¨á |
ááá
áŤá á áľáá
ááľ á¤áśá˝á á á á¨áŁá˘áŤá¸á á°áá áĽáá˛á¨ááἠá¨á áŠáá¸áá áá áĽáá˛áᥠá°á áááááĄáĄá¨á°áá áááľá´á á¨áłáááľá á¨áá°á áľáá
ááľ áááľá´áá á¨á˘áľáŽáľáŤ ááá
áŤá áá
á á áá á áá°áŁá á áŤááááľ ááá á áá ááá
áŤá á¨á°áá ááááľ ááľá¨á á á á˛áľ á á ᣠáĽá¨á°áŤáá° áááĄáĄá áá
á¨ááááľ ááľá¨á áá á¨á°áá áááľáľáŻ áááᎠáááŞáŤáľ áŤááá á¨áᎠááá˝ áŁááľááťÂ á áŤááľÂ á°ááá°áááĄáĄááááą âá°ááá ááá ááłáľ ááá
áŤáὠᤠá°ááá ááá ááłáľ á°ááŞáá˝á áŤááŤáâ á áá á᪠áá áĽá¨á°áŤáá° á¨ááá á˛áá ááá
áŤá á áľáá
ááľ á¤áśá˝á á á á¨áŁá˘áŤá¸á á°áá áĽáá˛á¨ááἠá¨á áŠáá¸áá áá áĽáá˛áᥠá°á áááááĄáĄá ááááą áááá áŤá°á¨ááľ á¨á°áá áááľáľá áááᎠáááŞáŤáľ áŤáá ááá
áŤá áľáááľá áá
á¨á˝ áŤáá¸á áĽáľá á ááá á°ááá á ááľá á á áŠá á¨áá°á á áľá°áá˝áŚ ááŤá áááą áááŁá áĽááááĄáĄáááŤá áááŁáł áľáá
ááľá á¨á°áá áľáĽáá á¨áá áá
á áááá ááá
á á¨á°áĽ áľáĽááá á¨á áá¸á áľáááľá á ááá á á¨ááľ á¨ááá
áŤá áá ááá°á ááááá á°ááá¨ááá˘áľáá
ááľ á¤áśá˝ á¨á°áá áááľ ááá áááľá ááá
áŤá áĽáŤá¨ááááľ áŤááá áľáááľá á¨áá
á¨á˝ á°ááŁá á á ááá¨á ááá á áĽááłááŁá¸áá áááᎠáááŞáŤáľ á áłáľá áááĄáĄÂ   á ááááą áá á áľá°áŤá¨áľ á¨á°áĄáľ ááá
áŤá á á áŠáá¸á á°áá áááá á¨áááá¨áľ ááłá á ááá á°ááá á ááľá áá á áá¨ááἠá¨ááľ á¨ááááľáľ áá á ááá á¨áá á á
áŁá¸áá áááááľ áĽáá°ááᥠááá¸áááĄáĄá á°ááá á¨áľá ááᣠáľá áááŁáá á¨áłáŞá áľáá
ááľ ááá
áŤá áá°ááŞáá˝ á ááŤáááĄáľ áľáá
ááľ áá ááááá áááááľ á á°ááá áľ ááááľ áá
á¨áĽ áĽááłááŁá¸áá á áááááĄáĄÂ  ááá
አá áľá áááŁá á áá፠á ááá á°ááá ááĽ... |
á¨á˘áľáŽáľáŤ áĽá áá á¨17 á ááľ á áłá˝ áĽááŤá áĄáľáá˝ á¨ááł áĽááľ ááŤááłá |
á á á˛áľ á á ᣠáľáłáľá¨á áĽá¨á°ááá á¨áááá áĽááŤá áĄáľá á ááŹá á¨ááááľ ááá ááĽá á áĽááą á¨ááł áá áá á°á°áááá˝ áááá á°áĽáá á¨ááááąáľá á ááá¨áľ á¨á
áá
áľá á¨áááľ á ááᎠá¨áááłáľ ááááśá˝á á á¨áááááĄáĄáŁáááľ áśáľáľ áááľ á áá áá ááłáľ á ááááľ áá
áľ á ááá á á˛áᥠá¨áá áŠáľ áłáá¤á á°áľáᏠáĽá á áĄá á¨á ááľáŠ á ááŹá ááááľ á¨áĄáľá áá áá ááááľ á¨á°áŠ á˛áá ááá á°á¨áážá˝ á áá á¤áááľ áá áááááĄáĄá¨17 á ááľ áĄáľáá˝á áĽááľ áááľ á¨á áᎠá
áŽá áá áŁá°á¨ááľ á¨á áá ááá°áť á¨ááł áá á¨á ááŽá
áŽá á áŠá áááŤá áĽáá
áľáá´ áŤáłáŠ 6 á°á¨áážá˝ áĽáŞ áááŚáá¸á á ááŹá ááááľ áá á°ááá°á á¨áĄáľá áá ááááľ áŤá°á¨á á˘ááá á áłáá áĽáá
áľáá´ áŁáááłá¨áłá¸á áĽáá˛áááą á°á°ááááĄáĄáá áá áŽááš á áĽááą á¨ááł á áŁáᎠá¨á°á¨á°áŁá¸áá á¨2-0 á˝áááľ áááĽá°á áá° ááłááľáŤá á¨á ááŞáŤ á¨17 á ááľ á áłá˝ áá፠ááááŤáľ á á¨áá°á á°ááłá˝ááľ áĽá ááááľ ááá
áłá¸áá á áá¨ááá áá áĽáá°ááá áááłáἠá˝ááááĄáĄá á˘áľáŽáľáŤ áĽá áá ááŤá¨á á¨áá°á¨áá á¨ááł áĽááľ ááľá¨á¨á 22 áá 2009 á á á˛áľ á á ᣠáľáłáľá¨á 10:00 áá á¨ááŤááľ á˛áá á¨ááłá á¨ááŤááľá áľ á¨á á˛áľ á á ᣠáľáłáľá¨á ááłá ááš áááľá¨á á¨ááŤáľá˝á áľáŤáá˝ áĽá¨á°á¨ááá áááááĄáĄá¨áĽááą á°ááŁááŤá˝á á¨áá á¨17 á ááľ á áłá˝ áĽááŤá áĄáľá á áἠá á˛áľ á á ᣠáááŁááĄáĄ á¨ááłáá á¨áááŠáľ á áŤáąá áłáá˝ á¨ááá ᤠáŽáá˝áአá°áá á¨áŠáááł áĽáá°á°áá°áĄá áłááááĄáĄ |
MatryoshkaLoss with these parameters:{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
512,
256
],
"matryoshka_weights": [
1,
1
],
"n_dims_per_step": -1
}
eval_strategy: epochper_device_train_batch_size: 128per_device_eval_batch_size: 128num_train_epochs: 5lr_scheduler_type: cosinewarmup_ratio: 0.1fp16: Trueload_best_model_at_end: Truebatch_sampler: no_duplicatesoverwrite_output_dir: Falsedo_predict: Falseeval_strategy: epochprediction_loss_only: Trueper_device_train_batch_size: 128per_device_eval_batch_size: 128per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 1eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 5e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 5max_steps: -1lr_scheduler_type: cosinelr_scheduler_kwargs: {}warmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falsebf16: Falsefp16: Truefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Trueignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedeepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torch_fusedoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthproject: huggingfacetrackio_space_id: trackioddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsehub_revision: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters: auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: noneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseliger_kernel_config: Noneeval_use_gather_object: Falseaverage_tokens_across_devices: Trueprompts: Nonebatch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}| Epoch | Step | Training Loss | dim_512_cosine_ndcg@10 | dim_256_cosine_ndcg@10 |
|---|---|---|---|---|
| -1 | -1 | - | 0.0817 | 0.0650 |
| 1.0 | 315 | 0.9415 | 0.7092 | 0.6975 |
| 2.0 | 630 | 0.221 | 0.7506 | 0.7429 |
| 3.0 | 945 | 0.1085 | 0.7571 | 0.7502 |
| 4.0 | 1260 | 0.0701 | 0.7677 | 0.7628 |
| 5.0 | 1575 | 0.0548 | 0.7709 | 0.7651 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{kusupati2024matryoshka,
title={Matryoshka Representation Learning},
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
year={2024},
eprint={2205.13147},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}