Model Description

This is a sentence-transformers model: It maps sentences & paragraphs to a 768 dimensional dense vector space and can be used for tasks like clustering or semantic search.

How to use

Using this model becomes easy when you have sentence-transformers installed:

pip install -U sentence-transformers

Then you can use the model like this:

from sentence_transformers import SentenceTransformer, util


# Load model
model = SentenceTransformer('dariolopez/roberta-base-bne-finetuned-msmarco-qa-es-mnrl-mn')

# Some examples that may contain information that is relevant to your question
corpus = [
    "Napoleón I Bonaparte (Ajaccio, 15 de agosto de 1769-Longwood, 5 de mayo de 1821) fue un militar y estadista francés, general republicano durante la Revolución francesa y el Directorio, y artífice del golpe de Estado del 18 de brumario que lo convirtió en primer cónsul (Premier Consul) de la República el 11 de noviembre de 1799.",
    "Luis XVI de Francia (en francés: Louis XVI; Versalles, 23 de agosto de 1754 – París, 21 de enero de 1793) fue rey de Francia y de Navarra4 entre 1774 y 1789, copríncipe de Andorra entre 1774 y 1793, y rey de los franceses3 entre 1789 y 1792.2 Fue el último monarca antes de la caída de la monarquía por la Revolución Francesa, así como el último que ejerció sus poderes de monarca absoluto.",
    "Felipe VI de España (Madrid, 30 de enero de 1968) es el actual rey de España, título por el que ostenta la jefatura del Estado y el mando supremo de las Fuerzas Armadas, desde el 19 de junio de 2014, fecha en que ascendió al trono por la abdicación de su padre, el rey Juan Carlos I.",
    "Lionel Andrés Messi Cuccittini (Rosario, 24 de junio de 1987), conocido como Leo Messi, es un futbolista argentino que juega como delantero o centrocampista. Jugador histórico del Fútbol Club Barcelona, al que estuvo ligado veinte años, desde 2021 integra el plantel del Paris Saint-Germain de la Ligue 1 de Francia. Es también internacional con la selección de Argentina, equipo del que es capitán."
]

# Your question
query = "Listar aquellos personajes que tuvieron poder en Francia"

# Encode corpus and query
corpus_embeddings = model.encode(corpus)
query_embedding = model.encode(query)

# Get the 2 best results on the corpus options
hits = util.semantic_search(query_embedding, corpus_embeddings, top_k=2)[0]
for hit in hits:
    print(f"corpus_id: {hit['corpus_id']}, score: {hit['score']}, text: {corpus[hit['corpus_id']][0:100]}...")
# output:
# corpus_id: 1, score: 0.5533886551856995, text: Luis XVI de Francia (en francés: Louis XVI; Versalles, 23 de agosto de 1754 – París, 21 de enero de ...
# corpus_id: 0, score: 0.5308797955513, text: Napoleón I Bonaparte (Ajaccio, 15 de agosto de 1769-Longwood, 5 de mayo de 1821) fue un militar y es...

Training

The trained model is a fine-tuned version of PlanTL-GOB-ES/roberta-base-bne focused on question/answer using MS-MARCO dataset translated into Spanish (query - positive - negative - negative - negative - negative) dataset to train.

Features

Base Model
Config used to train
Dataset: IIC/ms_marco_es (query - positive - negative - negative - negative - negative)
Loss: MultipleNegativesRankingLoss

Config

{
    "model_name": "PlanTL-GOB-ES/roberta-base-bne",
    "max_seq_length": 512,
    "epochs": 10,
    "warmup_steps": 1000,
    "batch_size": 16,
    "optimizer_params": {
        "lr": 2e-05
    },
    "loss": "mnrl",
    "dataset_train_size": 481335,
    "dataset_name": "IIC/ms_marco_es",
    "seed": 42,
    "length_embedding": 768
}

Source code to train

https://github.com/bukosabino/sbert-spanish/tree/main

Considerations for Using the Model

The model is designed for use in Spanish language, specially focused on Question/Answer.

dariolopez/roberta-base-bne-finetuned-msmarco-qa-es-mnrl-mn