bert-squad-portuguese

This model aims to help reduce the need for models in Portuguese.

How to use:

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline

model_name = "rhaymison/bert-squad-portuguese"

nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)
QA_input = {
    'question': 'Onde Cristiano Ronaldo começou sua carreira ?',
    'context': 'Cristiano Ronaldo é jogador de futebol considerado por muitos um dos melhores de todos os tempos. Português, começou a carreira no Sporting e já atuou por Manchester United, Real Madrid, Juventus e Al-Nassr. Foi cinco vezes campeão da Liga dos Campeões da Europa. Também foi campeão da Eurocopa com Portugal no que é considerado o maior título já conquistado pela equipe portuguesa. Disputou cinco Copas do Mundo. Atualmente, é o atleta com mais gols marcados por seleções nacionais.'
}
res = nlp(QA_input)

If you need load model and tokenizer

model = AutoModelForQuestionAnswering.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

This model is a fine-tuned version of neuralmind/bert-base-portuguese-cased. It achieves the following results on the evaluation set:

• Loss: 1.0687

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 2

GPU: T4

Training results

Framework versions

• Transformers 4.38.2
• Pytorch 2.2.1+cu121
• Datasets 2.18.0
• Tokenizers 0.15.2