flan-t5-portuguese-small-summarization
This model aims to help supply the needs of models in the Portuguese language for certain tasks. The model presents a good performance for summary tasks. Some errors due to word accentuation may occasionally occur due to the small version of the model.
model_max_length = 512
- Loss: 1.6541
- Rouge1: 16.3352
- Rouge2: 6.2366
- Rougel: 14.1335
- Rougelsum: 15.2755
- Gen Len: 19.0
GPU: RTX 3060, 12GB, =~3500 cuda cores
!pip install transformers
from transformers import pipeline
summarization = pipeline("summarization", model="rhaymison/flan-t5-portuguese-small-summarization", tokenizer="rhaymison/flan-t5-portuguese-small-summarization")
prompt =f"""
sumarize: No que consiste o transtorno dismórfico corporal? São pessoas que se acham feias e querem mudar sua aparência de forma obsessiva, mesmo que não tenham nenhum problema. Num dos estudos que fiz, detectamos que de 50% a 54% dos pacientes que procuram cirurgia de face, nariz ou abdômen apresentam essa condição. A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtorno. No entanto, os que apresentam um transtorno mais grave não devem ser operados, e sim encaminhados para tratamento psicológico. A maior dificuldade é que aceitem ajuda. Muitos preferem buscar um médico que dê sinal verde para a intervenção.
"""
output = summarization(prompt)
#Transtorno dismórfico corporal: o que apresenta o transtorno no deve ser operados, e sim encaminhados para tratamento psicológico.
#A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtornamento, nariz ou abdômen.
Model description
More information needed
Intended uses & limitations
More information needed
Training and evaluation data
More information needed
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- gradient_accumulation_steps: 2
- total_train_batch_size: 16
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 5
Training results
| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len |
|---|---|---|---|---|---|---|---|---|
| 1.847 | 0.27 | 500 | 1.7443 | 15.4969 | 5.9408 | 13.5074 | 14.5518 | 19.0 |
| 1.8333 | 0.53 | 1000 | 1.7194 | 15.6496 | 5.8641 | 13.5584 | 14.669 | 19.0 |
| 1.8043 | 0.8 | 1500 | 1.7209 | 15.8523 | 6.0544 | 13.7563 | 14.8941 | 19.0 |
| 1.7903 | 1.07 | 2000 | 1.7156 | 15.8969 | 6.0071 | 13.7534 | 14.8513 | 19.0 |
| 1.7862 | 1.33 | 2500 | 1.7007 | 15.8441 | 5.958 | 13.66 | 14.7226 | 19.0 |
| 1.7687 | 1.6 | 3000 | 1.6949 | 15.9134 | 6.0486 | 13.9238 | 14.9171 | 19.0 |
| 1.7724 | 1.87 | 3500 | 1.6909 | 15.8827 | 5.8941 | 13.7195 | 14.8736 | 19.0 |
| 1.7653 | 2.13 | 4000 | 1.6811 | 16.0819 | 5.9791 | 13.8639 | 15.0031 | 19.0 |
| 1.7392 | 2.4 | 4500 | 1.6761 | 15.706 | 5.7384 | 13.5978 | 14.7374 | 19.0 |
| 1.7578 | 2.67 | 5000 | 1.6729 | 15.8926 | 5.9629 | 13.767 | 14.9088 | 19.0 |
| 1.7353 | 2.93 | 5500 | 1.6675 | 16.0266 | 5.9024 | 13.8471 | 14.9721 | 19.0 |
| 1.7425 | 3.2 | 6000 | 1.6626 | 16.0732 | 6.1141 | 13.9016 | 15.0673 | 19.0 |
| 1.73 | 3.47 | 6500 | 1.6631 | 16.1333 | 6.0951 | 13.9551 | 15.0686 | 19.0 |
| 1.7355 | 3.73 | 7000 | 1.6616 | 16.1704 | 6.1575 | 14.0481 | 15.079 | 19.0 |
| 1.7139 | 4.0 | 7500 | 1.6572 | 16.2592 | 6.25 | 14.0403 | 15.1851 | 19.0 |
| 1.7188 | 4.27 | 8000 | 1.6580 | 16.1572 | 6.0661 | 14.0029 | 15.0935 | 19.0 |
| 1.7045 | 4.53 | 8500 | 1.6560 | 16.1409 | 6.1478 | 13.9806 | 15.0795 | 19.0 |
| 1.7201 | 4.8 | 9000 | 1.6541 | 16.3352 | 6.2366 | 14.1335 | 15.2755 | 19.0 |
Framework versions
- Transformers 4.38.2
- Pytorch 2.2.1+cu121
- Datasets 2.18.0
- Tokenizers 0.15.2
Comments
Any idea, help or report will always be welcome.
email: rhaymisoncristian@gmail.com