Este é um finetuning do "cnmoro/Qwen2.5-0.5B-Portuguese-v1" para realizar a decomposição de prompts de usuários em um sistema RAG.
A mensagem de sistema indica o tipo de termos de busca que devem ser extraídos.
Caso queira extrair termos de busca para um search engine textual (Google, Solr e afins), utilizar a seguinte mensagem:
"Você decompõe o texto do usuário em termos de busca textuais, no formato JSON"
Caso queira extrair termos de busca para um banco vetorial (Pinecone, QDrant, Milvus, Chroma, etc), para busca semântica com embeddings, utilizar a seguinte mensagem:
"Você decompõe o texto do usuário em termos de busca semânticos, no formato JSON"
Exemplo:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "cnmoro/Qwen2.5-0.5B-Portuguese-Prompt-Decomposer"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to("cuda")
def decompose_prompt(prompt, _type="textual"):
termos_tipo = "textuais" if _type == "textual" else "semânticos"
messages = [
{
"role": "system",
"content": f"Você decompõe o texto do usuário em termos de busca {termos_tipo}, no formato JSON"
},
{
"role": "user",
"content": prompt
}
]
gen_input = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(gen_input, return_tensors="pt", return_token_type_ids=False).to("cuda")
outputs = model.generate(**inputs, max_new_tokens=384, temperature=0.3, do_sample=True, repetition_penalty=1.2)
input_length = inputs.input_ids.shape[1]
generated_tokens = outputs[0, (input_length):]
return tokenizer.decode(generated_tokens, skip_special_tokens=True)
print(
decompose_prompt(
"Com a edição da Lei n. 12.618/2012, quais foram os principais impactos sobre os servidores públicos, considerando que restaram consolidadas duas situações jurídicas previdenciárias?",
"textual"
)
)
# ```json
# {
# "search_terms": {
# "textual": [
# "Lei 12618",
# "servidor público previdência",
# "impacto lei 12618"
# ]
# }
# }
# ```
#########################
print(
decompose_prompt(
"Com a edição da Lei n. 12.618/2012, quais foram os principais impactos sobre os servidores públicos, considerando que restaram consolidadas duas situações jurídicas previdenciárias?",
"semantic"
)
)
# ```json
# {
# "search_terms": {
# "semantic": [
# "impacto lei servidores",
# "reforma previdência servidores"
# ]
# }
# }
# ```