pipeline

import torch
from transformers import pipeline

model_id = "akahana/rag-contextual-indo-0.6b"
pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

prompt = """
Berdasarkan konteks berikut, jawab pertanyaan di bawah ini dengan jelas.
Jika jawaban tidak ada dalam konteks, katakan "Saya tidak menemukan informasi tersebut dalam konteks."

Konteks :
Pada 3 Juli 1971, presiden mengangkat 100 anggota DPR dari Angkatan Bersenjata dan memberikan 9 kursi wakil Provinsi Irian Barat untuk wakil dari Golkar.
Setelah menggabungkan kekuatan-kekuatan partai politik, Soeharto dipilih kembali menjadi presiden oleh Sidang Umum MPR (Tap MPR No IX/MPR/1973) pada 23 Maret 1973 untuk jabatan yang kedua kali.
Saat ini, Sri Sultan Hamengku Buwono IX mendampinginya sebagai wakil presiden.

Pertanyaan:
Siapa yang menjadi wakil presiden ?

Jawaban:

"""
messages = [
    {
        "role":"user",
        "content":prompt,
    }
]

outputs = pipe(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

vllm

vllm serve akahana/rag-contextual-indo-0.6b \
--tensor-parallel-size 2 # multigpu\
--host 0.0.0.0 \
--port 8000

from vllm import LLM
from vllm.sampling_params import SamplingParams


model_name = "akahana/rag-contextual-indo-0.6b"
sampling_params = SamplingParams(max_tokens=256, temperature=0.0)
llm = LLM(
    model=model_name,
    trust_remote_code=True,
    max_model_len=2048,
    max_num_batched_tokens=2048,
    tensor_parallel_size=2, # if you have multigpus
)

prompt = """
Berdasarkan konteks berikut, jawab pertanyaan di bawah ini dengan jelas.
Jika jawaban tidak ada dalam konteks, katakan "Saya tidak menemukan informasi tersebut dalam konteks."

Konteks :
Pada 3 Juli 1971, presiden mengangkat 100 anggota DPR dari Angkatan Bersenjata dan memberikan 9 kursi wakil Provinsi Irian Barat untuk wakil dari Golkar.
Setelah menggabungkan kekuatan-kekuatan partai politik, Soeharto dipilih kembali menjadi presiden oleh Sidang Umum MPR (Tap MPR No IX/MPR/1973) pada 23 Maret 1973 untuk jabatan yang kedua kali.
Saat ini, Sri Sultan Hamengku Buwono IX mendampinginya sebagai wakil presiden.

Pertanyaan:
berapa banyak orang yang menjadi DPR dari Angkatan Bersenjata?

Jawaban:

# """

messages = [
    {
        "role": "user",
        "content": prompt,
    }
]

outputs = llm.chat(messages, sampling_params=sampling_params)
output = outputs[0].outputs[0].text.strip()
messages.append({"role":"assistant","content":output})
output