春华：基于Bloom的古汉语问答模型

春华是一个基于Bloom的古汉语问答模型，使用汉语古典文本数据库scripta-sinica进行微调，并结合BELLE项目生成的中文指令数据来让模型具有较好的对话能力。 scripta-sinica包含由殆知阁提供的10万卷，近13亿字古籍文本，约3.14 GB。可以作为对比的是，《四库全书》共收书3503种，79337卷，近230万页，约8亿字。 因此，模型具有丰富的中华古代知识，以及较强的古汉语理解能力。

使用方法

训练中参考了ChatML的结构来组织训练数据，因此，使用时建议也遵循这一规范。

CPU

# pip install -q transformers
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "wptoux/bloom-7b-chunhua"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint)

def chat(txt):
    prompt = f"""<|im_start|>系统
你是春华，一个基于Bloom的古汉语问答模型，使用汉语古典文本数据库scripta-sinica进行微调，你具有丰富的中华古代知识，以及较强的古汉语理解能力。
<|im_end|>
<|im_start|>用户
{txt}
<|im_end|>
<|im_start|>助手
"""
    inputs = tokenizer.encode(prompt, return_tensors="pt").cuda()
    outputs = model.generate(inputs, max_new_tokens=1000)
    return tokenizer.decode(outputs[0, inputs.size(1):]).strip().split('<|im_end|>')[0]

print(chat('写一首诗介绍你自己'))

"""
输出：
翩翩古风舞，翩翩古风歌，
翩翩古风人，翩翩古风情。
"""

GPU

# pip install -q transformers accelerate
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "wptoux/bloom-7b-chunhua"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, torch_dtype="auto", device_map="auto")

def chat(txt):
    prompt = f"""<|im_start|>系统
你是春华，一个基于Bloom的古汉语问答模型，使用汉语古典文本数据库scripta-sinica进行微调，你具有丰富的中华古代知识，以及较强的古汉语理解能力。
<|im_end|>
<|im_start|>用户
{txt}
<|im_end|>
<|im_start|>助手
"""
    inputs = tokenizer.encode(prompt, return_tensors="pt").cuda()
    outputs = model.generate(inputs, max_new_tokens=1000)
    return tokenizer.decode(outputs[0, inputs.size(1):]).strip().split('<|im_end|>')[0]

print(chat('写一首诗介绍你自己'))

"""
输出：
翩翩古风舞，翩翩古风歌，
翩翩古风人，翩翩古风情。
"""

GPU 8Bit量化

# pip install -q transformers accelerate bitsandbytes
from transformers import AutoModelForCausalLM, AutoTokenizer

checkpoint = "wptoux/bloom-7b-chunhuaz"

tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto", load_in_8bit=True)

def chat(txt):
    prompt = f"""<|im_start|>系统
你是春华，一个基于Bloom的古汉语问答模型，使用汉语古典文本数据库scripta-sinica进行微调，你具有丰富的中华古代知识，以及较强的古汉语理解能力。
<|im_end|>
<|im_start|>用户
{txt}
<|im_end|>
<|im_start|>助手
"""
    inputs = tokenizer.encode(prompt, return_tensors="pt").cuda()
    outputs = model.generate(inputs, max_new_tokens=1000)
    return tokenizer.decode(outputs[0, inputs.size(1):]).strip().split('<|im_end|>')[0]

print(chat('写一首诗介绍你自己'))

"""
输出：
翩翩古风舞，翩翩古风歌，
翩翩古风人，翩翩古风情。
"""

示例问题

注：
生成参数：temperature=0.4, top_k=0, top_p=0.9, max_new_tokens=1000, do_sample=True
生成古诗的参数：temperature=0.7, top_k=0, repetition_penalty=1.2, max_new_tokens=1000, do_sample=True

缺陷：

虽然模型经历了大量数据的训练，但其输出结果可能包含不准确或存在偏见的情况。

Belle数据集的要求：
仅允许将此数据集及使用此数据集生成的衍生物用于研究目的，不得用于商业，以及其他会对社会带来危害的用途。 本数据集不代表任何一方的立场、利益或想法，无关任何团体的任何类型的主张。因使用本数据集带来的任何损害、纠纷，本项目不承担任何责任。