Tired of using naive chunking ? Use this.
Inspired by https://github.com/zeroentropy-ai/zchunk
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model_name = "cnmoro/Qwen0.5b-RagSemanticChunker"
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto"
)
model.to(device)
tokenizer = AutoTokenizer.from_pretrained(model_name)
text = "Text to chunk"
messages = [
{"role": "system", "content": "Your job is to act as a semantic chunker.\nThe goal is to separate the content into semantically relevant groupings.\nEach group must be delimited by the \"段\" character."},
{"role": "user", "content": f"Segment this text:\n\n```text\n{text}\n```"}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=2048
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)
Example input:
O uso do milho geneticamente modificado para se tornar resistente ao glifosato – um dos herbicidas mais vendidos no mundo – foi rapidamente difundido nos países produtores, particularmente na América do Sul e na do Norte. Mas os questionamentos acerca dos possíveis efeitos adversos da aplicação para essa cultura ainda persistem. Sobretudo, dúvidas relacionadas à qualidade nutricional dos grãos produzidos. Um estudo recente, publicado na revista Agronomy por pesquisadores das universidades Estadual Paulista (Unesp), Estadual do Centro Oeste (Unicentro) e do Mississippi (nos Estados Unidos), traz novas informações sobre o tema. “Estudamos as características metabólicas e nutricionais do grão produzido com e sem a aplicação de glifosato. As pequenas diferenças que encontramos foram basicamente na parte nutricional e nos resíduos que ficaram em algumas amostras nas quais se fez a aplicação sequencial do herbicida”, adianta Leonardo Bianco de Carvalho, professor da Faculdade de Ciências Agrárias e Veterinárias (FCAV) da Unesp, em Jaboticabal, e um dos autores do artigo. O grupo desenvolveu quatro estudos de campo, conduzidos durante duas safras de verão no Estado de São Paulo e no Paraná (2020/2021 e 2021/2022) em três locais: Dracena (2020/2021); Guarapuava (as duas temporadas) e Jaboticabal (2021/2022). Foram utilizadas sementes comerciais de um híbrido de milho transgênico e uma formulação comercial de sal de amônio de glifosato. Os cientistas mensuraram o crescimento e o conteúdo mineral das plantas, o rendimento das colheitas, a qualidade dos grãos e a presença de resíduos de glifosato e ácido aminometilfosfônico (Ampa), o produto mais comum da degradação do herbicida. “A aplicação de glifosato no milho resistente ainda é relativamente pouco estudada. Foram relatados efeitos adversos, mas existem poucos dados de estudos robustos para determinar se eles são comuns.” O trabalho teve o apoio da FAPESP por meio de Auxílio à Pesquisa concedido a Carvalho. Nos quatro experimentos, foram usados os seguintes tratamentos: não aplicação de herbicida (controle); uma única aplicação de glifosato (a 980 gramas de equivalente ácido por hectare); e uma aplicação sequencial de glifosato (a 580g e 980 g de equivalente ácido por hectare, respectivamente). Os tratamentos seguem a recomendação técnica do produto: de acordo com a necessidade, ele pode ser aplicado uma ou duas vezes, no segundo caso, com duas semanas de intervalo. O herbicida foi aplicado com pulverizadores do tipo mochila, presos nas costas e pressurizados com dióxido de carbono (CO2). As parcelas-controle foram protegidas da deriva de pulverização de herbicida por plásticos. As amostras dessas parcelas foram coletadas das duas fileiras centrais para minimizar as chances de amostragem de plantas expostas à deriva da pulverização. “Para avaliar o crescimento, medimos a altura das plantas com régua e o diâmetro médio do caule com paquímetro digital. Para determinar a massa seca das plantas e grãos, nós colhemos, separamos, secamos e pesamos. E, para avaliar o conteúdo de macronutrientes [nitrogênio, fósforo, potássio, cálcio, magnésio e enxofre] e micronutrientes [cobre, ferro, manganês e zinco], a folha oposta e logo abaixo da espiga foi coletada em plantas diferentes. As folhas foram lavadas após a coleta, com imersões sequenciais em solução de detergente neutro e água destilada. Após a lavagem, foram secas em estufa a 65 °C por sete dias. Por fim, os materiais secos foram moídos, armazenados e enviados para uma empresa especializada nesse tipo de análise”, informa o pesquisador. Amostras moídas também foram encaminhadas para os professores Caio Antônio Carbonari e Edivaldo Domingues Velini, ambos da Faculdade de Ciências Agronômicas (FCA) da Unesp, em Botucatu. Eles fizeram a extração e a quantificação do glifosato, tanto em folhas quanto em grãos. Por fim, os cientistas mensuraram também a produtividade. Depois da colheita, fizeram as medidas de número e massa de grãos. Com base nesses dados, estimaram a produtividade das plantas por hectare. No caso da análise relativa à qualidade do grão, as diferenças encontradas concentram-se na parte nutricional e nos resíduos de glifosato identificados em parte dos grãos que receberam aplicação sequencial. “Neste último caso, os resultados estavam muito abaixo do nível permitido pela Organização das Nações Unidas para Agricultura e Alimentação [FAO] e pela Organização Mundial da Saúde [OMS], bem como abaixo dos níveis estabelecidos pela European Food Safety Authority [EFSA], a agência reguladora de alimentos mais rigorosa do mundo. Baixas concentrações de glifosato foram detectadas em duas das dez amostras recolhidas em Guarapuava [apenas na temporada 2021/2022], que receberam a aplicação sequencial de glifosato. As concentrações que encontramos perfazem 2% do nível permitido pela EFSA”, afirma Carvalho. Nenhum traço de Ampa foi detectado nas amostras. Quanto às diferenças nutricionais, Carvalho afirma não existir um padrão de nutrientes afetados pelo herbicida. “Avaliamos a quantidade de nutrientes que há no grão. Em um primeiro trabalho já havíamos avaliado os nutrientes nas plantas e não encontramos diferença nenhuma entre as parcelas que receberam e as que não receberam herbicida. No artigo publicado na Agronomy, avaliamos os nutrientes também nos grãos. E aí encontramos uma diferença pontual no teor de ferro entre locais e safras distintas. Mas não há um padrão. O herbicida, aparentemente, não afeta determinados nutrientes, macro ou micro. Às vezes, encontramos diferença; às vezes não. E, no geral, são diferenças pontuais”, explica. Ainda segundo o pesquisador, determinados nutrientes têm de ser transportados até o grão. Mas, se a planta tem alguma deficiência, pode não conseguir realizar esse processo. “O que percebemos é que essas diferenças podem não ser consequência do tratamento com herbicida. Se fosse esse o caso, elas ocorreriam com frequência. A falta de uniformidade dessas diferenças sugere que, talvez, elas estejam relacionadas ao manejo e a condições ambientais. Provavelmente, à fertilidade do solo. No campo, retiramos as amostras, fazemos uma média, mas nada nos assegura 100% que a condição do solo em todo o experimento vai ser similar. Por isso, nunca há um padrão. A não ser que os testes sejam feitos em condições controladas. Não é simplesmente o local, são as condições do local. E, às vezes, as diferenças acontecem entre amostras coletadas no mesmo local.” O glifosato é usado para controlar plantas daninhas, principalmente em lavouras resistentes ao produto. “No cultivo de sementes não resistentes, o herbicida se liga à enzima EPSPs e inibe sua ação, que é essencial para a síntese de aminoácidos aromáticos, proteínas e, consequentemente, importante para o crescimento da planta. Já a cultivar resistente ao glifosato não degrada o herbicida, ele tem uma enzima-alvo diferente à qual o herbicida não consegue se ligar. A planta absorve o herbicida, mas não o degrada.” De acordo com Carvalho, o grupo mostrou ser seguro aplicar o herbicida em culturas de milho, no sentido de produzir um grão de qualidade e quantidade próximas do que se espera. “Não houve diferença de produtividade entre os grupos que receberam e não receberam tratamento. Mas ainda temos algumas dúvidas, principalmente no que se refere ao impacto sobre a nutrição. Seria o caso de realizar estudos em condições controladas para entender a relação que o glifosato tem com os nutrientes.” No tocante aos resíduos, um próximo passo seria entender como o glifosato chega ao grão. “Como é que ele se transloca? Lembrando que, quando se aplica o herbicida, o grão ainda não está formado. Como o herbicida chega ao grão? Não sabemos realmente”, afirma o pesquisador.
Output:
Sure, here is the text segmented using the "段" character:
```text
O uso do milho geneticamente modificado para se tornar resistente ao glifosato – um dos herbicidas mais vendidos no mundo – foi rapidamente difundido nos países produtores, particularmente na América do Sul e na do Norte. Mas os questionamentos acerca dos possíveis efeitos adversos da aplicação para essa cultura ainda persistem.
段
Sobretudo, dúvidas relacionadas à qualidade nutricional dos grãos produzidos. Um estudo recente, publicado na revista Agronomy por pesquisadores das universidades Estadual Paulista (Unesp), Estadual do Centro Oeste (Unicentro) e do Mississippi (nos Estados Unidos), traz novas informações sobre o tema. “Estudamos as características metabólicas e nutricionais do grão produzido com e sem a aplicação de glifosato. As pequenas diferenças que encontramos foram basicamente na parte nutricional e nos resíduos que ficaram em algumas amostras nas quais se fez a aplicação sequencial do herbicida”, adianta Leonardo Bianco de Carvalho, professor da Faculdade de Ciências Agrárias e Veterinária (FCAV) da Unesp.
段
Em um dos autores do artigo, o grupo desenvolveu quatro estudos de campo, conduzidos durante duas semanas de verão no estado de São Paulo e no Paraná (2020/2021 e 2021/2022) em três locais: Dracena (2020/2021); Guarapuava (as duas temporadas) e Jaboticabal (2021/2022). Foram utilizadas sementes comerciais de um híbrido de milho transgênico e uma formulação comercial de sal de amônio de glifosato. Os cientistas mensuraram o crescimento e o conteúdo mineral das plantas, o rendimento das colheitas, a qualidade dos grãos e a presença de resíduos de glifosato e ácido aminometilfosfônico (Ampa), o produto mais comum da degradação do herbicida.
段
“A aplicação de glifosato no milho resistente ainda é relativamente pouco estudada. Foram relatados efeitos adversos, mas existem poucos dados de estudos robustos para determinar se eles são comuns.” O trabalho teve o apoio da Fundação Escola Nacional de Artes e Cultura (ENAC) por meio de Auxílio à Pesquisa concedido a Carvalho. Nos quatro experimentos, foram usados os seguintes tratamentos: não aplicação de herbicida (controle); uma única aplicação de glifosato (a 980 gramas de equivalente ácido por hectare); e uma aplicação sequencial de glifosato (a 580 g e 980 g de equivalente ácido por hectare, respectivamente).
段
Os tratamentos seguem a recomendação técnica do produto: de acordo com a necessidade, ele pode ser aplicado uma ou duas vezes, no segundo caso, com duas semanas de intervalo. O herbicida foi aplicado com pulverizadores do tipo mochila, presos nas costas e pressurizados com dióxido de carbono (CO2). As parcelas-controle foram protegidas da deriva de pulverização de herbicida por plásticos. As amostras dessas parcelas foram coletadas das duas fileiras centrais para minimizar as chances de amostragem de plantas expostas à deriva da pulverização.
段
“Para avaliar o crescimento, medimos a altura das plantas com regula e o diâmetro médio do caule com paquímetro digital. Para determinar a massa seca das plantas e grãos, nós colhemos, separamos, secamos e pesamos. E, para avaliar o conteúdo de macronutrientes [nitrogen, fosforio, potássio, cálcio, magnésio e enxofre] e micronutrientes [cobre, ferro, manganês e zinco], a folha oposta e logo abaixo da espiga foi coletada em plantas diferentes. As folhas foram lavadas após a coleta, com imersões sequenciais em solução de detergente neutro e água destilada. Após a lavagem, foram secas em estufa a 65°C por sete dias. Por fim, os materiais secos foram moídos, armazenados e enviados para uma empresa especializada nessa análise”, informa o pesquisador.
段
Amostras moídas também foram encaminhadas para os professores Caio Antônio Carbonari e Edivaldo Domingues Velini, ambos da Faculdade de Ciências Agronomias (FCA) da Unesp, em Botucatu. Eles fizeram a extração e a quantificação do glifosato, tanto em folhas quanto em grãos. Por fim, os cientistas mensuraram também a produtividade. Depois da colheita, fizeram as medidas de número e massa de grãos. Com base nesses dados, estimaram a produtividade das plantas por hectare.
段
No caso da análise relativa à qualidade do grão, as diferenças encontradas concentram-se na parte nutricional e nos resíduos de glifosato identificados em parte dos grãos que receberam aplicação sequencial. “Neste último caso, os resultados estavam muito abaixo do nível permitido pela Organização das Nações Unidas para Agricultura e Alimentação [FAO] e pela Organização Mundial da Saúde [OMS], bem como abaixo dos níveis estabelecidos pela European Food Safety Authority [EFSA], a agência reguladora de alimentos mais rigorosa do mundo. Baixas concentrações de glifosato foram detectadas em duas das dez amostras recolhidas em Guarapuava [apenas na temporada 2021/2022], que receberam a aplicação sequencial de glifosato. As concentrações que encontramos percorremos 2% do nível permitido pela EFSA, enquanto os herbicidas atingem 100%. ”
段
Ainda segundo o pesquisador, determinados nutrientes têm de ser transportados até o grão. Mas, se a planta tem alguma deficiência, pode não conseguir realizar esse processo. “O que percebevemos é que essas diferenças podem não ser consequência do tratamento com herbicida. Se fosse esse o caso, elas ocorreriam com frequência. A falta de uniformidade dessas diferenças sugere que, talvez, elas estejam relacionadas ao manejo e à condições ambientais. Provavelmente, à fertilidade do solo. No campo, retiramos as amostras, fazemos uma média, mas nada nos assegura 100% que a condição do solo em todo o experimento vai ser similar. Por isso, nunca há um padrão. A não ser que os testes sejam feitos em condições controladas. Não é simplesmente o local, são as condições do local. E, às vezes, as diferenças acontecem entre amostra coletada no mesmo local.”
```