DistilBERT-RE-Gene: Extração de Relações Causais Gene-Gene

Descrição

Este modelo e um finetune do distilbert-base-uncased para extração de relações causais entre genes em texto biomédico. Foi treinado no dataset GNBR (Gene Network KnowledgeBase and Repository), que contem relações extraídas de literatura científica via análise de dependência sintática.

O objetivo do modelo é servir como extrator causal em pipelines de bioinformática, classificando pares de genes como activates (ativação) ou regulated (regulação) com base no contexto da sentença.

Tarefa

Classificação de sequência (sequence classification) binária:

O modelo recebe como entrada uma sequência no formato:

GENE1 [SEP] GENE2 [SEP] Sentença contendo ambos os genes

E retorna a probabilidade de a relação entre eles ser activates ou regulated.

Dados de Treino: GNBR

O GNBR (Gene Network KnowledgeBase and Repository) e um dataset de relações gene-gene extraídas de ~2 milhões de artigos do PubMed. Ele foi construído pelo Projeto GNBR (Zenodo 3346007) e contém:

Os temas originais foram mapeados para as 2 classes finais:

Apos a filtragem e o cruzamento entre Part I e Part II, o dataset final continha 121.839 amostras.

Procedimento de Treino

Hiperparâmetros

Subamostragem

Para viabilizar o treino no Colab, foi feita uma subamostragem balanceada de 15.000 amostras por classe (30.000 total), divididas em:

Métricas

Foram utilizadas accuracy e F1-score macro para avaliar o desempenho, com seleção do melhor modelo com base no F1 macro.

Uso

from transformers import AutoTokenizer, AutoModelForSequenceClassification, pipeline
import torch

model_path = "leandronunes/distilbert-re-gene"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForSequenceClassification.from_pretrained(model_path)

# Opção 1: usar a pipeline
relation_extractor = pipeline(
    "text-classification",
    model=model_path,
    tokenizer=model_path,
    device=0 if torch.cuda.is_available() else -1,
)

def extrair_relacao_causal(sentence: str, gene1: str, gene2: str):
    formatted_input = f"{gene1} [SEP] {gene2} [SEP] {sentence}"
    best_prediction = relation_extractor(formatted_input)[0]
    return {
        "gene_origem": gene1,
        "gene_alvo": gene2,
        "relacao_predita": best_prediction['label'],
        "confianca": round(best_prediction['score'], 4),
    }

# Exemplo
resultado = extrair_relacao_causal(
    "We found that PKMYT1 significantly activates CDK1 downstream.",
    "PKMYT1",
    "CDK1",
)
print(resultado)
# {'gene_origem': 'PKMYT1', 'gene_alvo': 'CDK1', 'relacao_predita': 'activates', 'confianca': 0.98}

Entrada Esperada

O modelo espera que os genes e a sentença sejam concatenados com o token especial [SEP] (que o tokenizer do DistilBERT converte automaticamente para [SEP]). A ordem é:

<GENE_ORIGEM> [SEP] <GENE_ALVO> [SEP] <SENTENCA>

Limitações

• Binário: O modelo só distingue activates de regulated. Não cobre outras relações do GNBR (ex: inhibits, binds, upregulates).
• Dependência do [SEP]: O formato de entrada e rígido. Se a ordem dos genes for invertida, a predição pode mudar.
• Contexto limitado: Maximo de 128 tokens. Sentenças longas sao truncadas.
• Subamostragem: Treinado em 30.000 amostras (de 121.839 disponíveis). Retreinar com o dataset completo pode melhorar o desempenho.
• Idioma: Treinado predominantemente em inglês científico.
• Espécie-agnóstico: O modelo não distingue genes de diferentes espécies (humano, zebrafish, etc.).

Uso Pretendido

Este modelo é destinado a:

• Extração de relações causais gene-gene em pipelines de NLP biomédico
• Alimentação de grafos de conhecimento e bases de dados de interações gênicas
• Pré-processamento para sistemas de RAG científico
• Validação automática de hipóteses causais geradas por LLMs

Não é destinado a: diagnóstico clínico, decisão terapêutica autônoma ou qualquer aplicação que exija validação por especialista humano.

Modelos Relacionados

• leandronunes/bioformer-ner: Extrator ontológico de entidades biomédicas (CellComp, GO, Complex)
• leandronunes/distilbert-re-gene: Este modelo (extrator de relações causais)

Citação

Se você usar este modelo, por favor cite o dataset GNBR:

@article{percha2018gnbr,
  title={A global network of biomedical relationships derived from text},
  author={Percha, Bethany and Altman, Russ B},
  journal={Bioinformatics},
  volume={34},
  number={15},
  pages={2614--2624},
  year={2018},
  publisher={Oxford University Press}
}

Licença

Apache 2.0 (herdada do distilbert-base-uncased).