CSR Sparse Encoder

This is a CSR Sparse Encoder model finetuned from UMCU/MedRoBERTa.nl_Miriad_QA using the sentence-transformers library. It maps sentences & paragraphs to a 3072-dimensional sparse vector space with 192 maximum active dimensions and can be used for semantic search and sparse retrieval.

Model Details

Model Description

• Model Type: CSR Sparse Encoder
• Base model: UMCU/MedRoBERTa.nl_Miriad_QA
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 3072 dimensions (trained with 192 maximum active dimensions)
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Sparse Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sparse Encoders on Hugging Face

Full Model Architecture

SparseEncoder(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'RobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): SparseAutoEncoder({'input_dim': 768, 'hidden_dim': 3072, 'k': 192, 'k_aux': 384, 'normalize': False, 'dead_threshold': 30})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SparseEncoder

# Download from the 🤗 Hub
model = SparseEncoder("sparse_encoder_model_id")
# Run inference
sentences = [
    'Hoe verhoudt glucose-intolerantie bij zwangerschapsdiabetes mellitus (GDM) zich tot insulineresistentie en insulinesecretie?',
    'Glucose-intolerantie bij GDM wordt geassocieerd met een meer uitgesproken insulineresistentie en verminderde insulinesecretie. Studies hebben aangetoond dat vrouwen met GDM hogere niveaus van insulineresistentie hebben in vergelijking met vrouwen met normale glucosetolerantie (NGT). Daarnaast kunnen zowel pre-eclampsie als zwangerschaps hypertensie geassocieerd zijn met grotere mate van insulineresistentie dan een normale zwangerschap. Dit suggereert dat glucose-intolerantie bij GDM mogelijk verband houdt met onderliggende insuline-gerelateerde afwijkingen.',
    'Cimetidine-geïnduceerde gewichtsvermindering bij overgewichtige patiënten met type 2 diabetes wordt geassocieerd met een verbeterde glycemische controle, inclusief een vermindering van de nuchtere bloedglucoseconcentraties en HbA1c, plasma-insuline en de insuline-tot-glucoseverhouding. Het leidt ook tot veranderingen in het bloedlipidenprofiel, zoals een afname van triglyceriden en een toename van HDL-cholesterolconcentraties. Daarnaast zijn er verminderingen in tailleomtrek, taille-heupverhouding (WHR) en bloeddruk, wat wijst op een vermindering van visceraal vet en een verbeterde cardiovasculaire gezondheid.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 3072]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7856, 0.2973],
#         [0.7856, 1.0000, 0.2407],
#         [0.2973, 0.2407, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 4,486,855 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 7 tokens mean: 23.67 tokens max: 68 tokens	min: 18 tokens mean: 105.33 tokens max: 240 tokens

• Samples:

  sentence_0	sentence_1
  Wat zijn de klinische bijwerkingen die gepaard gaan met VEGF-remming?	De klinische bijwerkingen van VEGF-remming omvatten hypertensie, arteriële trombo-embolische gebeurtenissen, cardiale disfunctie, verminderde wondgenezing en weefselherstel, en eiwiturie. Deze bijwerkingen treden op als gevolg van de verstoring van normale angiogenese, vasculaire homeostase, vasculaire tonus en permeabiliteit veroorzaakt door de remming van VEGF-signalerings.
  Welke rol spelen iNKT-cellen in de afweer van de gastheer tegen verschillende vormen van kanker?	iNKT-cellen blijken een belangrijke rol te spelen in de afweer van de gastheer tegen verschillende vormen van kanker. Patiënten met verschillende soorten kanker vertonen vaak een verminderd aantal perifere bloed-iNKT-cellen, en deze cellen zijn vaak verminderd in hun functies. Bijvoorbeeld, patiënten met progressieve multipel myeloom hebben een verlaagde frequentie van iNKT-cellen en een duidelijke tekortkoming in αGC-afhankelijke IFN-γ-productie. Aan de andere kant zijn verhoogde aantallen perifere bloed- en/of tumor-infiltrerende iNKT-cellen geassocieerd met een gunstiger respons op therapie bij patiënten met neuroblastoom, colorectale carcinoom en hoofd- en halscarcinoom. Deze bevindingen suggereren dat iNKT-cellen een cruciale rol spelen in de immuunrespons tegen kanker.
  Waarom maken beleidsmakers zich zorgen over toekomstige stijgingen van de gezondheidszorguitgaven in de Verenigde Staten?	Beleidsmakers maken zich zorgen over toekomstige stijgingen van de gezondheidszorguitgaven vanwege de al hoge niveaus van Amerikaanse uitgaven en de noodzaak van effectieve kostenbeheersingsstrategieën. Hoewel de inflatie van de gezondheidszorgkosten de afgelopen jaren is afgenomen, is deze weer begonnen toe te nemen. Zelfs als toekomstige stijgingen gematigd zijn, vormen de hoge uitgaven een reden tot zorg.

• Loss: main._WandbLossLoggerWrapper

Training Hyperparameters

Non-Default Hyperparameters

• num_train_epochs: 2
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• per_device_train_batch_size: 8
• num_train_epochs: 2
• max_steps: -1
• learning_rate: 5e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0
• optim: adamw_torch
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1
• label_smoothing_factor: 0.0
• bf16: False
• fp16: True
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: trackio
• eval_strategy: no
• per_device_eval_batch_size: 8
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Framework Versions

• Python: 3.13.14
• Sentence Transformers: 5.3.0
• Transformers: 5.3.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.13.0
• Datasets: 3.6.0
• Tokenizers: 0.22.2

Citation

BibTeX

Dutch MIRIAD4.4

@misc{vanes2026languagecorporadutchmedical,
      title={Language corpora for the Dutch medical domain}, 
      author={B. van Es},
      year={2026},
      eprint={2604.25374},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2604.25374}, 
}

Original MIRIAD4.4

@misc{zheng2025miriadaugmentingllmsmillions,
      title={MIRIAD: Augmenting LLMs with millions of medical query-response pairs},
      author={Qinyue Zheng and Salman Abdullah and Sam Rawal and Cyril Zakka and Sophie Ostmeier and Maximilian Purk and Eduardo Reis and Eric J. Topol and Jure Leskovec and Michael Moor},
      year={2025},
      eprint={2506.06091},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2506.06091},
}

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}