ModernBERT_base_pairs_embedding

This is a sentence-transformers model finetuned from answerdotai/ModernBERT-base on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: answerdotai/ModernBERT-base
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json
• Language: en
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("avemio-digital/ModernBERT_base_pairs_embedding")
# Run inference
sentences = [
    'Das Rebhuhn erreicht normalerweise gegen Ende des ersten Lebensjahres die Geschlechtsreife und hat in der Regel zu diesem Zeitpunkt auch die erste Verpaarung.',
    'Das Rebhuhn erreicht die Geschlechtsreife gegen Ende des ersten Lebensjahres. Zu diesem Zeitpunkt erfolgt in der Regel auch die erste Verpaarung. Das Rebhuhn führt eine monogame Brutehe. Diese beschränkt sich in der Regel auf eine Jahresbrut, bei frühem Gelegeverlust ist jedoch ein Nachgelege möglich. Die Legezeit liegt in den meisten Verbreitungsgebieten zwischen Mitte/Ende April und Anfang/Mitte Mai.',
    'Traditionell ist Schmallenberg seit dem 19. Jahrhundert Zentrum der Sauerländer Textilindustrie (größtes Unternehmen: Falke-Gruppe). Da die Entwicklung der Textilindustrie jedoch rückläufig ist, dominieren mittelständische Unternehmen. Diese sind vor allem in Industrie und Handwerk angesiedelt. Zu den bedeutenden Schmallenberger Unternehmen gehören die Firmen Audiotec Fischer GmbH (Car-Hifi: Brax / Helix), die Burgbad AG (Badmöbelhersteller mit Sitz in Bad Fredeburg) und Transfluid Maschinenbau GmbH (Weltmarktführer bei Rohrbearbeitungsmaschinen der gesteuerten Roll-Umformtechnik (inkrementell)) sowie die Firma Feldhaus (Bau- und Bergbauunternehmen). Auf Grund der waldreichen Lage kommt der Holzwirtschaft eine wichtige Bedeutung zu. In Bad Fredeburg existiert etwa ein Holzgewerbepark, der kleinen und mittleren Unternehmen Gewerbefläche bietet. Einen großen Anteil am Dienstleistungssektor haben aufgrund der landschaftlich reizvollen Lage und der Wintersportmöglichkeiten Gastronomie und Fremdenverkehr.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

• Dataset: json
• Size: 933,246 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 29 tokens mean: 54.99 tokens max: 131 tokens	min: 33 tokens mean: 183.9 tokens max: 766 tokens

• Samples:

  anchor	positive
  Häufig festgestellte Besonderheiten bei Babys mit Trisomie 21 sind vorgeburtlich ein bis drei Merkmale, die mittels Ultraschall- oder Blutuntersuchungen erkannt werden können.	Im Zuge der sich stetig entwickelnden Möglichkeiten vorgeburtlicher Untersuchungen (Pränataldiagnostik) sind mit der Zeit einige Besonderheiten dokumentiert worden, die vergleichsweise häufig bei Babys mit Trisomie 21 festgestellt werden und mitunter mittels Ultraschall- oder Blutuntersuchungen zu erkennen sind. Bei keinem Baby mit Down-Syndrom treten alle diese Besonderheiten auf; bei den meisten Babys finden sich vorgeburtlich nur ca. ein bis drei Merkmale, und bei manchen finden sich keine, die ausgeprägt genug wären, als Hinweiszeichen eingestuft zu werden. Manche der Besonderheiten sind darüber hinaus vorgeburtlich vergleichsweise schwer zu erkennen bzw. in ihrer Bedeutung zu bewerten.
  Wer sind einige herausragende Spitzenspieler im englischsprachigen Scrabble, die in den letzten Jahren eine prägende Rolle gespielt haben?	Weitere Spitzenspieler, die in den letzten Jahren das englischsprachige Scrabble geprägt haben, sind Pakorn Nemitrmansuk (Weltmeister 2009, Vizeweltmeister 2011), Komol (Weltmeisterschaftsfinalist 2013) sowie Craig Beevers aus England (Sieger der inoffiziellen Weltmeisterschaften 2014).
  DMC ist eine Sorte von Marine Distillate Fuel Oil, bei der das Zumischen von Rückstandsöl erlaubt ist.	Schweröl ist in verschiedenen Qualitäten erhältlich. So regelt MARPOL 73/78 Annex VI den Ausstoß von Schwefel-Verbrennungsprodukten in bestimmten Seegebieten, weshalb sogar – von der Norm abweichende – schwefelreduzierte Qualitäten hergestellt werden. Entsprechend der Norm für Marine-Kraftstoffe in der aktuellen Fassung von 2005 wird zwischen „Marine Distillate Fuel Oil“ (DMX, DMA/MGO = Marine Gasoil, DMB/MDO = Marine Diesel Oil, DMC) und „Marine Residual Fuel Oil“ (siehe Tabelle) unterschieden, wobei es sich bei den „Residual Fuels“ um Schweröle im engeren Sinne handelt. Eine Sonderstellung stellt die Sorte DMC dar: Hier erlauben die Spezifikationen das Zumischen von Rückstandsöl.

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768
      ],
      "matryoshka_weights": [
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• gradient_accumulation_steps: 16
• learning_rate: 2e-05
• num_train_epochs: 1
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 16
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.3.1
• Transformers: 4.48.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.2.1
• Datasets: 2.19.1
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}