ModernBERT-Base

This is a sentence-transformers model finetuned from answerdotai/ModernBERT-base on the avemio/German-RAG-EMBEDDING-TRIPLES-HESSIAN-AI dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: answerdotai/ModernBERT-base
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • avemio/German-RAG-EMBEDDING-TRIPLES-HESSIAN-AI
• Language: de
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("avemio-digital/ModernBERT_base_triples_embedding")
# Run inference
sentences = [
    'Wieso verklagte die Familie von Ritter die behandelnden Ärzte auf 67 Millionen US-Dollar Schadensersatz?',
    'Während Proben zu einer Folge von "Meine wilden Töchter" traten bei Ritter im September 2003 starke Brustschmerzen auf, und er begab sich in das nahegelegene "Providence Saint Joseph Medical Center", in dem er am 11. September 2003 im Alter von 54 Jahren – eine Woche vor seinem 55. Geburtstag – an einer Aortendissektion starb. Seine Familie verklagte Anfang 2008 die behandelnden Ärzte auf einen Schadensersatz von 67 Millionen US-Dollar. Die Klage wurde im März 2008 abgewiesen.',
    'Nach der Einstellung der Fernsehserie "Herzbube mit zwei Damen" nach acht Staffeln im Jahr 1984 machte er mit dem Spin-off "Three’s A Crowd" weiter, jedoch wurde die Serie nach einer Staffel eingestellt. Weitere Fernsehrollen hatte er in "Inspektor Hooperman" (1987), die ihm eine Nominierung sowohl für den Golden Globe als auch für den Emmy einbrachte, "Küß’ mich, John" (1992), "Ally McBeal" (1997), "Buffy – Im Bann der Dämonen" (1997), "Clifford the Big Red Dog" (2000), "Scrubs – Die Anfänger" oder "Meine wilden Töchter" (2002).',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Dataset: dim_768
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

json

• Dataset: json
• Size: 264,810 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 28 tokens mean: 54.52 tokens max: 307 tokens	min: 30 tokens mean: 184.58 tokens max: 1293 tokens	min: 33 tokens mean: 151.69 tokens max: 1297 tokens

• Samples:

  anchor	positive	negative
  Was passiert, als die Haeduer sich gegen Caesar erheben und die Römer die Schlacht um Gergovia führen?	Während er Titus Labienus mit vier Legionen in die Gebiete der Senonen und Parisier verlegt, macht sich Caesar auf nach Gergovia ins Gebiet der Arverner und die Heimat des Vercingetorix. Die Haeduer erheben sich jedoch schon bald gegen Caesar. Während die Schlacht um Gergovia tobt, rücken die Haeduer auf die römischen Truppen zu. Die Römer verlieren an diesem Tag fast siebenhundert Männer, können die Stadt aber nicht einnehmen. Caesar zieht weiter zur Stadt Noviodunum, die von den Haeduern zerstört wurde, während Labienus gegen die Stadt Lutetia zieht. Dort kommt es für Labienus zur siegreichen Schlacht. Die Gallier fliehen. Nach drei Tagen vereinigen sich seine Truppen mit denen Caesars.	Unterdessen hält Vercingetorix gallischen Landtag in Bibracte. Fast alle gallischen Stämme nehmen teil und bestätigen Vercingetorix als Feldherrn. Es kommt zur Schlacht, in deren Verlauf die gallischen Reiter am Fluss Armançon vernichtet werden. Vercingetorix zieht mit seinen Fußtruppen zur Festung Alesia ab. Dort kommt es erneut zum Kampf, den Caesar dank germanischer Hilfstruppen für sich entscheiden kann. Ihm gelingt es, die Gallier einzuschließen und ein ausgeklügeltes Befestigungssystem rund um die Stadt zu errichten. Die eingeschlossenen Gallier warten jetzt dringend auf heranziehende gallische Hilfstruppen, denn ihre Lebensmittelvorräte sind fast aufgebraucht. Die Gallier diskutieren die Möglichkeit, sich zu ergeben. In der flammenden Rede des Arverners Critognatus spricht sich dieser gegen eine Kapitulation aus und überzeugt die Übrigen. Reitergefechte eröffnen die nächsten Kampfhandlungen, bis zum Abend bahnt sich aber keine Entscheidung an. Auch in den kommenden Tagen gelingt...
  Wo war die Geburtsstätte der Hip-Hop-Musik und welches Label spielte eine bedeutende Rolle in den 1990er Jahren an der US-Ostküste?	Hip-Hop-Musik entstand in New York City, an der US-Ostküste. Obwohl es inzwischen auch andere wichtige Zentren wie zum Beispiel Philadelphia und Los Angeles gibt, ist die Stadt bis heute das Zentrum der Szene. 1992 begann sich die Musikszene zu verändern. Hip-Hop-Musik wurde immer mehr und schließlich endgültig vom Mainstream übernommen und versprach, kommerziell sehr lukrativ zu werden. Ein wichtiges Label an der Ostküste war zu dieser Zeit Bad Boy Entertainment von Puff Daddy, dort veröffentlichten Craig Mack, Mase und The Notorious B.I.G.	East Coast vs. West Coast ("Ostküste gegen Westküste") ist die gängigste Bezeichnung für den bekanntesten "Beef" – eine Fehde im Hip-Hop. Bei der in der Mitte der 1990er-Jahre stattfindenden Auseinandersetzung handelte es sich um eine Rivalität zwischen den Plattenfirmen Bad Boy Entertainment aus New York City und Death Row Records aus Los Angeles sowie den dazugehörigen Rappern und Produzenten, die gewaltsam eskalierte. In ihrer Folge wurden unter anderem die Rapper Tupac Shakur und Notorious B.I.G. erschossen, wobei die Täter und der jeweilige Zusammenhang mit der Fehde ungeklärt blieben. Benannt ist der Konflikt nach den Szenen des Eastcoast-Hip-Hops und des Westcoast-Hip-Hops.
  Die Annäherung zwischen Nord- und Südkorea in Bezug auf die Olympischen Spiele von 2018 beinhaltete gemeinsame Gespräche, die Einigung auf die Teilnahme nordkoreanischer Athleten sowie das gemeinsame Eintreten bei der Eröffnungsfeier und im Frauen-Eishockey.	Am 1. Januar 2018 sagte der nordkoreanische Machthaber Kim Jong-un in seiner Neujahrsansprache, dass die beiden Länder wieder gemeinsame Gespräche führen sollten. Am 9. Januar 2018 trafen sich Regierungsvertreter beider Länder und einigten sich unter anderem auf Athleten aus Nordkorea bei den Wettkämpfen in Südkorea. Am 17. Januar 2018 sagte ein Sprecher des südkoreanischen Vereinigungsministeriums, dass die beiden Länder unter dem Namen „Korea“ bei der Eröffnungsfeier gemeinsam einlaufen und im Frauen-Eishockey gemeinsam antreten würden.	Während der XXIII. Olympischen Winterspiele gab es vier Dopingfälle. So wurde der japanische Shorttracker Kei Saito positiv auf das Diuretikum Acetazolamid, der slowenische Eishockeyspieler Žiga Jeglič positiv auf das Asthmamittel Fenoterol, der russische Curler Alexander Alexandrowitsch Kruschelnizki positiv auf das Herzmittel Meldonium und die russische Bobfahrerin Nadeschda Wiktorowna Sergejewa positiv auf das Herzmittel Trimetazidin getestet. Alle vier Athleten wurden von der Veranstaltung ausgeschlossen. Außerdem wurden dem russischen Curler und seiner Partnerin die zuvor gewonnene Bronzemedaille bei den Mixed Doubles aberkannt und dem norwegischen Team Kristin Skaslien/Magnus Nedregotten zugesprochen.

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768
      ],
      "matryoshka_weights": [
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• gradient_accumulation_steps: 16
• learning_rate: 2e-05
• num_train_epochs: 1
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 16
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: True
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.3.1
• Transformers: 4.48.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.2.1
• Datasets: 2.19.1
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

The German-RAG AI Team

Marcel Rosiak Soumya Paul Siavash Mollaebrahim Zain ul Haq