mmBERTscandi-base-embedding

mmBERTscandi-base-embedding is finetuned on the Scandinavian (Danish, Norwegian, Swedish) text embeddings dataset from DDSC (nordic-embedding-training-data) using jonasaise/scandmmBERT-base-scandinavian/jhu-clsp/mmBERT-base as the base model via the sentence-transformers framework.

It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: jonasaise/scandmmBERT-base-scandinavian
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • nordic-embedding-training-data
• Languages: da, no, sw, sv
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("emillykkejensen/mmBERTscandi-base-embedding")
# Run inference
query = "Hvad var årsagen til at Christian IVs militære felttog mod Sverige fik så katastrofale følger?"
documents = [
    "Kong Christian IVs mange byggerier, herunder Rundetårn og Børsen, kostede statskassen dyrt og førte til økonomiske problemer. Hans passion for arkitektur og storslåede monumenter var medvirkende til rigets finansielle vanskeligheder i 1600-tallet.",
    "Den Store Nordiske Krig fra 1700-1721 resulterede i Sveriges tab af mange territorier til Rusland. Karl XIIs aggressive ekspansionspolitik endte med nederlag ved Poltava i 1709, hvilket markerede begyndelsen på Sveriges decline som stormagt.",
    "Christian IV indledte Kalmarkrigen i 1611 mod Sverige, motiveret af ønsket om at genvinde kontrollen over Øresund. Selvom Danmark opnåede nogle territoriale gevinster, var konflikten kostbar og udmattende for begge lande.",
    "Kongens manglende militære erfaring og overvurdering af Danmarks styrke var afgørende faktorer i nederlagene under Torstenson-fejden. Christian IVs personlige ledelse på slagmarken viste sig katastrofal, da han ikke forstod moderne krigsførelsesteknikker og undervurderede den svenske hærs disciplin og taktiske overlegenhed.",
    "Gustav II Adolf moderniserede den svenske hær med forbedret artilleri og mobile enheder. Hans militære reformer revolutionerede europæisk krigsførelse og gav Sverige en betydelig fordel i konflikter under 1600-tallet.",
    "Christian 4.s militære felttog mod Sverige, primært Kalmarkrigen (1611-13) og Torstenssonfejden (1643-45), var katastrofale, fordi hans forsøg på at genoprette Danmarks nordiske dominans og genindføre Kalmarunionen mislykkedes, hvilket resulterede i betydelige territoriale tab for Danmark og Norge, øget svensk magt og ydmygende fredsaftaler som «Freden i Brømsebro», der understregede Danmarks svækkelse som stormagt"
]
query_embeddings = model.encode_query(query, 'retrieval')
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# (768,) (6, 768)

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.4894, 0.6639, 0.6522, 0.7178, 0.5717, 0.8075]])

Evaluation

Metrics

Information Retrieval

• Datasets: nordic-embedding-eval-instruct and nordic-embedding-test-instruct
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

nordic-embedding-training-data

• Dataset: nordic-embedding-training-data at fba903a
• Size: 958,249 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 9 tokens mean: 60.67 tokens max: 435 tokens	min: 3 tokens mean: 96.48 tokens max: 664 tokens	min: 2 tokens mean: 35.8 tokens max: 329 tokens

• Samples:

  anchor	positive	negative
  Task: similarity Query: Jag letar efter recensioner som nämner den nya bruksanvändarvänliga gränssnittet som presenterades i den senaste uppdateringen av databasen. Speciellt är jag intresserad av hur användarna upplever navigationen efter nerladdningar och hur intuitivt det är att söka efter specifika filer.	Jag har använt databasen i flera år nu, och jag måste säga att den senaste uppdateringen är fantastiskt. Det nya gränssnittet är verkligen användarvänligt, mycket mer än tidigare. Det är så mycket enklare att navigera runt och hitta de filer jag behöver. Till exempel, när jag laddar ner en fil kan jag nu enkelt se alla relaterade dokument direkt på samma sida, vilket sparar mig mycket tid. Och sökmotorn är otroligt intuitiv - jag kan bokstavligen skriva in några nyckelord och hitta det jag söker på ett ögonblick. Det känns som om utvecklarna verkligen lyssnade på användarna och gjorde ändringar som verkligen gör en skillnad.
  Task: similarity Query: Det er fedt!	Det er fremragende!
  Task: classification\nQuery: Hej allihopa! Har ni hört den senaste nyheten? Det verkar som om vår klasskamrat Pelle har vunnit lotteri! Han ska tydligen resa runt i världen nu. Hur häftigt är inte det?	Informell

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false
  }
  

Evaluation Dataset

nordic-embedding-training-data

• Dataset: nordic-embedding-training-data at fba903a
• Size: 5,000 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 9 tokens mean: 62.42 tokens max: 557 tokens	min: 3 tokens mean: 93.78 tokens max: 896 tokens	min: 2 tokens mean: 33.44 tokens max: 335 tokens

• Samples:

  anchor	positive	negative
  Task: retrieval Query: beste rekkevidde	Elbilens rekkevidde er et sentralt tema for mange potensielle kjøpere. Batteriteknologi har utviklet seg enormt de siste årene, og moderne elbiler kan nå kjøre opptil 500 kilometer eller mer på en enkelt lading. Men rekkevidden varierer avhengig av flere faktorer, som bilens størrelse, vekt, kjørestil og værforhold. For eksempel vil en stor SUV med firehjulsdrift typisk ha lavere rekkevidde enn en liten bybil. Kaldt vær kan også redusere rekkevidden betydelig, mens varm vær har mindre innvirkning. Det er viktig å huske at oppgitte rekkevidder ofte er basert på standardiserte tester, og den faktiske rekkevidden kan variere i praksis. Mange produsenter oppgir WLTP-rekkevidden, som er en europeisk standard for måling av bilers drivstofforbruk og utslipp. WLTP-testen tar hensyn til faktorer som kjøreforhold, temperatur og kjørestil, og gir et mer realistisk bilde av bilens rekkevidde enn eldre tester. For å maksimere rekkevidden på din elbils, kan du følge noen enkle tips. Kjøre forsikti...	Når det kommer til kjøp av bil, er det mange faktorer å ta hensyn til. Pris, design, ytelse og sikkerhetsfunksjoner er alle viktige elementer som bør vurderes. En annen viktig faktor er bilens miljøpåvirkning. Elbiler har blitt mer populære i det siste på grunn av deres lave utslipp. De produserer ingen direkte utslipp av skadelige gasser, noe som gjør dem til et mer miljøvennlig alternativ til bensindrevne biler. Men elbiler har også noen ulemper. De kan være dyrere å kjøpe enn tradisjonelle biler, og rekkevidden kan være begrenset. Dessuten krever det infrastruktur for lading, og det kan være vanskelig å finne ladesteder i noen områder. Likevel, med den raskt voksende infrastrukturen for lading og stadig mer overkommelige priser, blir elbiler et stadig mer attraktivt valg for bilkjøpere.
  Task: classification\nQuery: Vi, undertegnede, hermed erklære os enige om at sælge den ejendom, der er beskrevet i vedlagte bilag. Køber og sælger er enige om en købesum på 2.500.000 kroner, som skal betales kontant ved underskrivelsen af denne aftale. Ejendommen overdrages til køber den 1. juli 2024.	Kontrakt
  Task: similarity Query: Vi planlegger en tur til Italia i slutten av november. Vi er interessert i å oppleve den italienske kulturen og historien, og vi håper å besøke Roma, Firenze og Venezia. Vi vil gjerne kombinere sightseeing med god mat og vin, og vi er åpne for å prøve lokale spesialiteter. Vi er også interessert i å besøke museer og historiske steder. For å spare penger, vil vi gjerne benytte offentlig transport, og vi er åpne for å bo på rimelige hoteller eller Airbnb.	Florenzia blomstrer i hjertet av Toscana og er et av verdens mest berømte reisemål. Med sin rikholdige historie, kunst, arkitektur og matkultur, er Firenze en perfekt destinasjon for alle som søker en autentisk italiensk opplevelse. Området rundt Piazza della Signoria er et must-visit. Her finner du Palazzo Vecchio, Uffizi Gallery, Ponte Vecchio og Duomo, alle ikoniske landemerker som vitner om Florens' fortid. Uffizi Gallery huser mesterverk av Michelangelo, Leonardo da Vinci og Raphael, mens Duomo med sin imponerende kupol er et arkitektonisk mesterverk. For en smak av lokal kultur, utforsk de smale gatene i Oltrarno-distriktet, der håndverkere og kunstnere har sine verksteder. Her kan du finne unike souvenirs og smake på tradisjonelle spesialiteter som bistecca alla fiorentina - et saftig biffstykke grillet over vedfyrt kull. Firenze er også hjem til en rekke museer, inkludert Galleria dell'Accademia, som huser Michelangelos David, og Palazzo Pitti, som huser Palatine Gallery...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• learning_rate: 5e-06
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: True
• gradient_checkpointing: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-06
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 5.1.0
• Transformers: 4.56.1
• PyTorch: 2.8.0+cu128
• Accelerate: 1.10.1
• Datasets: 4.0.0
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}