Qwen/Qwen3-Embedding-0.6B-hu

This is a sentence-transformers model finetuned from Qwen/Qwen3-Embedding-0.6B on the json dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Qwen/Qwen3-Embedding-0.6B
• Maximum Sequence Length: 32768 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json
• Language: hu
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 32768, 'do_lower_case': False, 'architecture': 'Qwen3Model'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': True, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("karsar/Qwen3-Embedding-0.6B-hu")
# Run inference
queries = [
    "A p\u00e1r kint van.",
]
documents = [
    'Ez a házaspár élvezi a kerékpározást Amszterdamban, és útikönyveik segítségével talál egy különösen érdekes útvonalat.',
    'Egy idős indiai férfi és nő az otthonukban.',
    "Maori All Blacks Māori All Blacks A Maori All Blacks, korábban új-zélandi maori néven, egy új-zélandi rögbi szakszervezeti csapat. Az Új-Zélandi Rögbi Unió reprezentatív csapata, a csapatban való részvétel előfeltétele, hogy a játékosnak legyen maori whakapapa (genealógia). A múltban ezt a szabályt nem alkalmazták szigorúan; A maorinak látszó nem maori játékosokat gyakran beválogatták a csapatba. Köztük volt néhány csendes-óceáni szigeti játékos és néhány afrikai származású. Ma minden játékos felmenőit ellenőrizni kell, mielőtt kiválasztják a csapatba. A csapat első mérkőzése 1888-ban volt a Hawke's Bay ellen.",
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 1024] [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.6776, -0.0613,  0.6596]])

Evaluation

Metrics

Triplet

• Datasets: all-triplet-dev and all-triplet-test
• Evaluated with TripletEvaluator

Training Details

Training Dataset

json

• Dataset: json
• Size: 1,183,200 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 5 tokens mean: 25.21 tokens max: 203 tokens	min: 5 tokens mean: 92.2 tokens max: 504 tokens	min: 4 tokens mean: 87.32 tokens max: 378 tokens

• Samples:

  anchor	positive	negative
  Hol kell bejuttatni a légpótlást a helyiségbe?	A hatékony hő- és füstelvezetést elősegítő helyen kell bejuttatni.	Az NFPA15 szabvány a beépített nyitott szórófejes vízalapú tűzvédelmi berendezésekről szól.
  melyik birodalomban vannak többsejtű, eukarióta és autotróf organizmusok?	A növényvilág többsejtű, eukarióta és autotróf organizmusokkal rendelkezik. Zhang Jin.	Melyik birodalomban találhatók olyan organizmusok, amelyek eukarióták, lehetnek többsejtűek vagy egysejtűek, autotrófok vagy heterotrófok, ivarosan vagy ivartalanul szaporodnak, és sejtfaluk sokféle dologból áll? Ezek az organizmusok a tudományos világ furcsaságai. Melyik birodalomban vannak eukarióta, többsejtűek, heterotróf élőlények, ivarosan vagy ivartalanul szaporodhatnak, és NINCS SEJFALUK? Ebbe a királyságba tartoznak az emlősök, kétéltűek, hüllők, madarak, halak, puhatestűek és rovarok.
  ki az igazi személy a hangod mögött?	Susan Bennett az Apple Siri hangja mögött álló nőként mutatkozik be, és mesél szinkronszínészként szerzett tapasztalatairól. KERESÉSI IDŐ VIDEÓK. MINKET.	A hangja mögött az ember segít Cortanának embernek látszani: Jen Taylor. A Cortana a Halo univerzum holografikus asszisztenséről kapta a nevét, és Taylor 2001-es első játékcíme óta hangoztatja őt.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

json

• Dataset: json
• Size: 11,952 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 5 tokens mean: 25.31 tokens max: 197 tokens	min: 5 tokens mean: 102.52 tokens max: 392 tokens	min: 4 tokens mean: 100.83 tokens max: 461 tokens

• Samples:

  anchor	positive	negative
  mennyibe kerül a fehér tömések	A biztosítótársaságok általában megpróbálják befolyásolni Önt, hogy a legolcsóbb, nem pedig a legjobb kezelést válassza. A fehér töltelékért 150-500 dollárt kell fizetnie, leginkább attól függően, hogy mekkora. A költségek is fogorvosonként változnak. Ez a költséginformáció egy 2005 decemberében készült, szakértő kozmetikai fogorvosok tényleges felmérésén alapul az Egyesült Államok partjaitól a másikig.	A fehér töltelékért 150-500 dollárt kell fizetnie, leginkább attól függően, hogy mekkora. A költségek is fogorvosonként változnak. Ez a költséginformáció egy 2005 decemberében készült, szakértő kozmetikai fogorvosok tényleges felmérésén alapul az Egyesült Államok partjaitól a másikig.
  Két nő sárga pohárból iszik és nevet.	Két hölgy folyadékot nyel.	két nő eszik
  A mellek sokat veszítettek mitológiai aurájukból, és megszerezték a szükséges valóságot.	A mellek nem olyan mitikusak, mint régen.	Az emberek még mindig a mellek megszállottjai.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 2
• per_device_eval_batch_size: 2
• num_train_epochs: 1
• warmup_ratio: 0.1
• bf16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 2
• per_device_eval_batch_size: 2
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Framework Versions

• Python: 3.12.8
• Sentence Transformers: 5.0.0
• Transformers: 4.53.2
• PyTorch: 2.6.0+cu124
• Accelerate: 1.4.0
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}