EmbeddingGemma-300m trained on 100k Legal Spanish Retrieval Dataset.

This is a sentence-transformers model finetuned from google/embeddinggemma-300m on the spanish-legal-dataset dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: google/embeddinggemma-300m
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • spanish-legal-dataset
• Language: es
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (4): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("wilfredomartel/embeddinggemma-300m-legal-spanish-200k-v2")
# Run inference
queries = [
    "\u00bfPor qu\u00e9 la Corte Constitucional desestim\u00f3 la acci\u00f3n extraordinaria de protecci\u00f3n N\u00b0 2345-16-EP, presentada por ASIAUTO S.A. contra un auto que inadmiti\u00f3 un recurso de nulidad, y cu\u00e1les garant\u00edas del debido proceso fueron supuestamente vulneradas seg\u00fan la compa\u00f1\u00eda accionante?",
]
documents = [
    'La Corte Constitucional desestimó la acción extraordinaria de protección N° 2345-16-EP porque el auto impugnado, que inadmitió un recurso de nulidad, no constituía una decisión definitiva ni causaba un gravamen irreparable. La compañía accionante alegó vulneración al debido proceso en las garantías de defensa, motivación y a recurrir, argumentando una supuesta falta de notificación del auto de 9 de junio de 2016. La Corte verificó que la notificación se realizó correctamente al correo electrónico designado por la compañía, garantizando así su derecho a la defensa. Asimismo, se determinó que la compañía tuvo la oportunidad de interponer los recursos pertinentes y que estos fueron resueltos motivadamente. Por lo tanto, la Corte concluyó que no hubo vulneración a las garantías del debido proceso ni al derecho a la seguridad jurídica.',
    'The plaintiff, Edison Geovanny Vargas Borja, alleged that his constitutional rights to security and work were violated by the Police National. Specifically, he argued that the disciplinary tribunal that processed his case was not constituted within the legal timeframe stipulated by the internal regulations. The text indicates that the notification of the disciplinary offense occurred on September 23, 2006, but the tribunal was formed on October 23, 2006, more than 30 days later, violating the 5-day period established in Article 76 of the Police Disciplinary Regulations. This procedural irregularity led to an extemporaneous and, therefore, incompetent tribunal, rendering its resolution illegitimate and arbitrary. The Corte Provincial of Santo Domingo de los Tsáchilas, in its analysis, found that this violation of procedural norms constituted a breach of the right to security, as it implied an arbitrary action by the authority. Furthermore, it determined that this violation of security directly impacted the right to work, as the illegitimate sanction led to his dismissal from the police force. The court emphasized that while the dismissal resolution cited applicable norms, it stemmed from a prior unconstitutional act.',
    'El Juzgado 52 Civil del Circuito de Bogotá rechazó la demanda y propuso un conflicto negativo de competencia al interpretar que la jurisdicción contencioso administrativa sí era competente para conocer del caso. El juzgado sostuvo que la interpretación del Juzgado 62 Administrativo de Bogotá, al exigir cláusulas exorbitantes, desconocía lo previsto en la norma, la cual, en su primera parte, asigna a la jurisdicción contenciosa administrativa los conflictos originados en contratos en los que estén involucradas entidades públicas. Consideró que el artículo 104 y su parágrafo de la Ley 1437 de 2011 abarcan cualquier conflicto relacionado con contratos en los que participen entidades públicas o particulares que ejerzan funciones administrativas, sin que la ausencia de cláusulas exorbitantes sea un impedimento, ya que esto es un aspecto relativo sujeto a análisis sustancial del contrato.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.8255, -0.0646, -0.0762]])

Evaluation

Metrics

Information Retrieval

• Datasets: legal-spanish-eval-80kq-50kd and legal-spanish-eval-30kq-50kd
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

spanish-legal-dataset

• Dataset: spanish-legal-dataset at 2f52ccc
• Size: 200,000 training samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 28 tokens mean: 55.26 tokens max: 103 tokens	min: 73 tokens mean: 240.75 tokens max: 592 tokens

• Samples:

  query	pos
  ¿Cuál fue la base legal y el argumento principal para la acción de protección interpuesta por el Ing. Paúl Ángel Soto Fuertes contra la Secretaría de Gestión de Riesgos en Loja?	El Ing. Paúl Ángel Soto Fuertes interpuso una Acción de Protección argumentando la violación de sus derechos constitucionales a la seguridad jurídica, al debido proceso en la garantía de la motivación, y al trabajo. Fundamentó su reclamo en la notificación intempestiva y unilateral de la cesación de sus funciones como Analista de Tecnologías de la Información y Comunicación Zonal 3 (Servidor Público 7) de la Secretaría de Gestión de Riesgos en Loja. La base legal principal para su acción se encuentra en el Art. 88 de la Constitución de la República y los artículos 39 y 40 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional. Específicamente, el accionante señala que su nombramiento provisional, garantizado hasta la posesión del ganador del concurso de méritos y oposición según el Art. 18 literal c) del Reglamento a la LOSEP, fue terminado sin que existiera constancia de dicho ganador. El acto violatorio se materializó mediante el Memorando Nro. SNGRE-CZ7GR-2019-152...
  ¿Bajo qué criterios la Primera Sala de la Suprema Corte de Justicia de la Nación decide no reasumir competencia en el amparo en revisión 198/2020, relacionado con la Ley Nacional de Extinción de Dominio?	La Primera Sala de la Suprema Corte de Justicia de la Nación determinó no reasumir su competencia originaria en el amparo en revisión 198/2020 porque el asunto no cumplió con los requisitos materiales de interés y trascendencia. Se argumentó que las temáticas centrales del caso, relativas a la naturaleza autoaplicativa o heteroaplicativa de los artículos reclamados de la Ley Nacional de Extinción de Dominio y la acreditación del interés legítimo por parte del promovente, ya cuentan con una amplia doctrina jurisprudencial emitida por la propia Suprema Corte. El Tribunal Colegiado solicitante, el Séptimo Tribunal Colegiado en Materia Civil del Primer Circuito, posee las bases doctrinales y jurisprudenciales suficientes para resolver el asunto. La existencia de criterios como los rubros: “INTERÉS LEGÍTIMO. CONTENIDO Y ALCANCE PARA EFECTOS DE LA PROCEDENCIA DEL JUICIO DE AMPARO (INTERPRETACIÓN DEL ARTÍCULO 107, FRACCIÓN I, DE LA CONSTITUCIÓN POLÍTICA DE LOS ESTADOS UNIDOS MEXICANOS)”, “INT...
  Según las resoluciones del Ministerio de Industrias y Productividad (MIPRO) y del Servicio de Rentas Internas (SRI) de enero de 2012, ¿cuáles son los requisitos para que los recicladores y centros de acopio obtengan la devolución del impuesto redimible sobre botellas plásticas no retornables y cuál es la tarifa establecida para dicho impuesto?	Para poder solicitar la devolución del valor correspondiente a la tarifa del impuesto redimible a las botellas plásticas no retornables, los recicladores y centros de acopio, independientemente de si son personas naturales o jurídicas, deben cumplir con un requisito previo fundamental: obtener su registro y certificación ante el Ministerio de Industrias y Productividad (MIPRO). Los requisitos específicos varían según la naturaleza del solicitante. Para las personas naturales, la documentación exigida incluye una copia del Registro Único de Contribuyentes (RUC) en Régimen General, copias de la cédula de ciudadanía y de la papeleta de votación, además de una licencia o permiso ambiental válido, el cual debe ser otorgado por el Ministerio de Ambiente o por la Autoridad Ambiental de Aplicación Responsable (AAAR) que esté debidamente acreditada en el Sistema Descentralizado de Gestión Ambiental. En el caso de las personas jurídicas, se requiere la presentación de una copia del RUC, el nombr...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false
  }
  

Evaluation Dataset

spanish-legal-dataset

• Dataset: spanish-legal-dataset at 2f52ccc
• Size: 50,000 evaluation samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 26 tokens mean: 55.28 tokens max: 97 tokens	min: 83 tokens mean: 240.76 tokens max: 781 tokens

• Samples:

  query	pos
  ¿Cuáles fueron las normas constitucionales y legales que la Contraloría General del Estado alegó como vulneradas por el auto de inadmisión del recurso de casación en el caso 18803-2015-00134?	La Contraloría General del Estado alegó la vulneración de varios derechos constitucionales y legales en su Acción Extraordinaria de Protección contra el auto de inadmisión del recurso de casación. Específicamente, se invocó el artículo 75 de la Constitución de la República del Ecuador, que consagra el derecho al acceso gratuito a la justicia y a la tutela efectiva, imparcial y expedita de los derechos e intereses, prohibiendo la indefensión. Adicionalmente, se fundamentó la acción en el artículo 76, numeral 7, literal I) de la Constitución, que garantiza el derecho al debido proceso, particularmente la exigencia de motivación en las resoluciones de los poderes públicos, incluyendo los órganos judiciales. La Contraloría argumentó que el auto de inadmisión carecía de la debida motivación, lógica, razonabilidad y comprensibilidad, y que la inadmisión del recurso por cuestiones formales, como la supuesta aplicación incorrecta del COGEP en un proceso anterior a su vigencia, sacrificaba la j...
  ¿Cómo se relaciona la garantía constitucional de seguridad jurídica, consagrada en el artículo 82 de la Constitución de la República, con la procedencia de solicitudes de aclaración y ampliación de sentencias, según lo resuelto en el Juicio No. 17230-2020-05405 por la Corte Provincial de Pichincha?	La seguridad jurídica, conforme al artículo 82 de la Constitución de la República, exige que las normas jurídicas sean previas, claras, y conocidas por todos, lo que se traduce en la necesidad de que las resoluciones judiciales sean predecibles y aplicadas de manera coherente. En el Juicio No. 17230-2020-05405, la Sala Especializada de lo Civil y Mercantil de la Corte Provincial de Pichincha aplicó este principio al rechazar la solicitud de aclaración y ampliación de la demandada. Al adherirse estrictamente a las disposiciones del artículo 255 del Código Orgánico General de Procesos (COGEP), que regula los términos para formular tales peticiones tras una audiencia, el tribunal aseguró que las resoluciones judiciales se dicten y se consideren firmes dentro de los cauces legales establecidos. El hecho de que la sentencia fuera dictada oralmente en audiencia y que la solicitud se presentara posteriormente, sin cumplir con los plazos o formas, demostró una falta de observancia del procedim...
  ¿Cuál fue el argumento principal de la Corte Constitucional para considerar que la acción de tutela interpuesta por Irma Contreras Martínez no era temeraria, a pesar de que la entidad demandada alegaba una presentación previa por las mismas razones?	La Corte Constitucional determinó que la acción de tutela interpuesta por Irma Contreras Martínez no era temeraria porque no se cumplían las condiciones establecidas en el artículo 38 del Decreto 2591 de 1991. Específicamente, no existía identidad en los sujetos pasivos ni en las pretensiones de las acciones. La primera tutela fue presentada contra Protección S.A. por la no devolución de saldos, mientras que la segunda acción se dirigió contra el Ministerio de Hacienda y Crédito Público – Oficina de Bonos Pensionales, reclamando la emisión y redención del bono pensional. La distinción en los demandados y el objeto de cada amparo impidieron configurar la temeridad.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• learning_rate: 1.5e-05
• num_train_epochs: 2
• warmup_ratio: 0.03
• fp16: True
• prompts: {'query': 'task: search result | query: ', 'pos': 'title: none | text: '}
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1.5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.03
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: {'query': 'task: search result | query: ', 'pos': 'title: none | text: '}
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 5.2.0
• Transformers: 4.57.0.dev0
• PyTorch: 2.8.0+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}