EmbeddingGemma-300m trained on 420k Legal Spanish Retrieval Dataset.

This is a sentence-transformers model finetuned from google/embeddinggemma-300m on the spanish-legal-dataset dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: google/embeddinggemma-300m
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • spanish-legal-dataset
• Language: es
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (4): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("wilfredomartel/embeddinggemma-300m-legal-spanish-420k-v2")
# Run inference
queries = [
    "\u00bfCu\u00e1l fue la base legal y f\u00e1ctica para que la Corte Provincial de Pichincha revocara la sentencia de primera instancia y declarara la vulneraci\u00f3n de derechos en el caso de Francisco Vivanco Riofr\u00edo contra el Banco Pichincha?",
]
documents = [
    'La base fáctica para la revocatoria de la sentencia de primera instancia radicó en la constatación de que el Banco Pichincha C.A. no cumplió de manera oportuna con una disposición administrativa emitida por la Superintendencia de Compañías, Valores y Seguros, que ordenaba el levantamiento de una medida cautelar de retención sobre los fondos depositados en la cuenta del accionante, los cuales provenían de su pensión jubilatoria. El tribunal apreció que esta demora y la falta de información adecuada y motivada sobre el retraso afectaron el derecho a recibir respuestas motivadas y la atención prioritaria debida al accionante. Legalmente, el tribunal se fundamentó en los artículos 66.23, 35 y 36 de la Constitución de la República, que garantizan el derecho a recibir respuestas motivadas y la atención prioritaria para grupos vulnerables, así como en la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional (LOGJCC) que regula la acción de protección.',
    'La Sala Especializada Penal de la Corte Provincial de Guayas, al aceptar el recurso de apelación en el caso No. 09802-2022-00522, revocó la sentencia de primera instancia y declaró la violación del derecho al debido proceso en la garantía básica del derecho a la defensa del Dr. Henry Wilmer Moran Moran. Específicamente, se identificaron como vulneradas las garantías contempladas en el Art. 76 Numeral 7 literales a), c), d) y h) de la Constitución de la República. Como reparación integral, se dispuso retrotraer el Sumario Administrativo N° 023-2013, seguido en su contra en calidad de Juez Provincial, al momento en que se produjo la vulneración del derecho a la defensa, es decir, la falta de notificación con el informe motivado del Director Provincial de Control Disciplinario del Guayas. Se determinó que todo lo actuado posteriormente a dicho informe carecía de valor jurídico, debiendo notificarse al accionante y continuar el trámite respetando el debido proceso.',
    'La Corte Constitucional resolvió negar la consulta de norma planteada por el juez de la Unidad Judicial Primera de Contravenciones de Quito. Sin embargo, definió que la aplicación de la Disposición General Octava del Reglamento Interno del Régimen de Transición del Seguro de Invalidez, Vejez y Muerte debe interpretarse de forma que se cumpla el requisito de "total y permanente dependencia económica" en casos donde la persona que reclama la pensión de orfandad padece una discapacidad que le impide trabajar, dependía económicamente solo del causante y de otra pensión por orfandad que ya percibía. Esta interpretación se aplica a casos análogos, garantizando así la protección de los derechos constitucionales de las personas en situaciones de vulnerabilidad.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.6199, -0.0122, -0.0438]])

Evaluation

Metrics

Information Retrieval

• Datasets: legal-spanish-eval-80kq-50kd and legal-spanish-eval-30kq-50kd
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

spanish-legal-dataset

• Dataset: spanish-legal-dataset at 2f52ccc
• Size: 420,000 training samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 28 tokens mean: 55.26 tokens max: 103 tokens	min: 73 tokens mean: 240.75 tokens max: 592 tokens

• Samples:

  query	pos
  ¿Cuál fue la base legal y el argumento principal para la acción de protección interpuesta por el Ing. Paúl Ángel Soto Fuertes contra la Secretaría de Gestión de Riesgos en Loja?	El Ing. Paúl Ángel Soto Fuertes interpuso una Acción de Protección argumentando la violación de sus derechos constitucionales a la seguridad jurídica, al debido proceso en la garantía de la motivación, y al trabajo. Fundamentó su reclamo en la notificación intempestiva y unilateral de la cesación de sus funciones como Analista de Tecnologías de la Información y Comunicación Zonal 3 (Servidor Público 7) de la Secretaría de Gestión de Riesgos en Loja. La base legal principal para su acción se encuentra en el Art. 88 de la Constitución de la República y los artículos 39 y 40 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional. Específicamente, el accionante señala que su nombramiento provisional, garantizado hasta la posesión del ganador del concurso de méritos y oposición según el Art. 18 literal c) del Reglamento a la LOSEP, fue terminado sin que existiera constancia de dicho ganador. El acto violatorio se materializó mediante el Memorando Nro. SNGRE-CZ7GR-2019-152...
  ¿Bajo qué criterios la Primera Sala de la Suprema Corte de Justicia de la Nación decide no reasumir competencia en el amparo en revisión 198/2020, relacionado con la Ley Nacional de Extinción de Dominio?	La Primera Sala de la Suprema Corte de Justicia de la Nación determinó no reasumir su competencia originaria en el amparo en revisión 198/2020 porque el asunto no cumplió con los requisitos materiales de interés y trascendencia. Se argumentó que las temáticas centrales del caso, relativas a la naturaleza autoaplicativa o heteroaplicativa de los artículos reclamados de la Ley Nacional de Extinción de Dominio y la acreditación del interés legítimo por parte del promovente, ya cuentan con una amplia doctrina jurisprudencial emitida por la propia Suprema Corte. El Tribunal Colegiado solicitante, el Séptimo Tribunal Colegiado en Materia Civil del Primer Circuito, posee las bases doctrinales y jurisprudenciales suficientes para resolver el asunto. La existencia de criterios como los rubros: “INTERÉS LEGÍTIMO. CONTENIDO Y ALCANCE PARA EFECTOS DE LA PROCEDENCIA DEL JUICIO DE AMPARO (INTERPRETACIÓN DEL ARTÍCULO 107, FRACCIÓN I, DE LA CONSTITUCIÓN POLÍTICA DE LOS ESTADOS UNIDOS MEXICANOS)”, “INT...
  Según las resoluciones del Ministerio de Industrias y Productividad (MIPRO) y del Servicio de Rentas Internas (SRI) de enero de 2012, ¿cuáles son los requisitos para que los recicladores y centros de acopio obtengan la devolución del impuesto redimible sobre botellas plásticas no retornables y cuál es la tarifa establecida para dicho impuesto?	Para poder solicitar la devolución del valor correspondiente a la tarifa del impuesto redimible a las botellas plásticas no retornables, los recicladores y centros de acopio, independientemente de si son personas naturales o jurídicas, deben cumplir con un requisito previo fundamental: obtener su registro y certificación ante el Ministerio de Industrias y Productividad (MIPRO). Los requisitos específicos varían según la naturaleza del solicitante. Para las personas naturales, la documentación exigida incluye una copia del Registro Único de Contribuyentes (RUC) en Régimen General, copias de la cédula de ciudadanía y de la papeleta de votación, además de una licencia o permiso ambiental válido, el cual debe ser otorgado por el Ministerio de Ambiente o por la Autoridad Ambiental de Aplicación Responsable (AAAR) que esté debidamente acreditada en el Sistema Descentralizado de Gestión Ambiental. En el caso de las personas jurídicas, se requiere la presentación de una copia del RUC, el nombr...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 24,
      "gather_across_devices": false
  }
  

Evaluation Dataset

spanish-legal-dataset

• Dataset: spanish-legal-dataset at 2f52ccc
• Size: 50,000 evaluation samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 27 tokens mean: 55.01 tokens max: 99 tokens	min: 80 tokens mean: 237.46 tokens max: 747 tokens

• Samples:

  query	pos
  ¿Por qué la Sala de lo Civil de Pichincha desestimó la acción de protección del suboficial Martínez Castro, argumentando que su pretensión era de mera legalidad y no de control constitucional?	La Sala desestimó la acción de protección al determinar que la pretensión del suboficial Martínez Castro no se encuadraba en los supuestos de procedencia de la acción de protección, sino que planteaba un asunto de mera legalidad. El accionante buscaba que el Tribunal asumiera las funciones del Consejo de Clases y Policías de la Policía Nacional para discernir sobre la concesión de una condecoración, lo cual implicaría un control de legalidad de procedimientos reglamentarios y no una vulneración manifiesta de derechos constitucionales. La Sala recordó que, conforme al Artículo 173 de la Constitución, este tipo de impugnaciones deben ventilarse en la vía administrativa o ante el contencioso administrativo.
  ¿Bajo qué condiciones específicas un socio de la Cooperativa de Transporte en Taxis "12 DE FEBRERO" puede ser excluido o expulsado según sus estatutos reformados en enero de 2006?	Según los estatutos reformados de la Cooperativa de Transporte en Taxis "12 DE FEBRERO", un socio puede ser excluido por el Consejo de Administración o la asamblea general en casos de infringir reiteradamente las disposiciones legales, reglamentarias, estatutarias o las resoluciones de los organismos de la cooperativa, siempre que estas faltas no constituyan motivo de expulsión. También procede la exclusión por incumplimiento en el pago de certificados de aportación y cuotas aprobadas en asamblea general, después de haber sido requerido por escrito por la Gerencia en más de tres ocasiones, mediando ocho días entre cada requerimiento. Se considera mora cuando un socio deja de pagar tres mensualidades consecutivas. La expulsión, que es una sanción más grave, puede ser acordada por el Consejo de Administración o la asamblea general previa comprobación de cargos, en casos como actividad política o religiosa dentro de la cooperativa, mala conducta notoria, malversación de fondos, delitos co...
  ¿Cuál fue la decisión del Pleno de la Corte Constitucional respecto a la publicación del Registro Oficial y sus productos en el año 2019?	El Pleno de la Corte Constitucional, a través de la Resolución Administrativa No. 010-AD-CC-2019, determinó la gratuidad de la publicación virtual del Registro Oficial y sus productos. Adicionalmente, se resolvió la eliminación de la publicación en sustrato de papel, estableciendo esto como un derecho de acceso gratuito a la información para la ciudadanía ecuatoriana.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 24,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• learning_rate: 1.5e-05
• num_train_epochs: 1
• warmup_ratio: 0.03
• fp16: True
• prompts: {'query': 'task: search result | query: ', 'pos': 'title: none | text: '}
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1.5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.03
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: {'query': 'task: search result | query: ', 'pos': 'title: none | text: '}
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 5.2.0
• Transformers: 4.57.0.dev0
• PyTorch: 2.8.0+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}