EmbeddingGemma-300m trained on 300k Legal Spanish Retrieval Dataset.

This is a sentence-transformers model finetuned from google/embeddinggemma-300m on the spanish-legal-dataset dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: google/embeddinggemma-300m
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • spanish-legal-dataset
• Language: es
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'Gemma3TextModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 3072, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (3): Dense({'in_features': 3072, 'out_features': 768, 'bias': False, 'activation_function': 'torch.nn.modules.linear.Identity'})
  (4): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("wilfredomartel/embeddinggemma-300m-legal-spanish-300k")
# Run inference
queries = [
    "\u00bfCu\u00e1l fue la raz\u00f3n principal por la que se desech\u00f3 el recurso de revisi\u00f3n en el amparo directo 8063/2018, derivado del cual se present\u00f3 el recurso de reclamaci\u00f3n 99/2019?",
]
documents = [
    'El recurso de revisión en el amparo directo 8063/2018 fue desechado por el Presidente de la Suprema Corte de Justicia de la Nación debido a que no se actualizaba un planteamiento de constitucionalidad que hiciera procedente dicho medio de impugnación extraordinario. La finalidad del recurso de revisión, según la fracción IX del artículo 107 de la Constitución y el artículo 81, fracción II, de la Ley de Amparo, es revisar sentencias de Tribunales Colegiados de Circuito donde se haga un pronunciamiento de constitucionalidad, ya sea sobre una norma general o la interpretación directa de un precepto constitucional. En el caso, los recurrentes argumentaban que el Tribunal Colegiado había interpretado el artículo 94 constitucional al analizar la irretroactividad de la jurisprudencia bajo el artículo 217 de la Ley de Amparo, y que la inaplicación de criterios jurisprudenciales constituía un tema de constitucionalidad. Sin embargo, la Presidencia determinó que la mera aplicación de la Ley de Amparo, sin un análisis profundo de un precepto constitucional, no satisfacía el requisito de constitucionalidad, y que la cuestión de la irretroactividad de la jurisprudencia en este contexto era una cuestión de legalidad. Por lo tanto, al no existir un tema propiamente constitucional, el recurso de revisión fue desechado por improcedente.',
    'Patricio Heriberto Gutiérrez Tipán alegó que la sentencia de la Sala de la Corte Provincial de Justicia de Pichincha vulneró principalmente su derecho al debido proceso en la garantía básica de la motivación, consagrado en el Artículo 76, numeral 7, literal I) de la Constitución. Como consecuencia de esta vulneración, también alegó la afectación de su derecho a la seguridad jurídica (Artículo 82 de la Constitución) y a la tutela judicial efectiva (Artículo 75 de la Constitución). Argumentó que la sentencia de la Sala carecía de la debida motivación porque no contenía una argumentación sólida, técnica y no observó los parámetros de comprensibilidad, lógica y razonabilidad establecidos por la Corte Constitucional. Específicamente, señaló que la Sala no analizó su alegato sobre la sentencia del juez inferior ser inmotivada, realizó un análisis superficial, incoherente, con fórmulas oscuras, erráticas, incompletas o inconsistentes, y no explicó la pertinencia de la aplicación de las normas a los antecedentes de hecho del caso. Además, criticó que la Sala negara la acción por la existencia de la vía contencioso-administrativa sin un análisis previo de la vulneración de derechos, y que insinuara una exigencia de temporalidad o inmediatez del daño no prevista en la Constitución ni en la ley.',
    'La sentencia T-883/10 explica que el "estado de cosas inconstitucional" declarado en 1998 para Cajanal, debido al incumplimiento masivo del derecho de petición, no puede ser utilizado por la entidad como excusa para seguir vulnerando los derechos fundamentales de los ciudadanos. La Corte Constitucional ha reiterado en sentencias como la T-1234/08 que, si bien la crisis estructural de Cajanal justifica demoras, la entidad debe informar a los peticionarios sobre los requisitos, las razones del retraso, el tiempo estimado de respuesta y las gestiones para ajustar los tiempos. El incumplimiento de estos lineamientos, como ocurrió en el caso de la señora Barón de Calao al no recibir respuesta en 19 meses, constituye una vulneración del derecho de petición.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.7810, -0.0551,  0.0933]])

Evaluation

Metrics

Information Retrieval

• Datasets: legal-spanish-eval-80kq-50kd and legal-spanish-eval-30kq-50kd
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

spanish-legal-dataset

• Dataset: spanish-legal-dataset at 2f52ccc
• Size: 300,000 training samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 28 tokens mean: 55.26 tokens max: 103 tokens	min: 73 tokens mean: 240.75 tokens max: 592 tokens

• Samples:

  query	pos
  ¿Cuál fue la base legal y el argumento principal para la acción de protección interpuesta por el Ing. Paúl Ángel Soto Fuertes contra la Secretaría de Gestión de Riesgos en Loja?	El Ing. Paúl Ángel Soto Fuertes interpuso una Acción de Protección argumentando la violación de sus derechos constitucionales a la seguridad jurídica, al debido proceso en la garantía de la motivación, y al trabajo. Fundamentó su reclamo en la notificación intempestiva y unilateral de la cesación de sus funciones como Analista de Tecnologías de la Información y Comunicación Zonal 3 (Servidor Público 7) de la Secretaría de Gestión de Riesgos en Loja. La base legal principal para su acción se encuentra en el Art. 88 de la Constitución de la República y los artículos 39 y 40 de la Ley Orgánica de Garantías Jurisdiccionales y Control Constitucional. Específicamente, el accionante señala que su nombramiento provisional, garantizado hasta la posesión del ganador del concurso de méritos y oposición según el Art. 18 literal c) del Reglamento a la LOSEP, fue terminado sin que existiera constancia de dicho ganador. El acto violatorio se materializó mediante el Memorando Nro. SNGRE-CZ7GR-2019-152...
  ¿Bajo qué criterios la Primera Sala de la Suprema Corte de Justicia de la Nación decide no reasumir competencia en el amparo en revisión 198/2020, relacionado con la Ley Nacional de Extinción de Dominio?	La Primera Sala de la Suprema Corte de Justicia de la Nación determinó no reasumir su competencia originaria en el amparo en revisión 198/2020 porque el asunto no cumplió con los requisitos materiales de interés y trascendencia. Se argumentó que las temáticas centrales del caso, relativas a la naturaleza autoaplicativa o heteroaplicativa de los artículos reclamados de la Ley Nacional de Extinción de Dominio y la acreditación del interés legítimo por parte del promovente, ya cuentan con una amplia doctrina jurisprudencial emitida por la propia Suprema Corte. El Tribunal Colegiado solicitante, el Séptimo Tribunal Colegiado en Materia Civil del Primer Circuito, posee las bases doctrinales y jurisprudenciales suficientes para resolver el asunto. La existencia de criterios como los rubros: “INTERÉS LEGÍTIMO. CONTENIDO Y ALCANCE PARA EFECTOS DE LA PROCEDENCIA DEL JUICIO DE AMPARO (INTERPRETACIÓN DEL ARTÍCULO 107, FRACCIÓN I, DE LA CONSTITUCIÓN POLÍTICA DE LOS ESTADOS UNIDOS MEXICANOS)”, “INT...
  Según las resoluciones del Ministerio de Industrias y Productividad (MIPRO) y del Servicio de Rentas Internas (SRI) de enero de 2012, ¿cuáles son los requisitos para que los recicladores y centros de acopio obtengan la devolución del impuesto redimible sobre botellas plásticas no retornables y cuál es la tarifa establecida para dicho impuesto?	Para poder solicitar la devolución del valor correspondiente a la tarifa del impuesto redimible a las botellas plásticas no retornables, los recicladores y centros de acopio, independientemente de si son personas naturales o jurídicas, deben cumplir con un requisito previo fundamental: obtener su registro y certificación ante el Ministerio de Industrias y Productividad (MIPRO). Los requisitos específicos varían según la naturaleza del solicitante. Para las personas naturales, la documentación exigida incluye una copia del Registro Único de Contribuyentes (RUC) en Régimen General, copias de la cédula de ciudadanía y de la papeleta de votación, además de una licencia o permiso ambiental válido, el cual debe ser otorgado por el Ministerio de Ambiente o por la Autoridad Ambiental de Aplicación Responsable (AAAR) que esté debidamente acreditada en el Sistema Descentralizado de Gestión Ambiental. En el caso de las personas jurídicas, se requiere la presentación de una copia del RUC, el nombr...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 16,
      "gather_across_devices": false
  }
  

Evaluation Dataset

spanish-legal-dataset

• Dataset: spanish-legal-dataset at 2f52ccc
• Size: 50,000 evaluation samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 26 tokens mean: 54.88 tokens max: 99 tokens	min: 90 tokens mean: 234.73 tokens max: 574 tokens

• Samples:

  query	pos
  ¿En qué circunstancias puede la acción de tutela amparar derechos colectivos, según la Sentencia T-315/94 de la Corte Constitucional?	La acción de tutela puede amparar derechos colectivos cuando existe una interrelación directa con la violación o amenaza de un derecho fundamental. Según la Sentencia T-315/94, para que proceda la tutela en estos casos, deben cumplirse varios elementos: la legitimidad e interés del peticionario, la prueba de la violación o amenaza de un derecho fundamental, y la demostración de un nexo causal entre el motivo alegado y dicho derecho fundamental. La Corte ha sostenido que, si bien la Constitución prevé las acciones populares para proteger derechos colectivos, la tutela es excepcionalmente procedente si la vulneración del derecho colectivo implica, como efecto colateral, la protección de un interés colectivo, siempre y cuando se acredite la afectación a un derecho fundamental. En el caso analizado, se consideró que la niña padecía cuadros de infección respiratoria que podían ser secundarios a condiciones ambientales, pero la prueba pericial no estableció un nexo causal concluyente con el ...
  ¿Cuál fue la controversia central respecto a las pretensiones del demandante y las sentencias emitidas en el juicio laboral 08371-2016-00254, que motivó la acción extraordinaria de protección por parte de la EAPA San Mateo?	La controversia legal principal radica en la supuesta violación del principio de consonancia entre la demanda inicial y las resoluciones judiciales, particularmente en lo referente al artículo 188 del Código de Trabajo. El liquidador de la EAPA San Mateo argumenta que el demandante, Bermeo Loor Cruz Amable, no solicitó explícitamente indemnizaciones conforme a dicho artículo en su demanda original. Sin embargo, la Corte Provincial de Justicia de Esmeraldas, en su sentencia del 16 de agosto de 2017, reconoció pagos por este concepto, ascendiendo a $4.742,08. La decisión posterior de la Sala Especializada de lo Laboral de la Corte Nacional de Justicia, del 15 de diciembre de 2017, de "NO CASA" la sentencia provincial, es vista por el liquidador como una aprobación de este presunto exceso. La acción se fundamenta en el artículo 91 del COGEP, que prohíbe a los jueces otorgar derechos mayores a los reclamados, afectando así la seguridad jurídica y el debido proceso de la EAPA San Mateo.
  ¿Es procedente la acción de tutela para proteger el derecho a la estabilidad laboral reforzada de personas en debilidad manifiesta, incluso si existen otros mecanismos de defensa judicial ordinarios?	La acción de tutela, si bien se rige por el principio de subsidiariedad y generalmente no es el medio idóneo para resolver controversias laborales, procede de manera excepcional y transitoria cuando se involucran los derechos de sujetos en estado de debilidad manifiesta o con derecho a la estabilidad laboral reforzada. La Corte Constitucional, en la sentencia T-412/10, matiza esta regla general, reconociendo que las personas con discapacidad o en circunstancias de vulnerabilidad, debido a dificultades sociales e históricas, requieren una protección especial. Por ello, la tutela se considera el mecanismo apto para la protección inmediata de sus derechos fundamentales, incluso si existen otros medios de defensa, siempre que estos no sean suficientemente idóneos o se configure un perjuicio irremediable.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 16,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• learning_rate: 1.5e-05
• num_train_epochs: 1
• warmup_ratio: 0.03
• fp16: True
• prompts: {'query': 'task: search result | query: ', 'pos': 'title: none | text: '}
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 128
• per_device_eval_batch_size: 128
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1.5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.03
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: {'query': 'task: search result | query: ', 'pos': 'title: none | text: '}
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.2.0
• Transformers: 4.57.0.dev0
• PyTorch: 2.9.0+cu126
• Accelerate: 1.12.0
• Datasets: 4.0.0
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}