hotchpotch/japanese-splade-base-v1-dummy-fast-tokenizer-for-tei

japanese-splade-base-v1を huggingface/text-embeddings-inferenceで動かすための fork です。

なぜか safetensor では動かないので、pytorch_model.bin に変換したモデルの重みを入れています。

なお、text-embeddings-inference で日本語トークナイザーモデルの推論をするのように、token_ids に変換して API を叩く必要があります。

docker-compose.yaml 例

services:
  splade-jp-v1:
    # image の部分はアーキテクチャにあったものに変えること
    image: ghcr.io/huggingface/text-embeddings-inference:86-1.5
    ports:
      - "8080:80"
    volumes:
      - /tmp/docker-tei-data:/data
    command: [ "--model-id", "hotchpotch/japanese-splade-base-v1-dummy-fast-tokenizer-for-tei", "--dtype", "float16", "--pooling", "splade"]
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [ gpu ]