checkpoint @ 31,404,851,200 tokens trained, settings used:
batch_size: 512
context_length: 1024
learning_rate: 2e-4
schedule: cosine with 10% warmup from 0 to 2e-4, cooldown to 0
requirements:
pytorch
transformers
einops
一条命令提交
在你的模型文件夹旁边运行它。它会制作种子、将文件与 Hugging Face 比对，然后提交。你只需开始做种，并粘贴你账户中的密钥。它只读取你的文件，绝不修改。如果愿意，可以先阅读脚本。
curl -fsSL https://pirateface.co/package.sh | bash -s -- --repo crumb/32M-32GT-SlimPajama ./model-folder