Pythia 1b Unfiltered NSFW
📲 Gracias por mostrar interes en este modelo cuantizado del todopoderoso Novaciano que es capaz de correr en una papa 🥔 de 3Gb de RAM.
✳️ CARACTERÍSTICAS PRINCIPALES
Capacidades de Roleplay:
Este modelo se destaca en escenarios de interpretación de roles. Puede asumir personalidades, desarrollar tramas y mantener interacciones dinámicas, ideal para juegos narrativos y simulaciones.
Pequeñito:
Es 1 billon de parámetros en 500Mb.
✴️ POSIBLES UTILIDADES
Narrativa y Escritura Creativa:
Perfecto para construir universos ficticios, diseñar personajes complejos y desarrollar historias elaboradas.
Apoyo en Investigación y Redacción Académica:
Genera borradores, resúmenes y análisis para documentos académicos.
Juegos de Rol e Interpretación Escénica:
Ideal para personalizar experiencias de roleplay, desde simulaciones históricas hasta campañas de fantasía.
Asistencia en Traducción y Localización:
Traduce con precisión y adapta textos al contexto cultural del idioma objetivo.
Simulación de Escenarios:
Crea entornos hipotéticos o alternativos para entrenamiento o experimentación en diversos campos.
❗ CONSIDERACIONES IMPORTANTES
⚠️ Este modelo no tiene restricciones significativas en cuanto a los temas que puede abordar, lo que lo convierte en una herramienta sin censura apta para usuarios que buscan explorar ideas o narrativas fuera de los límites tradicionales. Sin embargo, su uso responsable recae en el usuario, por lo que no me hago cargo del mal uso que pueda darle.
📟 Blast Processing integrado. Es casi como DOOM, salvo tests de embarazo es ideal para correrlo en entornos de bajos recursos como celulares / smartphones, tablets o computadoras patatas siempre y cuando cuente, como mínimo, con 3Gb de RAM.
Datos de inferencia
Context Size: A elección, cuanto mas mejor.
Max Output: A elección, es la cantidad de texto.
Temp: 0.1 | Rep. Pen: 1.1 | Top. P: 1
Top. K: 0 | Top. A: 0.96 | Typ: 0.6
TFS: 1 | Min-P: 0 | Pr. Pen: 0 | Smooth F: 0
Seed: -1 | Rp. Range: 1024 | Rp. Slope: 0.7
Usarlo online desde el Google Colab de Koboldcpp
No hay mucho misterio, simplemente dirijase AQUÍ, copie y pegue el link de este modelo en 'Models' y pulse sobre el simbolo 'Play'
No sea ansioso, espere que cargue y le dará un link donde koboldcpp estará corriendo. Si se pausa poner 'Play' de nuevo.
Usarlo en Android con koboldcpp via Termux
🇬🇧 You can read the english version of my guide HERE
1 - Instalar Termux (Descargarlo desde AQUÍ, la versión de PlayStore está desactualizada).
2 - Ejecute Termux, se le abrirá la consola de comandos.
3 - Instale las dependencias necesarias copiando y pegando los siguientes comandos. Si no hace esto, no funcionará:
apt-get update
apt-get update
pkg clang wget git cmake
pkg install python
4 - Escriba el comando:
$ termux-change-repo
5 - Seleccione "Main Repository".
6 - Luego seleccione "Mirror by BFSU".
7 - Seleccione "Aceptar".
8 - Reinicie Termux.
10 - Descarga Koboldcpp con este comando:
wget https://github.com/LostRuins/koboldcpp/archive/refs/tags/v1.80.zip
Nota: Es la actualización más reciente hasta la fecha. Con el tiempo aparecerán versiones más nuevas. Cuando esto suceda, vaya a la siguiente página:
https://github.com/LostRuins/koboldcpp/releases
...y seleccione la versión, copie el enlace del .zip y péguelo después del comando 'wget' como se detalla anteriormente.
Alternativa: Si a usted no le importa una posible corrupción de koboldcpp al actualizar con el comando 'git pull' que le haga borrar luego la carpeta junto con los modelos descargados debido a una mala actualización, pero garantizando descargar la ultima versión, puede simplemente instalarlo con el comando:
git clone https://github.com/LostRuins/koboldcpp
11 - Si la descargó, descomprima la versión descargada con este comando:
unzip v1.80.zip
12 - Cambie el nombre de la carpeta con este comando:
mv koboldcpp-v1.80 koboldcpp
13 - Dirijase a la carpeta 'koboldcpp' con este comando:
cd koboldcpp
14 - Compile e instale Koboldcpp con este comando:
make
15 - Descargue este modelo en una carpeta nueva llamada 'Modelos' que se encuentre en la carpeta raiz de Termux con el siguiente comando:
wget https://huggingface.co/Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF/resolve/main/Pythia-1b-Unfiltered_NSFW.gguf
Si no sabes crear una carpeta, ni bien ejecutes Termux escribe:
mkdir Modelos
Nota: Si desea descargar el modelo en la carpeta Koboldcpp, coloque primero el comando:
cd koboldcpp
...incluso creo que Koboldcpp que trae su propia carpeta 'Modelos', podes descargarlo ahí tambien.
16 - Ejecute Koboldcpp junto con este modelo con el siguiente comando:
python koboldcpp.py /data/data/com.termux/files/home/modelos/Pythia-1b-Unfiltered_NSFW.gguf 5001 --usecpu --highpriority --smartcontext --flashattention --quantkv 2 --blasbatchsize 2048 --contextsize 4096
o, en caso de que haya elegido poner el modelo en la carpeta Koboldcpp:
python koboldcpp.py Pythia-1b-Unfiltered_NSFW.gguf 5001 --usecpu --highpriority --smartcontext --flashattention --quantkv 2 --blasbatchsize 2048 --contextsize 4096
♿ Verdadera inclusión: Si sos un discapacitado sin brazos o con ELA podes descargarte un modelo Whisper ACÁ y agregarle al final de la linea de ejecución:
--whispermodel /data/data/com.termux/files/home/modelos/whisper-base.en-q5_1.bin
Nota: Podés editar el archivo .bash_history y agregarle la linea de ejecución para que quede guardada, para editarla vas a tener que habilitar la visualización de archivos ocultos. Hecho esto, cada vez que se ejecute Termux pulsas la flecha arriba y aparecerá la linea de comando de ejecución.
17 - Ejecutado el modelo y sin cerrar la consola de Termux pon en tu navegador:
(Extra) Koboldcpp + SillyTavern
El tutorial sobre como instalar SillyTavern en Android puede leerlo AQUÍ
[Local] ...y poner la IP de la dirección local de Koboldcpp (Ejemplo: http://localhost:5001). Esto si se ha ejecutado junto con koboldcpp. Ingresar a la carpeta de SillyTavern en paralelo iniciando otra sesión en Termux y ejecutar el siguiente comando:
./start.sh --disableCsrf
[OnLine] ...o crea una cuenta en en la página Open AI / Horde y coloca la clave API. Intente tomar la clave API en los siguientes enlaces: OpenAI o Horde AI
Nota: Para actualizar SillyTavern simplemente ingrese a su carpeta y escriba el comando:
git pull
Mis bots para Koboldcpp / SillyTavern
Cuento con una buena cantidad de bots, la mayoría en castellano. Puede encontrarlos AQUÍ.
Usarlo con llama.cpp (Si tenés una PC decente)
Instale llama.cpp a través de brew (funciona en Mac y Linux)
brew install llama.cpp
Invoque el Servidor llama.cpp o la CLI.
CLI:
llama-cli --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW.gguf -p "Argentina va a superar su crisis financiera cuando"
SERVIDOR:
llama-server --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW-GGUF.gguf -c 2048
Nota: También puede utilizar este punto de control directamente a través de los Pasos de uso incluido en el repositorio Llama.cpp.
Paso 1: Clonar llama.cpp desde GitHub.
git clone https://github.com/ggerganov/llama.cpp
Paso 2: Vaya a la carpeta llama.cpp y constrúyalo con bandera LLAMA_CURL=1 junto con otras banderas específicas del hardware (por ejemplo: LLAMA_CUDA=1 para GPUs Nvidia en Linux).
cd llama.cpp && LLAMA_CURL=1 make
Paso 3: Ejecutar la inferencia a través del binario principal.
./llama-cli --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW.gguf -p "Argentina va a superar su crisis financiera cuando"
o también con
./llama-server --hf-repo Novaciano/Pythia-1b-Unfiltered_NSFW-GGUF --hf-file Pythia-1b-Unfiltered_NSFW.gguf -c 2048