📲 Gracias por mostrar interes en este modelo cuantizado del todopoderoso Novaciano que es capaz de correr en una papa 🥔 de 3Gb de RAM.
✳️ CARACTERÍSTICAS PRINCIPALES
Capacidad Multilingüe: Domina múltiples idiomas con fluidez, incluyendo español, lo que lo convierte en un modelo idóneo para usuarios hispanohablantes.
Versatilidad en Generación de Texto: Desde redacción de ensayos y artículos hasta creación de ficción, el modelo produce contenido personalizado, adaptándose al tono, estilo y propósito deseados.
Comprensión Contextual: Con la habilidad de interpretar subtilezas, matices y referencias, puede adaptarse a conversaciones complejas, como debates filosóficos o narrativas creativas.
Capacidades de Roleplay: Este modelo se destaca en escenarios de interpretación de roles. Puede asumir personalidades, desarrollar tramas y mantener interacciones dinámicas, ideal para juegos narrativos y simulaciones.
Flexibilidad Temática: Es capaz de abordar desde temas técnicos hasta cuestiones informales, explorando escenarios y contextos específicos sin limitaciones de contenido.
Optimización para Soluciones Creativas y Profesionales: Útil en la redacción de guiones, creación de personajes, brainstorming y diseño de estrategias narrativas, entre otras aplicaciones.
Mas información en Dataloop: Página dedicada a este modelo en Dataloop
✴️ POSIBLES UTILIDADES
Narrativa y Escritura Creativa: Perfecto para construir universos ficticios, diseñar personajes complejos y desarrollar historias elaboradas.
Apoyo en Investigación y Redacción Académica: Genera borradores, resúmenes y análisis para documentos académicos.
Juegos de Rol e Interpretación Escénica: Ideal para personalizar experiencias de roleplay, desde simulaciones históricas hasta campañas de fantasía.
Asistencia en Traducción y Localización: Traduce con precisión y adapta textos al contexto cultural del idioma objetivo.
Simulación de Escenarios: Crea entornos hipotéticos o alternativos para entrenamiento o experimentación en diversos campos.
❗ CONSIDERACIONES IMPORTANTES
⚠️ Este modelo no tiene restricciones significativas en cuanto a los temas que puede abordar, lo que lo convierte en una herramienta sin censura apta para usuarios que buscan explorar ideas o narrativas fuera de los límites tradicionales. Sin embargo, su uso responsable recae en el usuario, por lo que no me hago cargo del mal uso que pueda darle.
📟 Blast Processing integrado. Es casi como DOOM, salvo tests de embarazo es ideal para correrlo en entornos de bajos recursos como celulares / smartphones, tablets o computadoras patatas siempre y cuando cuente, como mínimo, con 3Gb de RAM.
Datos de inferencia
Cosa que la mayoría de los de acá se pasan por el forro de los huevos yo te lo sirvo en bandeja de plata:
Context Size: A elección, cuanto mas mejor.
Max Output: A elección, es la cantidad de texto.
Temp: 0.1 | Rep. Pen: 1.1 | Top. P: 1
Top. K: 0 | Top. A: 0.96 | Typ: 0.6
TFS: 1 | Min-P: 0 | Pr. Pen: 0 | Smooth F: 0
Seed: -1 | Rp. Range: 1024 | Rp. Slope: 0.7
Usarlo online desde el Google Colab de Koboldcpp
No hay mucho misterio, simplemente dirijase AQUÍ, copie y pegue el link de este modelo en 'Models' y pulse sobre el simbolo 'Play' No sea ansioso, espere que cargue y le dará un link donde koboldcpp estará corriendo. Si se pausa poner 'Play' de nuevo.
Usarlo en Android con koboldcpp via Termux
🇬🇧 You can read the english version of my guide HERE
1 - Instalar Termux (Descargarlo desde AQUÍ, la versión de PlayStore está desactualizada).
2 - Ejecute Termux, se le abrirá la consola de comandos.
3 - Instale las dependencias necesarias copiando y pegando los siguientes comandos. Si no hace esto, no funcionará:
apt-get update
apt-get update
pkg clang wget git cmake
pkg install python
4 - Escriba el comando:
$ termux-change-repo
5 - Seleccione "Main Repository".
6 - Luego seleccione "Mirror by BFSU".
7 - Seleccione "Aceptar".
8 - Reinicie Termux.
10 - Descarga Koboldcpp con este comando:
wget https://github.com/LostRuins/koboldcpp/archive/refs/tags/v1.79.1.zip
Nota: Es la actualización más reciente hasta la fecha. Con el tiempo aparecerán versiones más nuevas. Cuando esto suceda, vaya a la siguiente página:
https://github.com/LostRuins/koboldcpp/releases
...y seleccione la versión, copie el enlace del .zip y péguelo después del comando 'wget' como se detalla anteriormente.
Alternativa: Si a usted no le importa una posible corrupción de koboldcpp al actualizar con el comando 'git pull' que le haga borrar luego la carpeta junto con los modelos descargados debido a una mala actualización, pero garantizando descargar la ultima versión, puede simplemente instalarlo con el comando:
git clone https://github.com/LostRuins/koboldcpp
11 - Si la descargó, descomprima la versión descargada con este comando:
unzip v1.79.1.zip
12 - Cambie el nombre de la carpeta con este comando:
mv koboldcpp-v1.79.1 koboldcpp
13 - Dirijase a la carpeta 'koboldcpp' con este comando:
cd koboldcpp
14 - Compile e instale Koboldcpp con este comando:
make
15 - Descargue este modelo en una carpeta nueva llamada 'Modelos' que se encuentre en la carpeta raiz de Termux con el siguiente comando:
wget https://huggingface.co/Novaciano/Llama3.2_1b_NOVA-Castellano_y_Sin_Censura/resolve/main/Llama3.2_1b_NOVA-Castellano_y_Sin_Censura-q4_k_m-imat.gguf
Si no sabes crear una carpeta, ni bien ejecutes Termux escribe:
mkdir Modelos
Nota: Si desea descargar el modelo en la carpeta Koboldcpp, coloque primero el comando:
cd koboldcpp
...incluso creo que Koboldcpp que trae su propia carpeta 'Modelos', podes descargarlo ahí tambien.
16 - Ejecute Koboldcpp junto con este modelo con el siguiente comando:
python koboldcpp.py /data/data/com.termux/files/home/modelos/Llama3.2_1b_NOVA-Castellano_y_Sin_Censura-q4_k_m-imat.gguf 5001 --usecpu --highpriority --smartcontext --flashattention --quantkv 2 --blasbatchsize 2048 --contextsize 4096
o, en caso de que haya elegido poner el modelo en la carpeta Koboldcpp:
python koboldcpp.py Llama3.2_1b_NOVA-Castellano_y_Sin_Censura-q4_k_m-imat.gguf 5001 --usecpu --highpriority --smartcontext --flashattention --quantkv 2 --blasbatchsize 2048 --contextsize 4096
♿ Verdadera inclusión: Si sos un discapacitado sin brazos o con ELA podes descargarte un modelo Whisper ACÁ y agregarle al final de la linea de ejecución:
--whispermodel /data/data/com.termux/files/home/modelos/whisper-base.en-q5_1.bin
Nota: Podés editar el archivo .bash_history y agregarle la linea de ejecución para que quede guardada, para editarla vas a tener que habilitar la visualización de archivos ocultos. Hecho esto, cada vez que se ejecute Termux pulsas la flecha arriba y aparecerá la linea de comando de ejecución.
17 - Ejecutado el modelo y sin cerrar la consola de Termux pon en tu navegador:
(Extra) Koboldcpp + SillyTavern
El tutorial sobre como instalar SillyTavern en Android puede leerlo AQUÍ
[Local] ...y poner la IP de la dirección local de Koboldcpp (Ejemplo: http://localhost:5001). Esto si se ha ejecutado junto con koboldcpp. Ingresar a la carpeta de SillyTavern en paralelo iniciando otra sesión en Termux y ejecutar el siguiente comando:
./start.sh --disableCsrf
[OnLine] ...o crea una cuenta en en la página Open AI / Horde y coloca la clave API. Intente tomar la clave API en los siguientes enlaces: OpenAI o Horde AI
Nota: Para actualizar SillyTavern simplemente ingrese a su carpeta y escriba el comando:
git pull
Mis bots para Koboldcpp / SillyTavern
Cuento con una buena cantidad de bots, la mayoría en castellano. Puede encontrarlos AQUÍ.
Usarlo con llama.cpp (Si tenés una PC decente)
Instale llama.cpp a través de brew (funciona en Mac y Linux)
brew install llama.cpp
Invoque el Servidor llama.cpp o la CLI.
CLI:
llama-cli --hf-repo Novaciano/Llama3.2_1b_NOVA-Castellano_y_Sin_Censura --hf-file Llama3.2_1b_NOVA-Castellano_y_Sin_Censura-q4_k_m-imat.gguf -p "Argentina va a superar su crisis financiera cuando"
SERVIDOR:
llama-server --hf-repo Novaciano/Llama3.2_1b_NOVA-Castellano_y_Sin_Censura --hf-file Llama3.2_1b_NOVA-Castellano_y_Sin_Censura-q4_k_m-imat.gguf -c 2048
Nota: También puede utilizar este punto de control directamente a través de los Pasos de uso incluido en el repositorio Llama.cpp.
Paso 1: Clonar llama.cpp desde GitHub.
git clone https://github.com/ggerganov/llama.cpp
Paso 2: Vaya a la carpeta llama.cpp y constrúyalo con bandera LLAMA_CURL=1 junto con otras banderas específicas del hardware (por ejemplo: LLAMA_CUDA=1 para GPUs Nvidia en Linux).
cd llama.cpp && LLAMA_CURL=1 make
Paso 3: Ejecutar la inferencia a través del binario principal.
./llama-cli --hf-repo Novaciano/Llama3.2_1b_NOVA-Castellano_y_Sin_Censura --hf-file Llama3.2_1b_NOVA-Castellano_y_Sin_Censura-q4_k_m-imat.gguf -p "Argentina va a superar su crisis financiera cuando"
o también con
./llama-server --hf-repo Novaciano/Llama3.2_1b_NOVA-Castellano_y_Sin_Censura --hf-file Llama3.2_1b_NOVA-Castellano_y_Sin_Censura-q4_k_m-imat.gguf -c 2048