Voy a montar un LLM sin filtros, pero en Ollama.
El problema es que la mayoría de HuggingFace no soportan el formato de Ollama y hay que “convertirlos”
Vamos a usar: openhermes-2.5-mistral-7b
1. Descarga el modelo GGUF
Ollama no permite montar directamente LLMs de HuggingFace, pero los .GGUF si, y en HaggingFace hay unos pocos.
En tu servidor, ejecuta:
mkdir -p ~/ollama/models/openhermes
cd ~/ollama/models/openhermes
wget <https://huggingface.co/TheBloke/OpenHermes-2.5-Mistral-7B-GGUF/resolve/main/openhermes-2.5-mistral-7b.Q4_K_M.gguf> -O model.gguf
2. Crea el Modelfile correcto
En el mismo directorio, crea un archivo Modelfile con este contenido válido para Ollama:
sudo nano Modelfile
Y le ponemos este contenido:
FROM mistral
PARAMETER efficient
FILE model.gguf
3. Contenedor Docker Ollama
Si no tenemos aún el docker montado:
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
4. Entra al contenedor y crea el modelo
Accede al contenedor:
docker exec -it ollama bash
Y dentro ejecuta:
cd /models/openhermes
ollama create openhermes -f Modelfile
5. Ejecuta el modelo
docker exec -it ollama ollama run openhermes
6. Usar vía API
curl <http://localhost:11434/api/generate> -d '{
"model": "openhermes",
"prompt": "Describe una historia cruda y sin censura sobre el futuro de la humanidad.",
"stream": false
}'
Y listo ya tenemos un LLM libre de censura para usar y que Dios nos pille confesados de las barbaridades que se te ocurrirán hablar con él.