Miembros
Miembros

Instalar una IA gratuita en tu Homelab

TitoTB

Por fin, ya puedes instalar una IA gratuita en tu Homelab, que funciona bien en cualquier Mini PC doméstico!

¿Qué ha cambiado?

Hace aproximadamente un año os contaba en una de nuestras charlas mis experimentos con la IA local. La instalación era relativamente sencilla, pero el rendimiento (en un servidor doméstico) muy pobre. No podía usarla para nada interesante.

Desde entonces ha habido muchos avances en materia de inteligencia artificial, pero me temo que no hay novedades en este sentido. Recientemente he probado los últimos modelos «súper eficientes» de Google, Gemma 4, y la conclusión es que correr una IA local sigue exigiendo un hardware potente.

Sin embargo, en el proceso he encontrado una alternativa muy interesante. Ollama, la herramienta de código abierto que permite ejecutar modelos de lenguaje grande (LLM) de IA directamente en tu ordenador, también te permite ejecutar algunos modelos «cloud».

Es decir, puedes usar algunos de los últimos modelos más potentes ejecutándolos en su servidor, de forma totalmente gratuita. Eso sí, dentro de los límites de cuenta gratuita (que se resetean semanalmente).

Requisitos previos

Para instalar una IA gratuita en tu Homelab necesitas:

  • Un Mini PC. En mi caso voy a utilizar el AuBox que me ha mandado la gente de Chuwi. Tiene 16GB de RAM (que he ampliado a 32GB con otro módulo), 512GB de almacenamiento interno y tarjeta gráfica integrada AMD Radeon™ 780M.
  • Haber instalado Proxmox en tu Mini PC.

*Algún precio puede haber cambiado desde la ultima revision

Instalación de Ollama y modelos Cloud

Como te decía, para que puedas instalar una IA gratuita en tu Homelab vamos a utilizar Ollama, junto con alguno de los modelos «Cloud» disponibles.

De esta forma te podrás beneficiar del uso de la IA sin recurrir a planes de pago, sin encontrarte limitado por los recursos de tu instalación local, siguiendo estos pasos:

  1. En la interfaz de Proxmox, pulsa sobre el nombre de tu servidor y al hacerlo aparecerá un segundo menú lateral a su derecha.
  2. Pulsa sobre «Consola» para acceder al terminal del servidor, que aparecerá más a la derecha.
  3. Entra en el apartado de Ubuntu LXC de Helper Scripts, y copia el comando de instalación de la parte inferior para crear el contenedor donde luego instalaremos Ollama.
  4. Vuelve a la consola de Proxmox y pégalo (si no puedes hacerlo con el teclado, utiliza el botón del derecho del ratón o cópialo a mano). Pulsa enter para empezar su ejecución.
  5. Selecciona la primera opción «Default Install» y pulsa ‘Enter’ de nuevo. Cuando termine, verás un nuevo contenedor en tu nodo (identificado como «ubutun»). Puedes cambiarle el nombre parando el contenedor y ejecutando el siguiente comando, reemplazando tus datos (por ejemplo, ‘pct set 106 –hostname ollama’):

En mi caso, aprovechando que tengo unos recursos «decentes», voy a llevar a cabo unos pasos más para aprovechar la GPU del Mini PC, por si en el futuro quiero experimentar con modelos de manera 100% local. No obstante, si únicamente quieres correr modelos Cloud de forma gratuita, puedes saltar directamente al paso 11.

  1. Pulsa sobre el contenedor creador en el paso anterior y entra en el apartado de recursos para asignar recursos «extra». Como mínimo te recomiendo unos 8 GB de RAM (disponibles) y almacenamiento suficiente para instalar los drivers y los modelos. En mi caso he asignado 10 GB de RAM, 10 núcleos (de los 16 que tengo) y 100 GB de almacenamiento. Después reinicia el LXC para que los cambios surtan efecto.
  2. Ahora entra en la consola del contenedor e introduce el siguiente comando. Este te devolverá el ‘id’ de los componentes «video» y «render» (en mi caso, 44 y 993, respectivamente), que vamos a necesitar a continuación para hacer el «passthrough» al contenedor.
  1. Luego, desde la consola del servidor, ejecuta el siguiente comando para verificar el dispositivo que contiene los ‘driver’ de AMD. Te devolverá algo como ‘lrwxrwxrwx 1 root root 0 Apr 29 11:44 /sys/class/drm/renderD128/device/driver -> ../../../../bus/pci/drivers/amdgpu’, siendo en este caso renderD128 el dispositivo.
  1. Ahora, pulsa sobre el nombre del contenedor y accede al apartado de «Recursos». Haz clic en el botón «Añadir» y selecciona «Dispositivo passthrought», indicando lo siguiente:
    • Ruta del dipositivo: ‘/dev/dri/renderD128’ (coincidiendo con lo visto en el paso anterior).
    • GID en CT: 44 (coincidiendo con lo visto en el paso 7).
  2. Repite el paso anterior indicando lo siguiente:
    • Ruta del dispositivo: ‘/dev/kfd’.
    • GID en CT: 993.

Con nuestro contenedor listo, continuamos con la instalación de Ollama y los modelos.

  1. Entra en esta página de Ollama, copia el comando de instalación para Linux y ejecútalo en la consola del contenedor.
  2. Cuando termine la instalación, puedes utilizar el comando ‘ollama run’ + el nombre del modelo para varias cosas:
    • Si se trata de un modelo «cloud», realizará la conexión con tu cuenta de Ollama para que puedas usarlo.
    • Si se trata de un modelo local, lo descargará e instalará en tu servidor local.
    • Si se trata de un modelo ya instalado, lo ejecutará para que puedas empezar a hablar con él.
  3. Por ejemplo, para conectar el modelo MiniMax-M2.5, ejecuta el siguiente comando. Una vez cargue, ya podrás chatear directamente con el modelo.
  1. Para terminar, si ejecutas el comando ‘ip a’, encontrarás la IP de tu servidor de Ollama (por ejemplo, ‘192.168.1.64:11434’). Si introduces esta IP en tu navegador podrás confirmarlo, ya que se mostrará el mensaje «Ollama is running».

Instalación de los drivers AMD

Como te comentaba, si además de los modelos cloud quieres instalar una IA gratuita en tu Homelab que puedas usar de forma local, y tienes un Mini PC con una tarjeta gráfica AMD, te recomiendo ejecutar estos pasos adicionales para aprovechar la GPU:

  1. Primero vamos a instalar los drivers de ROCm. Para ello copia y ejecuta estos comandos en la consola del contenedor, y confirma la instalación tecleando ‘Y’ y ‘enter’ cuando te pregunte.
  1. Cuando termine, ejecuta este otro comando para instalar los drivers de AMD. De nuevo, cuando te pregunte, teclea ‘Y’ + ‘Enter’ para confirmar la instalación.
  1. Una vez que termine, ejecuta el siguiente comando para acceder al fichero de configuración de Ollama.
  1. Al final del apartado «Service», justo antes del apartado «Install», pega las siguientes líneas.
  1. Pulsa «Control + O» y «Enter» para guardar los cambios (verás un mensaje de confirmación que indica «Wrote X lines»). Luego usa «Control + X» para salir del editor y reinicia el contenedor.
  2. Una vez esté activo de nuevo, ya podrás chatear de nuevo con tus modelos observando un rendimiento superior.

Integración en Home Assistant

Uno de los usos que puedes darle a instalar una IA gratuita en tu Homelab, es integrarla en Home Assistant para conseguir que tu asistente de voz sea más inteligente. Esto es muy fácil de hacer, y solo tienes que seguir estos pasos:

  1. En HA, ve a Configuración > Dispositivos y servicios > Añadir integración > Ollama.
  2. En el asistente de configuración, introduce la URL de tu servidor de Ollama, incluyendo el puerto (por ejemplo, ‘http://192.168.1.94:11434’). Deja el campo «Clave API» vacío, y pulsa en «Enviar».
  3. Accede al bloque creado en tu panel de integraciones y pulsa en «Añadir agente de conversación». En el campo «Modelo», selecciona alguno de los que hayas conectado o descargado. Opcionalmente, personaliza el «prompt» para modificar cómo se comporta tu asistente.
  4. Activa la casilla «Assist» si quieres que pueda controlar tus dispositivos, y desactiva la casilla «Pensar antes de responder» si quieres que la respuesta sea más rápida.

Agradecimientos

Para elaborar esta entrada nos hemos apoyado en este video de nuestro amigo Jonatan Castro. Echa un ojo a su canal! 😄