Si quieres sacar provecho de la IA en tu sistema de seguridad, necesitas integrar LLM Vision en Home Assistant.
Índice
¿Qué es LLM Vision?
LLM Vision es una integración de Home Assistant desarrollada por la comunidad que puede analizar imágenes, videos, transmisiones en vivo de cámaras y eventos de Frigate utilizando las capacidades de visión de modelos de lenguaje multimodales (LLMs). Su uso es totalmente gratuito, aunque vas a necesitar haber integrado en HA alguna de las IAs compatibles (OpenAI, Antrophic, Google, Groq…).
Además, no sólo sirve para analizar imágenes y enviarte notificaciones, también puede recordar las imágenes registradas para que le hagas preguntas más tarde.
Requisitos previos
- Haber integrado en HA una inteligencia artificial (como OpenAI o Google AI).
- Tener alguna cámara integrada en Home Assistant.
Integración con Home Assistant
Sigue estos pasos para integrar LLM Vision en Home Assistant:
- Ve a HACS y utiliza el buscador para encontrar la integración de LLM Vision. Haz clic en «Descargar» y reinicia Home Assistant.
- Cuando termine ve Configuración > Dispositivos y servicios > Añadir integración > LLM Visión. En el desplegable selecciona la inteligencia artificial que quieras utilizas (por ejemplo, «OpenAI») y pulsa en «Enviar». A continuación te pedirá el ‘API Key’ de la misma.
- Hecho esto comprobarás que se ha creado un nuevo bloque en tu panel de integraciones. No obstante, si accedes observarás que no expone dispositivos ni entidades. Esto se debe a que vamos a interactuar con esta integración a través de acciones.
- Ve a Herramientas para desarrolladores > Acciones y busca «LLM Vision». En el desplegable aparecerán las acciones que puedes llevar a cabo. Por ejemplo, si seleccionas «Image Analyzer» puedes pedirle que te describa una imagen. Para ello indica los siguientes campos:
- Provider. Selecciona la IA que has indicado en el paso 2.
- Model. Dependiendo de la IA que estés utilizando, puedes seleccionar un modelo concreto o dejarle que utilice por defecto. Puedes consultar el listado de IAs y modelos soportados en la documentación oficial.
- Prompt. Aquí tienes que indicar la instrucción que debe ejecutar la IA (por ejemplo, «Describe la imagen»).
- Remember. Si marcas esta casilla, recordará la imagen procesada y podrás preguntarle más tarde.
- Image. A continuación puedes indicar en «Image File» la ruta a un fichero en tu almacenamiento local o seleccionar una entidad en «Image Entity» (por ejemplo, la entidad de tu cámara de vigilancia).
- Puedes dejar el resto de opciones como están y pulsar en «Realizar una acción».
- Al hacerlo observarás que en la parte inferior de la pantalla ha aparecido una descripción detallada de lo que contiene la imagen.
Uso en automatizaciones
Vale, una vez que has comprobado qué puedes hacer al integrar LLM Vision en Home Assistant, te estarás preguntando cómo usarlo en tus automatizaciones. La verdad es que el proceso es muy parecido (por no decir el mismo) que en las notificaciones con IA:
- Crea una nueva automatización con los desencadenantes y condiciones que quieras (por ejemplo, cuando se activa un detector de movimiento mientras no estás en casa).
- Añade una nueva acción, busca «LLM Vision» y cumplimenta los parámetros exactamente igual que en el paso 4 del apartado anterior.
- Observa que en la parte inferior de la acción hay un nuevo campo llamado «Variable de respuesta». Aquí tienes que darle un nombre (por ejemplo, «llmvision») a la variable que va a almacenar la respuesta de la IA analizando la imagen.
- Ahora vamos a añadir una nueva acción en la que vamos a utilizar la respuesta de la IA (por ejemplo, una notificación). Dentro de esta accción tenemos que usar el siguiente código para incluir la respuesta, reemplazando el nombre que le has dado a la variable (por ejemplo, ‘{{ llmvision.response_text }}’).
{{ variable.response_text }}
- Si ejecutas la automatización observarás que, en este caso, recibes una notificación con la descripción de la imagen.
Aunque te acabo de explicar cómo utilizar LLM Vision en cualquiera de tus automatizaciones, hay una forma mucho más sencilla de generar notificaciones y es utilizando el Blueprint que han preparado para ello. Puedes importarlo haciendo clic en el siguiente botón.
Registro de eventos y LLM Vision Card
Como te comentaba, integrar LLM Vision en Home Assistant no sólo te permite describir una imagen instantánea, si no que también te da la posibilidad de crear un registro de eventos y mostrarlos de forma visual con su LLM Vision Card.
Sin duda, me parece una función muy interesante para un sistema de seguridad y puedes implementarla de la siguiente manera:
- Ve a Configuración > Dispositivos y servicios > Añadir integración > LLM Vision. Esta vez en el desplegable selecciona la opción «Timeline» y pulsa en «Enviar».
- A continuación tendrás que indicar durante cuántos días quieres que guarde los eventos y pulsar de nuevo en «Enviar». Esto añadirá una nueva entidad a la integración de tipo ‘calendar’ (por ejemplo, ‘calendar.llm_vision_timeline’). Reinicia Home Assistant.
- Si ahora accedes al apartado «Calendario» en el menú lateral, observarás este nuevo calendario que registra los eventos analizados por la IA.
- Vuelve a HACS y pulsa sobre el icono de los 3 puntos de la esquina superior derecha. Haz clic en «Repositorios personalizados», pega la siguiente url, selecciona el tipo «Panel de control» y pulsa en «Añadir».
- Utiliza el buscador para encontrar «LLM Vision Card», haz clic en «Descargar» y recarga la caché.
- Ve a tu panel de control, añade una nueva tarjeta y busca «LLM Vision Timeline Card». Al añadir la tarjeta detectará la entidad » y desplegará todos tus eventos de forma gráfica en una línea temporal!
