Implementar un LLM local en un NAS doméstico no es difícil porque el primer comando sea complicado. Lo difícil es que el modelo, la caché, el contenedor, el servidor de API y las tareas en segundo plano compiten por el mismo almacenamiento y los mismos recursos del sistema que el NAS ya usa para archivos, copias de seguridad, contenido multimedia, bases de datos y aplicaciones.
El objetivo más seguro no es que el LLM sea lo más rápido posible desde el primer día. Lo más seguro es darle una ruta de almacenamiento conocida, límites estrictos de recursos, concurrencia limitada y un procedimiento de verificación. Un modelo local algo más lento suele ser mejor que uno rápido que llene la unidad del sistema, provoque presión sobre la memoria o vuelva poco fiables otras aplicaciones autoalojadas.
Resumen: asigna al LLM su propio espacio y límites
Un LLM local debe tener su propio espacio antes de incorporar su primer modelo. Eso significa que debes saber dónde se guardarán los archivos del modelo, las cachés, los índices, los registros y los datos de la aplicación antes de descargar un modelo o conectar una interfaz web. Si esos archivos acaban en una ruta oculta de Docker o en una unidad de arranque pequeña, la implementación puede parecer correcta mientras consume silenciosamente el espacio que el propio NAS necesita.
También necesita límites. Los entornos de ejecución de LLM pueden usar mucha RAM, VRAM, hilos de CPU y memoria de contexto, sobre todo si se habilitan varios modelos o solicitudes en paralelo. La documentación de Docker sobre las limitaciones de recursos explica que, de lo contrario, los contenedores pueden usar los recursos del host según lo permita el planificador del kernel, y que la presión sobre la memoria puede provocar errores de falta de memoria que afecten a otros procesos.
En un NAS compartido, esto importa más que las puntuaciones máximas de las pruebas de rendimiento. Plex, Jellyfin, Home Assistant, las bases de datos, las tareas de sincronización, las copias de seguridad y el uso compartido de archivos no deberían volverse inestables porque un servidor de modelos intenta responder a una instrucción larga. Una implementación segura de un LLM local empieza por asignar el almacenamiento, establecer límites de recursos, elegir el modelo y verificarlo.
Qué confirmar antes de descargar el primer modelo
Antes de descargar el primer modelo, define la primera tarea. Un LLM local para conversaciones sencillas tiene requisitos distintos de los de un asistente RAG, un proceso de embeddings, un asistente de programación o un agente de automatización que pueda leer y escribir archivos. Si no defines primero el caso de uso, es fácil descargar un modelo demasiado grande, demasiado lento o que sobrecargue el servidor.
Empieza con estas comprobaciones:
- Caso de uso: chat, RAG, embeddings, resúmenes, automatización, programación o asistencia para búsquedas.
- Tamaño del modelo: cuánto ocupa el archivo del modelo y si conservarás varias variantes.
- Cuantización: si el modelo está lo bastante comprimido para el servidor.
- Ruta de almacenamiento: dónde se guardarán los archivos de modelos y la caché en el host.
- Ruta del contenedor: cómo se asigna la ruta del host al contenedor.
- RAM y VRAM: cuánta memoria queda disponible para otras aplicaciones.
- Margen de CPU: cuántos hilos puede usar el modelo sin dejar al NAS sin recursos.
- Paralelismo: cuántas solicitudes o modelos cargados pueden ejecutarse a la vez.
- Cargas de trabajo existentes: copias de seguridad, transmisión de contenido multimedia, bases de datos, sincronización y uso compartido de archivos.
- Plan de verificación: cómo comprobarás que el NAS sigue funcionando correctamente después.
Este paso previo a la implementación no es un mero trámite. Evita el problema más habitual al implementar un LLM local en un NAS: el modelo responde, pero el sistema que lo rodea pierde fiabilidad.
Mantén los archivos de modelos fuera de la unidad del sistema
Los archivos de modelos pueden crecer más rápido de lo esperado. Un solo modelo puede ser manejable, pero varios modelos, variantes cuantizadas, incrustaciones, índices, datos de WebUI y registros pueden ocupar rápidamente decenas o cientos de gigabytes. Si esos archivos terminan en la unidad del sistema o en la raíz de Docker, el NAS puede quedarse sin espacio crítico aunque el grupo de almacenamiento principal todavía parezca estar en buen estado.
Las preguntas frecuentes de Ollama indican las ubicaciones predeterminadas de los modelos para distintos sistemas operativos y explican que el directorio de almacenamiento de modelos se puede cambiar con la variable de entorno OLLAMA_MODELS. En un NAS o un servidor doméstico, este detalle es importante porque la ruta predeterminada quizá no sea el lugar donde quieras guardar los archivos de modelos a largo plazo.
Si ejecutas Ollama u otro motor de modelos en Docker, recuerda que una ruta del contenedor no es lo mismo que una ruta del host. Un directorio como /root/.ollama dentro del contenedor debe asignarse a una ubicación específica del host si quieres un almacenamiento predecible. Sin una asignación de volumen, los archivos de los modelos pueden permanecer en el almacenamiento gestionado por Docker, lo que dificulta detectar cuánto crecen y limpiarlos.
Un patrón más seguro es crear un directorio de modelos específico antes de la implementación, como una carpeta de almacenamiento de IA en un grupo de almacenamiento de datos o un volumen de almacenamiento de aplicaciones. Mantenlo separado de los destinos de copias de seguridad, las bases de datos críticas y los datos de aplicaciones irremplazables. El directorio de modelos debe tener espacio suficiente, ser fácil de revisar y estar documentado para que puedas eliminar modelos antiguos más adelante.
Decide también dónde guardar los archivos relacionados. Los índices RAG, las incrustaciones, las bases de datos vectoriales, los registros y los documentos subidos pueden convertirse en consumidores de almacenamiento independientes. Si solo haces planes para el archivo del modelo, el resto de la infraestructura de IA aún puede tomarte por sorpresa.
Establece límites de memoria, CPU y paralelismo
Límites de memoria
Los LLM locales consumen mucha memoria. Necesitan memoria para los pesos del modelo, el contexto, la sobrecarga del entorno de ejecución y, a veces, varios modelos cargados. Si el servidor también ejecuta bases de datos, servicios multimedia, sincronización de archivos, contenedores y tareas de copia de seguridad, no se debe permitir que el LLM consuma toda la memoria disponible.
Docker admite límites de memoria para contenedores que pueden evitar que un contenedor acapare el host. En un NAS compartido, esto no sirve tanto para acelerar el modelo como para proteger el resto del sistema. Si el contenedor del LLM alcanza su propio límite, suele ser mejor que dejar que todo el servidor sufra presión de memoria.
Reserva margen para los servicios esenciales. Si el NAS tiene 32 GB de RAM y las aplicaciones habituales usan entre 8 GB y 12 GB en los periodos de mayor actividad, no asignes el resto al LLM. Deja espacio para la caché del sistema de archivos, las tareas de copia de seguridad, las bases de datos y los picos breves de consumo. Un modelo que solo funciona cuando no hay nada más en ejecución no es una opción predeterminada segura para un servidor doméstico compartido.
La VRAM también importa cuando se usa la inferencia con GPU. Las preguntas frecuentes de Ollama explican que la inferencia con CPU utiliza la memoria del sistema, mientras que la inferencia con GPU utiliza la VRAM, y que la carga simultánea de modelos depende de la memoria o VRAM disponible. Esto significa que una GPU puede ser de gran ayuda, pero no elimina la necesidad de planificar la memoria.
Límites de CPU
Los límites de CPU protegen la capacidad de respuesta. Un LLM local puede usar muchos hilos al procesar las instrucciones o generar tokens. Si satura la CPU, el panel del NAS puede ralentizarse, las transmisiones multimedia pueden interrumpirse, las automatizaciones pueden retrasarse y las bases de datos pueden responder con lentitud.
Docker ofrece controles de CPU como --cpus, --cpu-quota y --cpuset-cpus. No siempre hacen falta límites estrictos, pero conviene decidir cuánta CPU puede usar el LLM durante la actividad normal del NAS. Un modelo que tarda un poco más en responder, pero mantiene el servidor ágil, suele ser más adecuado que uno que consume todos los hilos.
La inferencia solo con CPU es especialmente sensible a los límites. Sin GPU ni NPU, el LLM compite directamente con todos los demás servicios que dependen de la CPU. Si el NAS ya se encarga de transcodificar archivos multimedia, indexar, comprimir, hacer copias de seguridad o gestionar bases de datos, el LLM no debería ejecutarse sin restricciones en las horas de mayor actividad.
Cantidad de modelos y solicitudes paralelas
El paralelismo puede pasar fácilmente desapercibido. Un solo modelo que responde a una sola indicación puede funcionar bien. Varios usuarios, una WebUI, un flujo de trabajo automatizado y una herramienta de RAG pueden generar rápidamente solicitudes simultáneas. Cada solicitud puede aumentar el uso de memoria de contexto y CPU.
Las preguntas frecuentes de Ollama describen las solicitudes paralelas y el comportamiento de los modelos cargados, incluidos ajustes como OLLAMA_MAX_LOADED_MODELS, OLLAMA_NUM_PARALLEL y OLLAMA_MAX_QUEUE. Estos ajustes son importantes en un NAS porque la concurrencia puede convertir una implementación estable para un solo usuario en un pico de consumo de recursos.
Para un servidor doméstico compartido, empieza con límites conservadores. Un modelo cargado y una solicitud activa son un punto de partida más seguro. Aumenta los límites solo después de confirmar que el almacenamiento, la memoria, la CPU y los demás servicios siguen funcionando de forma estable.
Elige un modelo que se ajuste al servidor, no a las expectativas exageradas
El primer modelo adecuado no es el modelo más grande que puedas descargar, sino el más pequeño que pueda completar la tarea con una calidad aceptable. En un NAS, la elección del modelo forma parte de la protección del sistema.
Los modelos cuantizados suelen ser un punto de partida práctico. La documentación de llama.cpp explica cómo los modelos cuantizados reducen la precisión de los pesos del modelo, por ejemplo, convirtiendo archivos de modelos GGUF de mayor precisión en formatos más pequeños. Esto puede reducir el tamaño del modelo y mejorar la inferencia en la práctica, aunque también puede implicar ciertas concesiones en la calidad.
Ese equilibrio suele ser aceptable para muchos usos de un NAS doméstico: chat sencillo, resúmenes, embeddings, asistencia con RAG, organización de archivos y pequeñas herramientas de automatización. Es menos aceptable si la tarea requiere razonamiento profundo, contexto largo, rendimiento para varios usuarios o gran precisión en programación.
Usa el estado del servidor como punto de partida:
| Estado del servidor | Punto de partida más seguro | Evita al principio |
|---|---|---|
| 8 GB–16 GB de RAM, solo CPU | Modelo pequeño cuantizado, embeddings, chat ligero | Modelos grandes, contexto largo, varios usuarios |
| 16 GB–32 GB de RAM, iGPU / NPU | Chat básico, asistente de RAG y búsqueda | Generación de imágenes, asistente de programación intensivo |
| GPU con suficiente VRAM | Modelo más grande o inferencia más rápida | Apilar modelos sin límite |
| NAS compartido con muchas aplicaciones | Tareas de IA programadas, un modelo, un usuario | Inferencia intensiva siempre activa |
| NAS más una máquina con GPU independiente | El NAS almacena datos; una máquina de IA ejecuta inferencias | Forzar que todo el procesamiento se haga en el NAS |
Una implementación segura empieza poco a poco porque ofrece una base estable. Después, puedes probar un modelo más grande, un contexto más largo o una integración con una WebUI. Si el sistema se ralentiza, sabrás qué cambio causó el problema.
Mantén el LLM alejado de las aplicaciones críticas y de las copias de seguridad
Un LLM local no debería compartir límites de fallo con los servicios de los que más dependes. Si el almacenamiento de modelos de IA, las copias de seguridad, las bases de datos de las aplicaciones y los archivos temporales se guardan en la misma ubicación mal planificada, una sola carga de trabajo puede causar problemas al resto.
Mantén la caché de modelos y los datos temporales de IA alejados de los destinos de las copias de seguridad. Por lo general, se puede volver a generar un directorio de modelos; un repositorio de copias de seguridad, no. Llenar un destino de copias de seguridad con archivos de modelos o datos temporales de IA puede provocar copias omitidas, fallos en las tareas de sincronización o puntos de restauración confusos.
Cuando sea posible, mantén separadas las bases de datos de las aplicaciones. Home Assistant, los servidores multimedia, las bibliotecas de fotos, los gestores de contraseñas y otras aplicaciones autoalojadas pueden depender de pequeñas bases de datos poco resistentes a aumentos repentinos de la carga de E/S o a la falta de espacio en disco. No permitas que la descarga de un modelo grande o un proceso de indexación RAG ocupe la misma zona de almacenamiento sin planificarlo.
Ten en cuenta también el horario. Si las copias de seguridad se ejecutan por la noche, no programes una indexación pesada para la misma franja. Si por la tarde se reproducen contenidos multimedia, no ejecutes en ese momento inferencias de contexto largo que dependan solo de la CPU. Un NAS suele tener capacidad suficiente para varios trabajos, pero no para que todos alcancen su pico al mismo tiempo.
Para los flujos de trabajo con LLM que pueden escribir archivos o usar herramientas, añade medidas de protección. Usa rutas aisladas, pasos de confirmación y registros. Deja que el modelo sugiera acciones, pero usa código determinista o pide confirmación al usuario para escribir, eliminar, mover y cambiar aplicaciones. Una implementación segura de LLM protege no solo los recursos del sistema, sino también los datos a los que puede acceder.
Señales de alerta de que el LLM está dejando sin recursos a otros servicios
Una implementación defectuosa no siempre falla de inmediato. Lo más habitual es que genere síntomas que al principio parecen no tener relación.
Una señal de alerta es el crecimiento repentino del disco. Si la unidad del sistema, la raíz de Docker o el almacenamiento de las aplicaciones crecen rápidamente después de descargar modelos, es posible que la ruta del modelo no esté asignada donde esperabas. Comprueba la ruta real del host, no solo la ruta del contenedor.
Los reinicios de contenedores son otra señal. Si el contenedor del LLM, la base de datos, Home Assistant, el servidor multimedia o la interfaz web se reinician continuamente, comprueba la presión sobre la memoria, los registros OOM y la saturación de la CPU. Puede que el LLM siga funcionando mientras los demás servicios se quedan sin recursos.
También importa que el panel de control del NAS vaya lento. Si la interfaz web se vuelve lenta durante las consultas, puede que el LLM local esté usando demasiados hilos de CPU, demasiada memoria o demasiadas operaciones de E/S de disco. Que el modelo responda correctamente no significa que la implementación funcione bien.
El almacenamiento en búfer de medios, las automatizaciones con retraso, los recursos compartidos de archivos lentos y las ventanas de copia de seguridad incumplidas son señales más claras. Estas son funciones esenciales del NAS. Si se degradan tras implementar el LLM, el LLM necesita un modelo más pequeño, límites más estrictos, una mejor programación o un host de computación independiente.
Vigila también el comportamiento de la API. Si la API del LLM se bloquea, mantiene solicitudes en cola indefinidamente o deja de ser fiable cuando se conecta una interfaz web, una herramienta RAG o un sistema de automatización, puede que el paralelismo sea excesivo para el servidor. Limita los modelos cargados, las solicitudes activas y la longitud de la cola antes de añadir más integraciones.
Un orden de implementación más seguro para un LLM local en un NAS
No empieces instalando todas las herramientas de IA a la vez. Empieza con un servicio de LLM local, un modelo, una ruta de almacenamiento y un caso de uso de prueba. Así será más fácil entender la implementación y depurarla de forma segura.
Un orden de implementación más seguro sería el siguiente:
- Elige un caso de uso, como chat ligero, embeddings o pruebas de RAG.
- Elige el modelo más pequeño que pueda hacer el trabajo.
- Crea un directorio específico para los modelos en una ruta de almacenamiento conocida.
- Vincula ese directorio al contenedor o configura el ejecutor para que lo use.
- Establece límites de memoria y CPU.
- Limita las solicitudes paralelas y los modelos cargados.
- Empieza con una consulta de prueba o un índice RAG pequeño.
- Durante la ejecución, vigila el disco, la RAM, la CPU, la GPU, los registros y el tiempo de respuesta.
- Confirma que las aplicaciones existentes y las copias de seguridad sigan funcionando con normalidad.
- Solo entonces añade integraciones como Open WebUI, herramientas RAG o flujos de automatización.
Puede que este orden parezca más lento que una guía de instalación rápida, pero reduce las sorpresas. Si algo falla, sabrás si el problema proviene del modelo, la ruta, los límites de recursos, la interfaz web, el índice RAG u otra integración.
Cómo verificar que el almacenamiento y las aplicaciones siguen estando seguros
La verificación no debería detenerse en «el modelo respondió». Un LLM local puede responder a una consulta y, aun así, llenar el disco equivocado, dejar sin recursos a otros contenedores o retrasar las tareas de copia de seguridad.
Empieza por la verificación del almacenamiento. Confirma que los archivos del modelo se hayan guardado en la ruta prevista del host. Comprueba que la unidad del sistema siga teniendo espacio libre. Comprueba que la raíz de Docker no haya aumentado inesperadamente. Confirma que la caché del modelo, los registros, los índices y los datos de la aplicación no estén mezclados con copias de seguridad o bases de datos críticas.
Después revisa los recursos. La CPU debería volver a la normalidad después de las consultas o la indexación. La memoria debería mantenerse por debajo del límite que planeaste. El uso de intercambio no debería aumentar durante el uso normal. Si la inferencia en la GPU está habilitada, verifica que el modelo realmente use la GPU y que la presión sobre la VRAM sea aceptable.
A continuación, comprueba la estabilidad de las aplicaciones. Abre archivos compartidos, reproduce contenido multimedia, activa una automatización de Home Assistant, navega por el panel del NAS y confirma que las bases de datos y los paneles de las aplicaciones siguen respondiendo. Si estos servicios van lentos solo cuando el LLM está activo, necesitas límites más estrictos de CPU y memoria, o de programación.
Revisa los registros. Busca bucles de reinicio, mensajes de OOM, errores al cargar modelos, errores de permisos, falta de acceso a la GPU, errores al montar volúmenes y tiempos de espera agotados repetidamente en la API. A menudo, los registros revelan que una implementación «funcional» apenas se mantiene estable.
Por último, comprueba el límite del endpoint. Si el servidor del modelo expone una API, averigua desde dónde es accesible. Un endpoint de LLM local no debería quedar expuesto al público por accidente. Mantenlo dentro de la red, a menos que lo hayas configurado intencionadamente detrás de autenticación, reglas de proxy inverso, acceso por VPN u otro límite controlado.
Cómo ZimaOS AI Search muestra un patrón controlado de implementación de IA
Un flujo de trabajo de IA en un NAS controlado debe tener una ruta del modelo, requisitos de recursos, expectativas de tiempo de ejecución y una vía de verificación definidos. No debería comportarse como un servicio en segundo plano ilimitado que descarga modelos, consume tiempo de GPU y escribe datos donde quiera.
ZimaOS-AI es un ejemplo útil de este patrón controlado. La guía de ZimaSpace sobre búsqueda con IA explica que el módulo está diseñado para dar soporte a las búsquedas de ZimaOS mediante un LLM local que extrae características de imágenes, audio y vídeo. Ese enfoque es importante: la carga de trabajo de IA da soporte a la búsqueda y a la extracción de características, en lugar de convertir el NAS en un servidor de chat sin restricciones.
La misma guía hace visible el límite de recursos. Describe rutas de instalación separadas para sistemas con GPU discreta NVIDIA y sistemas con GPU integrada Intel. La ruta de NVIDIA depende de la compatibilidad con GPU y CUDA, mientras que la ruta de GPU integrada Intel requiere al menos 8GB de RAM libre y recomienda una CPU i5-1235U o superior con gráficos integrados. También indica que se necesitan al menos 20GB de espacio libre en el sistema y señala que los archivos del modelo se almacenan en /media/ZimaOS-HD/AppData/.models, a menos que se haya migrado AppData.
Ese es el tipo de información que necesita una implementación segura de un LLM antes de empezar. Un dispositivo de nube privada, como ZimaCube 2 AI NAS, puede admitir flujos de trabajo de IA local más avanzados cuando la ruta del modelo, la compatibilidad con GPU o iGPU, la RAM, el espacio de almacenamiento y la programación se ajustan a la carga de trabajo. Pero la lección importante está en los límites, no en la marca: saber dónde reside el modelo, qué ruta de hardware utiliza y cuándo puede consumir recursos.
Los detalles de solución de problemas también muestran cómo verificar una implementación. Si la búsqueda de IA no devuelve resultados relacionados con la IA, es posible que el modelo aún se esté descargando, que la extracción de características siga en curso, que no haya acceso a Hugging Face o que la VRAM sea insuficiente y se recurra a la CPU y la memoria RAM. La guía también recomienda consultar el Historial de llamadas, el tráfico de red y journalctl -xef -u zimaos-ai para comprobar el estado.
Ese es un patrón útil para cualquier implementación local de un LLM en un NAS: definir la ruta, establecer los recursos, revisar los registros, confirmar que la función realmente funciona y programar las actividades intensivas para que el NAS siga siendo utilizable.
Preguntas frecuentes
¿Dónde debería guardar los archivos de modelos de LLM locales en un NAS?
Guarda los archivos de modelos en un directorio de modelos específico y documentado, en un volumen de datos o una ubicación de almacenamiento de aplicaciones con espacio suficiente. Evita que los modelos terminen silenciosamente en la unidad de arranque, el directorio raíz de Docker o un destino de copias de seguridad. La ruta debe ser fácil de inspeccionar, depurar y migrar.
¿Debería ejecutar Ollama directamente o en Docker?
Ambas opciones pueden funcionar. Docker facilita el aislamiento y la implementación, pero debes configurar correctamente la ubicación del almacenamiento de modelos y establecer límites de recursos. La instalación directa puede ser más sencilla en algunos sistemas, pero aun así debes confirmar el directorio de modelos, los permisos, el uso de memoria y los límites de cada servicio.
¿Cuánta RAM debería reservar para las demás aplicaciones?
Reserva suficiente memoria RAM para el sistema operativo del NAS, la caché del sistema de archivos, las bases de datos, los servicios multimedia, las copias de seguridad y los contenedores habituales antes de asignarle memoria al LLM. No dimensionas el modelo según la RAM total, sino según la RAM disponible después de dejar margen para los servicios esenciales.
¿Puede un LLM local interrumpir mis otros contenedores Docker?
Puede interferir con ellos si consume demasiados recursos de memoria o CPU, E/S de disco o espacio de almacenamiento. Puede que no los «rompa» directamente, pero puede causar ralentizaciones, bucles de reinicio, errores por falta de memoria (OOM), copias de seguridad fuera de plazo u operaciones de base de datos fallidas si se implementa sin límites.
¿Cuándo debería mover el LLM a una máquina independiente?
Mueve el LLM a una máquina independiente cuando necesites modelos más grandes, un contexto más amplio, varios usuarios, cargas de trabajo intensivas en GPU o respuestas rápidas que ralenticen el NAS. En ese caso, el NAS puede seguir siendo el almacenamiento y la fuente de datos, mientras que un ordenador de escritorio con GPU, un mini PC o un servidor de IA se encarga de la inferencia.
Una implementación local y segura de un LLM en un NAS empieza por establecer límites, no por dejarse llevar por el entusiasmo por los modelos. Indícale al modelo una ruta conocida, establece límites de recursos para el contenedor, protege las aplicaciones críticas y las copias de seguridad, y verifica todo el servidor después de la primera solicitud. La implementación solo tiene éxito cuando el LLM funciona y el NAS sigue comportándose como un NAS fiable.
Soporte y consejos
Más para leer

Qué comprobar antes de cargar un modelo de la comunidad en Transformers
Usa la actualización del entorno aislado de Jinja para Transformers para revisar la procedencia del modelo, las plantillas de chat, el código remoto, los...

Ejecuta Mirage localmente: OCR y detección de objetos a partir de una sola imagen
Prueba el pequeño modelo de visión local de Cactus Compute, valida el OCR y la extracción de objetos con datos reales y comprende las...

Cómo programar un agente de programación en Open WebUI en un servidor doméstico
Configura una automatización de agente de programación solo para informes en Open WebUI, selecciona su terminal y espacio de trabajo, y verifica los permisos,...



