Cómo ejecutar Qwen3.8-27B localmente: RAM, VRAM, cuantización y guía de Ollama

Qwen3.8-27B es excepcionalmente práctico para un modelo de esta clase de capacidad. El lanzamiento oficial corresponde a un modelo denso de visión y lenguaje de 27B con una ventana de contexto nativa de 262.144 tokens, mientras que las compilaciones GGUF actuales de cuatro bits ocupan aproximadamente 16–18 GB. Esto hace que la inferencia local útil esté al alcance de una sola GPU NVIDIA de 24 GB, un sistema de memoria unificada de alta capacidad o incluso una máquina centrada en la CPU con suficiente RAM, aunque esas tres configuraciones ofrecen velocidades muy diferentes.

Para la mayoría de los usuarios locales, el mejor punto de partida es una compilación de clase Q4 con al menos 32 GB de RAM del sistema, o una GPU de 24 GB si quieres que el modelo resida casi por completo en la GPU. Pero el tamaño del modelo es solo una parte del cálculo del hardware. Un contexto largo consume memoria adicional, la entrada multimodal añade un componente visual, las cuantizaciones agresivas de 1 y 2 bits intercambian calidad por capacidad, y la elección entre Ollama, llama.cpp, vLLM y otros entornos de ejecución puede cambiar tanto la compatibilidad como el rendimiento. Esta guía separa esas variables para que puedas elegir el hardware y la cuantización partiendo de la carga de trabajo.

¿Puedes ejecutar Qwen3.8-27B localmente?

Sí. Qwen3.8-27B es uno de los modelos Qwen de alta capacidad más realistas para ejecutar en hardware de consumo. A diferencia de Qwen3.8-Flash-Next, que utiliza una arquitectura dispersa mucho mayor, Qwen3.8-27B es un modelo denso convencional de 27B. La cuantización puede reducir su punto de control oficial de aproximadamente 55,6 GB a unos 16–18 GB con una precisión de cuatro bits.

La ficha oficial del modelo Qwen3.8-27B describe un modelo de 64 capas con comprensión nativa de imágenes y vídeos, control flexible del razonamiento y una ventana de contexto de 262.144 tokens que puede ampliarse hasta un millón de tokens. Qwen publicó el modelo el 14 de agosto de 2026 bajo la licencia Apache 2.0.

La distinción importante en el hardware local es que un modelo denso de 27B almacena y utiliza todos los pesos de su modelo de lenguaje, en lugar de activar un pequeño subconjunto de expertos MoE. Por tanto, la cuantización afecta directamente a la cantidad de RAM o VRAM que necesitas.

El primer error que hay que evitar es considerar que «cabe» y que «funciona bien» son la misma cosa. Un GGUF de 17 GB puede caber en 32 GB de RAM convencional, pero la inferencia mediante CPU sobre DDR5 es fundamentalmente distinta de colocar el mismo modelo en 24 GB de memoria de GPU de gran ancho de banda.

¿Cuánta RAM necesita Qwen3.8-27B?

32 GB de RAM del sistema es el punto de partida práctico para una implementación Q4 normal. Dieciséis gigabytes pueden alojar técnicamente algunas versiones de muy pocos bits, pero dejan poco margen para el sistema operativo, el estado del contexto, los búferes de ejecución, el procesamiento de visión y otras aplicaciones.

El repositorio oficial del modelo ocupa aproximadamente 55,6 GB. Sin embargo, para la inferencia local, la mayoría de los usuarios elegirá un formato GGUF u otra representación cuantizada en lugar de cargar los pesos BF16 originales.

El repositorio actual de Qwen3.8-27B GGUF de Unsloth ofrece una visión útil del rango de memoria:

Estos valores de RAM son rangos orientativos, no requisitos mínimos oficiales de hardware de Qwen. El archivo del modelo no representa todo el consumo de memoria de la inferencia. El sistema también necesita memoria para el estado de ejecución, el contexto, el sistema operativo y, en cargas de trabajo multimodales, la ruta de visión.

Por ese motivo, 32 GB es la base razonable para Q4, mientras que 64 GB es una configuración de IA local mucho más flexible. La memoria adicional permite aumentar el contexto, ejecutar otros servicios junto al modelo, probar versiones Q6 o Q8 y evitar operar cerca del límite de memoria física del sistema.

¿Cuánta VRAM necesita Qwen3.8-27B?

Si utilizas una GPU dedicada, la respuesta más útil depende de la cuantización que quieras mantener en la VRAM.

La compilación estándar de Ollama es actualmente un modelo Q4_K_M de aproximadamente 18 GB. Ollama lo identifica como una arquitectura qwen35 de 27,3 mil millones de parámetros e incluye un proyector de visión BF16 independiente de 461 millones de parámetros. Puedes consultar la compilación actual en la página del modelo Qwen3.8-27B de Ollama.

Esto hace que las tarjetas antiguas de 24 GB resulten especialmente interesantes. Una RTX 3090 tiene suficiente capacidad de VRAM para una compilación Qwen3.8-27B de clase Q4, aunque tenga varias generaciones de antigüedad. Lo mismo ocurre con una RTX 4090, mientras que los 32 GB de la RTX 5090 ofrecen mucho más margen para una mayor precisión o un contexto más amplio.

El rendimiento real depende de mucho más que de la capacidad de VRAM. El ancho de banda de la memoria, los kernels, el formato de cuantización, el entorno de ejecución, la decodificación especulativa, el formato de la caché KV, la longitud del prompt y los límites de potencia pueden cambiar los tokens por segundo.

¿Puede una RTX 3090 o RTX 4090 ejecutar Qwen3.8-27B?

Sí. Una RTX 3090 o RTX 4090 de 24 GB es, posiblemente, una de las configuraciones de una sola GPU más naturales para Qwen3.8-27B Q4.

Esto ya no es simplemente una estimación de capacidad. Las primeras pruebas de la comunidad han producido varios ejemplos concretos. Un usuario de una RTX 3090 informó que ejecutaba Q4_K_M con MTP y una ventana de contexto de 64K para una carga de trabajo de programación agéntica. Otro ejecutó Qwen3.8-27B en una sola RTX 4090 con descarga completa de las capas a la GPU y una configuración de 160K tokens, e informó de aproximadamente 47–57 tokens por segundo en esa configuración concreta.

Una prueba comunitaria con una sola RTX 4090 resulta especialmente útil porque ilustra la relación entre los pesos del modelo y el contexto: que un modelo de aproximadamente 17 GB quepa en 24 GB de VRAM no significa que los 7 GB restantes puedan ignorarse. Las opciones de ejecución y de contexto determinan si ese margen es suficiente.

Otro ejemplo de programación con Q4 en una RTX 3090 utilizó un contexto de 64K y 64 GB de RAM del sistema. Son configuraciones individuales de la comunidad, no pruebas comparativas estandarizadas de Qwen, pero demuestran que las tarjetas de 24 GB son realmente útiles y no simples objetivos teóricos.

Para un usuario normal que empieza hoy, Q4 en una tarjeta de 24 GB es una configuración más defendible que intentar maximizar la precisión de la cuantización. Dejar varios gigabytes de VRAM disponibles para el contexto, las asignaciones del tiempo de ejecución, el procesamiento de visión y el uso del escritorio suele ser más importante que hacer caber una cuantización ligeramente mayor en la GPU.

¿Puede una RTX 5090 ejecutar Qwen3.8-27B localmente?

Sí, y sus 32 GB de VRAM abren muchas más opciones que una tarjeta de 24 GB. El enfoque sencillo consiste en ejecutar Q4, Q5 o Q6, conservando más memoria para el contexto y la caché. Las pilas de inferencia más experimentales ya están llegando mucho más lejos.

Por ejemplo, un despliegue reciente de la comunidad utilizó una compilación NVFP4 de Qwen3.8-27B en una sola RTX 5090, junto con una caché KV comprimida y decodificación especulativa DFlash2. El autor informó de un contexto completo de 262K y un rendimiento agregado muy alto bajo concurrencia. Otra prueba informó de un uso aproximado de 24,5 GB de VRAM cerca de la ventana de contexto completa del modelo tras aplicar una pila de inferencia especializada.

Esos resultados son demostraciones útiles de hasta dónde puede llegar la inferencia optimizada, pero no deben considerarse un rendimiento normal de Ollama. Dependen de formatos de cuantización específicos, rutas de ejecución personalizadas o que cambian rápidamente, formatos de caché comprimidos y decodificación especulativa.

La conclusión práctica es más sencilla: 32 GB de VRAM dan a Qwen3.8-27B suficiente espacio para que el contexto largo se convierta en un problema de ajuste y no en un problema básico de que el modelo quepa.

¿Qué cuantización de Qwen3.8-27B deberías usar?

Para la mayoría de los usuarios locales, Q4 sigue siendo el mejor punto de partida. Bajar más reduce rápidamente el consumo de memoria, pero la cuantización no perjudica por igual todas las capacidades. La programación agéntica, el razonamiento prolongado de varios pasos, el uso de herramientas y el trabajo multimodal son precisamente los tipos de tareas en los que preservar la calidad del modelo puede justificar varios gigabytes adicionales.

La compilación extremadamente pequeña de un bit resulta interesante porque comprime un modelo 27B hasta aproximadamente 6–7 GB, pero eso no la convierte en la opción obvia para el trabajo real. Si tu objetivo es simplemente demostrar que Qwen3.8-27B puede ejecutarse con muy poca memoria, resulta útil. Si tu objetivo es programar, ejecutar agentes, trabajar con documentos o utilizar herramientas de forma fiable, conservar más precisión suele ser una mejor opción.

Una regla útil es:

Elige la cuantización de mayor calidad que aún deje suficiente memoria para el contexto y la carga de trabajo que realmente pretendas utilizar.

No elijas una cuantización de 22 GB solo porque tu tarjeta tiene 24 GB para descubrir después que casi no queda espacio para el resto de la inferencia.

¿Cuánta memoria necesita un contexto de 262K?

Qwen3.8-27B admite una longitud de contexto nativa de 262.144 tokens, pero no necesitas asignar un contexto de 262K solo porque el modelo lo admita.

Este modelo utiliza una arquitectura de atención híbrida. La configuración oficial alterna capas Gated DeltaNet con capas Gated Attention periódicas, en lugar de utilizar atención completa convencional en cada capa. Esto ayuda a que los contextos muy extensos sean más manejables que en un transformador 27B convencional.

No hace que el contexto extenso sea gratuito.

El estado del entorno de ejecución, el estado de atención o recurrente, la caché KV cuando corresponda, la decodificación especulativa, los datos multimodales, el procesamiento por lotes y los búferes específicos del backend consumen memoria adicional más allá de los pesos del modelo. La cuantización de la caché puede reducir este requisito, pero también puede introducir sus propios compromisos de calidad o rendimiento.

Una ventana de contexto de 262K resulta especialmente atractiva para programar a nivel de repositorio, analizar documentos privados, trabajar con grandes colecciones de investigación y gestionar historiales extensos de agentes. Sin embargo, reservar el contexto máximo para una conversación de cinco mensajes desperdicia memoria que podría utilizarse para una cuantización mejor, otros servicios locales o solicitudes simultáneas adicionales.

Cómo ejecutar Qwen3.8-27B localmente con Ollama

Para la mayoría de los usuarios, Ollama es la opción más sencilla porque ya publica una compilación de Qwen3.8-27B con compatibilidad con visión, herramientas y razonamiento.

The current default model is approximately 18GB and uses Q4_K_M quantization.

El modelo predeterminado actual ocupa aproximadamente 18 GB y utiliza cuantización Q4_K_M.

ollama run qwen3.8:27b

Ese comando descarga el modelo si aún no está presente y abre una sesión interactiva.

Puedes confirmar que el modelo está instalado con:

ollama list

Para las aplicaciones que necesitan una API local, Ollama expone su servicio local en el endpoint de API habitual. Una solicitud básica tiene este aspecto:
  curl http://localhost:11434/api/chat \
    -d '{
    "model": "qwen3.8:27b",
      {
        "messages": [
        "role": "user",
      }
    ]
  }'

"content": "Explica las instantáneas de ZFS en un lenguaje sencillo."

El razonamiento está activado de forma predeterminada en Qwen3.8. Para tareas breves de extracción, clasificación, formato o asistencia sencilla, desactivar o reducir el razonamiento puede mejorar la latencia percibida. Para tareas complejas de programación y de agentes, el razonamiento adicional puede compensar los tokens adicionales. El propio Qwen advierte que reducir el esfuerzo de razonamiento no necesariamente reduce el tiempo total de finalización en tareas agenticas largas: un análisis más débil puede provocar intentos y llamadas a herramientas adicionales. La tarjeta oficial del modelo admite actualmente, medio, y bajo niveles de esfuerzo de razonamiento, aunque los controles exactos varían según el framework de inferencia.

Cómo ejecutar Qwen3.8-27B con llama.cpp

llama.cpp te ofrece más control sobre la elección de GGUF, la descarga a la GPU, el contexto y el servicio local.

Las compilaciones actuales de Unsloth pueden iniciarse directamente desde Hugging Face con una versión reciente de llama.cpp:

llama cli \
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M

Para exponer el modelo como servidor local compatible con OpenAI:

llama serve \
  -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M

Las instrucciones actuales de implementación de GGUF también documentan Ollama, LM Studio, Jan, Pi, OpenClaw, Hermes Agent y otras interfaces compatibles.

Si Qwen3.8-27B falla con un error que menciona un qwen35 arquitectura, actualiza llama.cpp o la aplicación basada en llama.cpp antes de dedicar tiempo a depurar el archivo del modelo. La arquitectura híbrida de Qwen requiere compatibilidad con runtimes recientes.

Este punto es importante porque el propio Qwen recomienda usar versiones actuales de los frameworks. La tarjeta oficial del modelo señala que la eficiencia de la inferencia varía considerablemente entre frameworks y recomienda motores de servicio dedicados, como vLLM, SGLang o TokenSpeed, para producción y cargas de trabajo de alto rendimiento.

¿Deberías usar Ollama, llama.cpp, vLLM o SGLang?

Para una sola persona que ejecute el modelo en una estación de trabajo para juegos, Ollama o llama.cpp suele ser el punto de partida adecuado. Un servidor de IA local multiusuario, un equipo de programación o un backend de aplicaciones pueden beneficiarse más de vLLM o SGLang.

¿Puede Qwen3.8-27B ejecutarse en Apple Silicon?

Sí. Apple Silicon es una opción interesante porque la CPU y la GPU comparten un único conjunto de memoria unificada. Un Mac de 32 GB o más puede albergar un Qwen3.8-27B de clase Q4 sin dividir la capacidad del modelo entre conjuntos separados de RAM del sistema y VRAM.

Sin embargo, la capacidad no equivale a la velocidad de inferencia al estilo de NVIDIA. El rendimiento depende en gran medida del backend Metal, el ancho de banda de memoria, la configuración de la GPU y el grado de madurez de los kernels del runtime para la arquitectura híbrida de Qwen3.8.

Un Mac con memoria unificada de 32 GB debe considerarse principalmente como una opción con capacidad para Q4. Un sistema de 64 GB o más ofrece mucha más flexibilidad para Q6/Q8, contextos más largos y mantener abiertas otras aplicaciones. Las configuraciones de Mac Studio con mucha memoria pueden ejecutar las representaciones originales o de mayor precisión del modelo, que no caben en las GPU de consumo normales, aunque una mayor capacidad no produce automáticamente una mayor velocidad de generación de tokens.

¿Puede Qwen3.8-27B ejecutarse en AMD Strix Halo?

Sí. Los sistemas Strix Halo con mucha memoria son especialmente relevantes porque las plataformas Ryzen AI Max pueden asignar una gran parte de la memoria unificada del sistema a la GPU integrada.

Esto hace que una máquina Strix Halo de 64 GB o 128 GB sea fundamentalmente distinta de un portátil tradicional con iGPU, que puede acceder a la RAM del sistema, pero tiene un ancho de banda de memoria y unos recursos de GPU limitados. Qwen3.8-27B Q4 cabe fácilmente desde el punto de vista de la capacidad, y los sistemas con más memoria pueden usar una cuantización menos agresiva y mantener espacio para un contexto amplio.

La contrapartida vuelve a ser el ancho de banda y la madurez del backend. Una RTX 4090 o RTX 5090 dedicada puede ofrecer un ancho de banda de memoria de GPU mucho mayor, mientras que una máquina con memoria unificada proporciona una mayor capacidad compartida sin transferencias PCIe entre la memoria de la CPU y la VRAM.

Esto da lugar a dos estrategias válidas para la IA local:

Estrategia de GPU dedicada: maximizar la velocidad de inferencia dentro de un conjunto relativamente pequeño de 24–32 GB de VRAM de gran ancho de banda.

Estrategia de memoria unificada: cambiar algo de velocidad bruta de GPU por un conjunto mucho mayor que pueda albergar modelos de mayor precisión y cargas de trabajo más grandes.

¿Qué hardware deberías comprar para Qwen3.8-27B?

Si Qwen3.8-27B es el objetivo y no simplemente uno de muchos modelos, no es necesario pasar de inmediato a hardware de clase servidor. La cuantización de cuatro bits sitúa el modelo claramente en el ámbito de los equipos de consumo de gama alta.

Si ya tienes una RTX 3090, es difícil justificar sustituirla únicamente porque exista Qwen3.8-27B. Sus 24 GB de memoria de vídeo están justo en el rango de capacidad donde Q4 resulta práctico. Una GPU más nueva puede ofrecer mejor eficiencia y velocidad, pero la capacidad de memoria de la tarjeta antigua sigue siendo muy valiosa para trabajar con LLM locales.

Si vas a comprar un sistema desde cero, piensa más allá del modelo en sí. Una máquina de IA local también necesita espacio para variantes del modelo, embeddings, índices RAG, repositorios de código fuente, documentos, imágenes y espacios de trabajo de los agentes. Varios archivos de modelo de 15–30 GB pueden convertirse rápidamente en cientos de gigabytes.

Ahí es donde la arquitectura local en primer lugar cobra importancia. La GPU o el equipo con memoria unificada de gran ancho de banda puede encargarse de la inferencia, mientras que el almacenamiento local rápido guarda los archivos del modelo y los datos de trabajo privados. Una capa de almacenamiento autoalojada puede conservar por separado bibliotecas de documentos, conjuntos de datos, copias de seguridad y archivos accesibles para los agentes, sin obligar a que cada byte se almacene en el SSD interno de la estación de trabajo de IA.

¿Es Qwen3.8-27B lo bastante bueno para ejecutarlo como agente local de programación o de IA?

Esta es la pregunta más interesante que si el modelo simplemente se carga.

Qwen posiciona Qwen3.8-27B específicamente para programación, trabajo profesional, investigación y tareas de agentes de larga duración. En la evaluación propia de Qwen, el modelo obtiene 61.7 en SWE-bench Pro y 73.0 en Terminal Bench 2.1, con mejoras significativas respecto a Qwen3.6-27B. Esos son resultados de benchmarks comunicados por el proveedor y no deben considerarse una garantía directa para todos los flujos de trabajo de programación local, pero explican por qué el interés de la comunidad se centra principalmente en los agentes y no en el chat convencional.

El modelo también admite comprensión nativa de imágenes y vídeos. Esto es importante para los agentes locales porque las capturas de pantalla, los diagramas, los documentos escaneados, las interfaces web y la depuración visual pueden seguir formando parte del mismo flujo de trabajo del modelo, en lugar de enviarse a una API de visión en la nube independiente.

Los experimentos recientes de la comunidad ya utilizan Qwen3.8-27B con entornos de programación y largas cadenas de llamadas a herramientas en GPU individuales de 24 GB. Esa combinación —capacidades de agente útiles junto con un modelo de aproximadamente 17 GB en cuatro bits— es más importante para la IA local que una pequeña mejora en un benchmark de chat genérico.

Traslada una clase de flujos de trabajo que antes orientaba a los usuarios hacia modelos de frontera alojados a un hardware que puede colocarse debajo de un escritorio y operar con archivos privados sin cargos por tokens medidos.

¿Deberías ejecutar Qwen3.8-27B localmente?

Qwen3.8-27B es una opción local especialmente sólida si ya tienes 24 GB de memoria de GPU o al menos entre 32 y 64 GB de memoria del sistema o unificada de gran ancho de banda. El modelo Q4 es lo bastante pequeño para resultar realmente práctico y, al mismo tiempo, conserva un perfil de capacidades orientado a la programación, la visión, las herramientas y los agentes de larga duración.

El modelo resulta menos atractivo en una máquina que necesita una cuantización de 1 o 2 bits simplemente para que quepa. En ese caso, usar un modelo más pequeño con una cuantización de mayor calidad puede ofrecer una experiencia general mejor. Del mismo modo, tiene poco sentido reservar un contexto de 262K para cargas de trabajo que normalmente solo utilizan unos pocos miles de tokens.

Por lo tanto, la mejor configuración no es el archivo más pequeño que se inicia correctamente. Para la mayoría de los usuarios, es Q4, con suficiente RAM o VRAM para evitar descargas constantes, un límite de contexto adaptado a la tarea y un entorno de ejecución de inferencia actualizado.

Eso es lo que distingue a Qwen3.8-27B de modelos abiertos recientes mucho más grandes. No solo es técnicamente posible ejecutarlo localmente. Se encuentra en un rango de hardware en el que una estación de trabajo de gama alta normal puede ejecutar una versión útil sin convertir la propia implementación en el proyecto.

Preguntas frecuentes: Ejecutar Qwen3.8-27B localmente

¿Cuánta RAM necesito para Qwen3.8-27B?

Para la mayoría de los usuarios, 32 GB de RAM es el mínimo práctico para una implementación Qwen3.8-27B de clase Q4. Los archivos GGUF Q4 actuales ocupan aproximadamente entre 16 y 18 GB. Un sistema con 64 GB ofrece mucho más margen para el contexto, cuantizaciones de mayor calidad, otras aplicaciones y servicios de IA locales.

¿Puede Qwen3.8-27B ejecutarse con 16 GB de RAM?

Sí, pero solo con una cuantización agresiva, como Q2 o inferior. Las compilaciones Q2 actuales ocupan menos de 10 GB, mientras que las variantes de un bit rondan entre 6 y 7 GB. Que el modelo quepa no garantiza una calidad equivalente, especialmente en programación, tareas agénticas y tareas de razonamiento prolongado.

¿Son suficientes 24 GB de VRAM para Qwen3.8-27B?

Sí. Una GPU de 24 GB es uno de los objetivos prácticos más recomendables para Qwen3.8-27B. Las compilaciones Q4 actuales ocupan aproximadamente entre 16 y 18 GB, lo que deja varios gigabytes para el contexto y el estado del entorno de ejecución. Los usuarios de RTX 3090 y RTX 4090 ya han informado de implementaciones Q4 completamente en la GPU, aunque el contexto utilizable depende del entorno de ejecución exacto y de la configuración de la caché.

¿Puede una RTX 4090 ejecutar Qwen3.8-27B?

Sí. Los 24 GB de VRAM de la RTX 4090 pueden alojar un modelo de clase Q4 y ofrecen una configuración sólida con una sola GPU. Usuarios de la comunidad han informado de una descarga completa en la GPU y funcionamiento con contextos largos en una sola tarjeta. La velocidad exacta de generación de tokens varía considerablemente según el entorno de ejecución, la cuantización, el contexto y la decodificación especulativa.

¿Puede una RTX 3090 ejecutar Qwen3.8-27B?

Sí. Sus 24 GB de VRAM son suficientes para Q4, aunque la RTX 3090 sea una GPU más antigua. Ejemplos recientes de la comunidad incluyen Q4_K_M ejecutándose en una sola RTX 3090 para cargas de trabajo de programación y agentes. La tarjeta sigue siendo especialmente útil para la IA local gracias a su gran capacidad de memoria.

¿Puede Qwen3.8-27B ejecutarse en una RTX 5090?

Sí. Los 32 GB de VRAM de la RTX 5090 ofrecen capacidad suficiente para Q4, Q5, Q6 o configuraciones más exigentes de contexto largo. Las implementaciones experimentales con NVFP4 y decodificación especulativa ya demuestran un rendimiento considerablemente mayor, pero esos resultados no deben confundirse con el rendimiento predeterminado de Ollama.

¿Cuál es la mejor cuantización de Qwen3.8-27B?

Q4_K_M es la opción predeterminada más segura para la mayoría de los usuarios locales, ya que mantiene el modelo en torno a 16–18 GB y conserva mucha más calidad que las versiones extremas de pocos bits. Los usuarios con más memoria pueden pasar a Q5, Q6 o Q8, mientras que los sistemas más limitados quizá necesiten Q3 o Q2.

¿Cuánto ocupa Qwen3.8-27B?

El repositorio oficial de Hugging Face ocupa actualmente unos 55,6 GB. Las versiones comunitarias en GGUF van desde aproximadamente 6 GB con una cuantización extrema de un bit hasta 29 GB para Q8_0. El paquete Q4_K_M predeterminado actual de Ollama ocupa aproximadamente 18 GB e incluye un proyector de visión.

¿Qwen3.8-27B admite visión localmente?

Sí. Qwen3.8-27B es un modelo nativo de visión y lenguaje, no un LLM de solo texto. El paquete actual de Ollama incluye un proyector de visión de aproximadamente 461 millones de parámetros. Por lo tanto, la comprensión de imágenes está disponible en los flujos de trabajo locales compatibles, mientras que la compatibilidad exacta con vídeo aún depende del entorno de ejecución y de la interfaz.

¿Qwen3.8-27B realmente admite un contexto de 262K localmente?

El modelo admite de forma nativa 262.144 tokens, pero el hardware local debe tener suficiente memoria para el estado de ejecución correspondiente, y el backend de inferencia debe admitir la configuración de manera eficiente. No necesitas usar toda la ventana de contexto; 32K o 64K suele ser una configuración más práctica para programación local y cargas de trabajo con agentes.

¿Debería usar Ollama o llama.cpp para Qwen3.8-27B?

Usa Ollama si quieres la instalación más sencilla y una API local. Usa llama.cpp si quieres controlar directamente la selección de GGUF, la descarga a la GPU, el contexto y los ajustes detallados de ejecución. Para servir en producción con GPU o gestionar concurrencia, vLLM y SGLang también son opciones compatibles oficialmente.

¿Es más fácil ejecutar Qwen3.8-27B localmente que Qwen3.8-Flash-Next?

Sí, por un amplio margen. Qwen3.8-27B es un modelo denso de 27B, con versiones Q4 de aproximadamente 16–18 GB. Qwen3.8-Flash-Next contiene un estado del modelo mucho mayor, y las versiones actuales de clase de cuatro bits se acercan o superan aproximadamente los 100 GB. Flash-Next es un experimento para estaciones de trabajo con mucha memoria; Qwen3.8-27B es un objetivo realista para estaciones de trabajo de consumo.