GLM 5.3 frente a Kimi K3: ¿cuál funciona mejor de forma local?

GLM-5.3-Flash y Kimi K3 son modelos de pesos abiertos a escala de frontera, basados en arquitecturas dispersas de mezcla de expertos, con capacidades multimodales y ventanas de contexto muy extensas. Sobre el papel, parecen competidores naturales. Sin embargo, para la implementación local, la posición en las evaluaciones comparativas importa menos que una pregunta más práctica: ¿cuánto hardware se necesita para almacenar, cargar y servir los pesos publicados?

La diferencia es considerable. GLM-5.3-Flash tiene unos 320 mil millones de parámetros totales, mientras que activa aproximadamente 18 mil millones de parámetros por token. Su modelo FP8 nativo ocupa aproximadamente 306 GiB. Kimi K3 es mucho más grande, con 2,8 billones de parámetros totales y unos 104 mil millones de parámetros activados por token, lo que sitúa al modelo publicado en una categoría completamente diferente de memoria e infraestructura.

Ninguno de los dos modelos pertenece a la misma categoría que un modelo de 7B, 14B o 30B que pueda descargarse y ejecutarse cómodamente en un ordenador de escritorio normal. Pero si la pregunta es qué modelo es más realista para ejecutar en hardware que controlas personalmente, GLM-5.3-Flash es la opción más sencilla.

Por qué los parámetros activos no indican qué cabe en la memoria

El error más fácil de cometer en esta comparación es fijarse únicamente en la cantidad de parámetros activados.

GLM-5.3-Flash activa aproximadamente 18B de parámetros por cada token. Eso no significa que tenga la huella de memoria de un modelo denso normal de 18B. El enrutador selecciona solo una parte de la red de expertos para el cómputo, pero el conjunto completo de expertos debe permanecer disponible porque los tokens posteriores pueden activar expertos diferentes.

Por eso el modelo completo aún necesita aproximadamente 306 GiB para sus pesos FP8 nativos. La diferencia entre 320B de parámetros totales y 18B de parámetros activados es uno de los puntos más importantes al planificar el hardware local, la RAM y la VRAM para GLM-5.3-Flash: la activación dispersa reduce el cómputo por token, pero no hace que los expertos restantes desaparezcan del almacenamiento o la memoria.

Kimi K3 sigue el mismo principio a una escala mucho mayor. Activa aproximadamente 104.000 millones de parámetros por token, al tiempo que conserva un modelo de 2,8 billones de parámetros. Esto hace que el cálculo activo sea mucho menor que la red total, pero el sistema de inferencia sigue necesitando acceso al conjunto completo de pesos.

Por lo tanto, calcular únicamente los 104.000 millones de parámetros activos y tratar Kimi K3 como un modelo convencional de 104.000 millones de parámetros subestima considerablemente sus requisitos de implementación.

¿Qué modelo es más fácil de ejecutar localmente?

Aquí es donde la comparación se vuelve decisiva.

GLM-5.3-Flash: difícil, pero es posible experimentar con él en una estación de trabajo

El checkpoint nativo FP8 de GLM-5.3-Flash ocupa aproximadamente 306 GiB. Esto ya sitúa el modelo completo fuera del alcance de los PC convencionales, los Mac y los sistemas tradicionales con una sola GPU.

Sin embargo, una ruta híbrida documentada entre CPU y GPU cambia lo que puede significar «local». En lugar de forzar que todo el modelo entre en la memoria de la GPU, parte de los datos de los expertos puede permanecer en la memoria principal de gran capacidad, mientras los recursos de GPU compatibles aceleran partes seleccionadas de la inferencia.

Esto no convierte a GLM-5.3-Flash en un modelo normal para PC gaming. Desplaza el objetivo de implementación de «solo clústeres de GPU empresariales» hacia una «estación de trabajo especializada con mucha memoria» para la experimentación. Un sistema de esta categoría aún necesita una capacidad de RAM muy elevada, suficiente ancho de banda de memoria, instrucciones de CPU compatibles, GPU compatibles y suficiente espacio de almacenamiento para el checkpoint y los archivos del tiempo de ejecución.

Kimi K3: lo local se convierte rápidamente en escala de clúster

Kimi K3 parte de una huella física mucho mayor. Sus 2,8 billones de parámetros totales sitúan los pesos publicados en aproximadamente 1,5 TB antes de considerar la sobrecarga del tiempo de ejecución, la caché, los búferes de comunicación y otros estados necesarios para servir el modelo.

Esto cambia el problema de «¿cuánta RAM puede albergar una estación de trabajo?» a «¿qué tipo de topología de aceleradores y arquitectura de memoria puede mover este modelo de forma eficiente?». Por ello, los límites de la implementación local de Kimi K3 dependen no solo de la capacidad bruta, sino también del número de aceleradores, el paralelismo de expertos, la comunicación entre nodos y el ancho de banda de la memoria.

Técnicamente, es posible experimentar con una descarga agresiva a la RAM, SSD o almacenamiento en red, pero hay una gran diferencia entre cargar un checkpoint y ejecutarlo de forma interactiva. Cuando los pesos de expertos de gran tamaño tienen que moverse repetidamente por medios de almacenamiento e interconexiones más lentos, el ancho de banda puede convertirse en el cuello de botella mucho antes de que se agote la capacidad del disco.

¿GLM-5.3-Flash triunfa en las GPU de consumo?

No exactamente.

Una única RTX 4090 o RTX 5090 no puede contener en la VRAM el punto de control completo de GLM-5.3-Flash. Cualquier alternativa local con una sola GPU depende de un diseño híbrido en el que una parte muy grande del modelo permanece en la memoria del sistema.

Por tanto, la conclusión correcta no es:

«GLM-5.3-Flash se ejecuta en una GPU para juegos».

Es:

«GLM-5.3-Flash puede utilizar una GPU compatible de clase de consumo como parte de un sistema especializado de inferencia híbrida con gran capacidad de memoria».

Esa distinción importa porque la GPU es solo una parte del presupuesto de hardware. La capacidad de la CPU, la capacidad de la RAM, el ancho de banda de la RAM, el ancho de banda de PCIe, la longitud del contexto y la configuración del entorno de ejecución pueden determinar si el modelo simplemente se puede cargar o si realmente se puede utilizar.

Kimi K3 está aún más lejos de una implementación normal con una GPU de consumo. El modelo completo es tan grande que añadir una o dos GPU de gama alta no cambia de forma significativa el problema general de memoria. A escala completa, encaja mejor en entornos empresariales con varios aceleradores o de servicio distribuido.

¿Cuánto almacenamiento deberías prever?

El almacenamiento por sí solo ya muestra lo diferentes que son estos dos modelos.

En el caso de GLM-5.3-Flash, aproximadamente 306 GiB corresponden únicamente a la huella nativa de los pesos en FP8. Un sistema funcional también necesita espacio para las descargas del modelo, las imágenes de contenedor, las cachés de paquetes, los registros, los archivos temporales y, posiblemente, puntos de control alternativos. Por tanto, reservar exactamente el tamaño del punto de control no es suficiente.

Kimi K3 requiere mucho más margen. Una vez que el modelo publicado ocupa aproximadamente 1,5 TB, varias versiones del modelo, entornos de ejecución, descargas temporales y cachés pueden elevar rápidamente el consumo total de almacenamiento a varios terabytes.

Un NAS puede ser útil para almacenar los pesos de cualquiera de los dos modelos, conjuntos de datos, corpus de RAG, registros y copias de seguridad. Pero almacenar un modelo no equivale a servirlo. El rendimiento de inferencia depende de la rapidez con la que los pesos necesarios llegan a la memoria de la CPU o del acelerador durante la generación.

¿Qué ocurre con la ventana de contexto de un millón de tokens?

Ambos modelos admiten longitudes de contexto de aproximadamente un millón de tokens, pero esta cifra debe considerarse una capacidad máxima, no un valor predeterminado razonable para una implementación local.

Un contexto más largo aumenta el trabajo de preprocesamiento, el estado de atención, el uso de la caché y la presión sobre la memoria. La concurrencia multiplica el problema, porque el servidor debe conservar el estado de varias solicitudes activas al mismo tiempo. Las indicaciones multimodales añaden otra capa de recursos mediante la codificación de imágenes o vídeos.

Por lo tanto, una implementación local práctica debería comenzar con un contexto mucho más corto, un tamaño de lote de uno, baja concurrencia y solicitudes de solo texto. Una vez comprendidos el uso de memoria y la latencia, la longitud del contexto y las entradas multimodales pueden aumentarse gradualmente.

¿Cuál es mejor para un laboratorio doméstico?

Si por «laboratorio doméstico» entendemos un servidor normal con 32 GB, 64 GB, 128 GB o incluso 256 GB de RAM y una GPU de consumo, la respuesta es sencilla: ninguno de los dos modelos completos encaja de forma natural.

Un servidor doméstico es más útil como infraestructura de apoyo para la IA. Puede almacenar documentos privados y archivos de modelos, alojar una base de datos vectorial, mantener un índice RAG, ejecutar una interfaz de aplicación, gestionar la autenticación, administrar los datos de los usuarios, ejecutar modelos locales más pequeños y derivar la inferencia más exigente a otra máquina o API.

Esta separación suele ser mejor que intentar concentrar todas las partes de la pila de IA en un solo equipo. El almacenamiento, la recuperación, las aplicaciones, la orquestación y la inferencia tienen requisitos de hardware diferentes, y no hay razón para que deban ejecutarse todas en la misma máquina.

Para los usuarios que puedan construir una estación de trabajo especializada con cientos de gigabytes de RAM y hardware compatible de CPU y GPU, GLM-5.3-Flash se vuelve considerablemente más viable. Kimi K3 sigue estando mucho más cerca del ámbito de los centros de datos a escala completa.

GLM 5.3 frente a Kimi K3: ¿cuál es más rápido localmente?

No existe una única cifra de tokens por segundo que responda de forma justa a esta pregunta.

El rendimiento depende de dónde residan los pesos, qué acelerador se utilice, el ancho de banda de la memoria, la longitud del contexto, la concurrencia, el entorno de ejecución, la cuantización y la cantidad de datos que deba moverse entre la CPU, la GPU, el almacenamiento o varios nodos.

Un clúster Kimi K3 completamente residente en GPU podría superar a una estación de trabajo con GLM-5.3-Flash descargado en gran medida. Eso no haría que Kimi K3 fuera más fácil de ejecutar localmente; simplemente significaría que se le habría asignado un hardware mucho más caro.

Bajo la restricción más útil de lo difícil que es para una persona o un laboratorio pequeño alojar por sí mismos el modelo completo publicado, GLM-5.3-Flash ofrece una mejor posición para la implementación local porque su punto de control es mucho más pequeño y existe una ruta híbrida documentada con mucha RAM.

GLM 5.3 frente a Kimi K3: ¿cuál deberías elegir?

Elige GLM-5.3-Flash si tu prioridad es experimentar con un modelo abierto de escala de vanguardia en hardware que controlas personalmente y estás preparado para construir un sistema especializado con mucha memoria. Su punto de control FP8 de aproximadamente 306 GiB sigue siendo enorme, pero está mucho más cerca de la experimentación a escala de estación de trabajo que Kimi K3.

Elige Kimi K3 si tienes acceso a una infraestructura empresarial de aceleradores y quieres trabajar con su arquitectura, mucho más grande, de 2,8 billones de parámetros. A escala completa, sus requisitos de memoria y topología lo hacen mucho más apropiado para una implementación con varias GPU o distribuida.

Para los usuarios habituales de IA local, ninguno de los dos modelos debería ser la opción predeterminada. Un modelo cuantizado más pequeño normalmente ofrecerá un mejor equilibrio entre latencia, consumo de energía, uso de memoria, fiabilidad y coste.

Preguntas frecuentes

¿Puede GLM-5.3-Flash ejecutarse en una RTX 4090 o RTX 5090?

No completamente en la memoria de la GPU. El checkpoint FP8 completo es mucho mayor que la VRAM de una sola GPU de consumo. Una implementación híbrida puede utilizar una GPU compatible junto con un conjunto muy grande de memoria del sistema, pero el rendimiento depende en gran medida de la capacidad de la CPU, el ancho de banda de la RAM, el ancho de banda de PCIe, la longitud del contexto y la configuración del entorno de ejecución.

¿Puede Kimi K3 ejecutarse en una sola GPU de consumo?

No en la práctica, si hablamos del modelo completo publicado. Sus requisitos de implementación, del orden de varios terabytes, superan ampliamente la capacidad de memoria de una sola GPU de consumo, y el servicio a escala completa se adapta mucho mejor a hardware empresarial con varios aceleradores o distribuido.

¿GLM-5.3-Flash es realmente un modelo de 18 mil millones?

No. Se activan alrededor de 18 mil millones de parámetros por token, pero el modelo completo contiene aproximadamente 320 mil millones de parámetros. La activación dispersa reduce el cómputo por token; no reduce el conjunto completo de pesos a 18 mil millones de parámetros.

¿Kimi K3 es realmente un modelo de 104 mil millones?

No. Se activan aproximadamente 104 mil millones de parámetros por token, pero el modelo completo contiene 2,8 billones de parámetros. Los expertos restantes siguen formando parte del checkpoint y deben permanecer accesibles para el sistema de inferencia.

¿Qué modelo necesita menos memoria?

GLM-5.3-Flash por un amplio margen. Su checkpoint nativo FP8 ocupa aproximadamente 306 GiB, mientras que Kimi K3 pertenece aproximadamente a la categoría de 1,5 TB de pesos. Ambos requieren capacidad adicional para el estado de ejecución, la caché, las activaciones y el margen operativo.

¿Qué modelo es más realista para la IA local?

GLM-5.3-Flash. Sigue estando muy por encima del hardware de escritorio convencional, pero su checkpoint más pequeño y su ruta documentada de implementación híbrida entre CPU y GPU lo hacen considerablemente más accesible para el autoalojamiento avanzado que Kimi K3.

Conclusión final

Si «se ejecuta localmente» simplemente significa que los pesos publicados pueden implementarse técnicamente en hardware bajo tu control, tanto GLM-5.3-Flash como Kimi K3 cumplen ese criterio.

Si se trata de construir un sistema autoalojado que una persona o un laboratorio pequeño pueda operar de forma realista, la diferencia es mucho más clara.

GLM-5.3-Flash es el mejor modelo local.

Sus 320 mil millones de parámetros totales y su checkpoint nativo FP8 de aproximadamente 306 GiB siguen exigiendo hardware especializado, pero dejan una vía viable para experimentar con él en estaciones de trabajo con mucha memoria.

Kimi K3 es varios niveles más grande. Sus 2,8 T de parámetros totales y su escala de pesos de aproximadamente 1,5 TB hacen que sea más adecuado entenderlo como un modelo de clúster con pesos abiertos que como un LLM local convencional.

Por lo tanto, la jerarquía práctica es sencilla: usa GLM-5.3-Flash para experimentos especializados en estaciones de trabajo, considera cualquiera de los dos modelos cuando haya infraestructura de aceleradores empresariales disponible y elige un modelo más pequeño cuando el objetivo sea un equipo de escritorio común o un servidor doméstico.