O Xiaomi AI Cube executa localmente um modelo de 120B — será este o futuro do computador pessoal com IA?

O Xiaomi AI Cube é um computador de secretária com IA, em fase de protótipo, construído em torno de uma ideia invulgar: colocar memória suficiente e capacidade de computação local especializada numa única caixa de 150 W para manter disponíveis localmente tanto um modelo de 120B como um modelo muito mais pequeno de 3B. A Xiaomi confirmou 80 GB de memória unificada, três processadores XRING — O3, O100 e D100 — e uma mudança rápida/lenta de modelo para cargas de trabalho que incluem desenvolvimento de front-end e programação complexa.

Mas «executa localmente um modelo de 120B» é uma afirmação sobre capacidade, não um benchmark de desempenho completo. A Xiaomi não publicou a topologia completa da memória do Cube, a quantização do modelo de 120B, o contexto utilizável, a velocidade de geração, a compatibilidade do software, o preço nem a data de lançamento comercial. Por enquanto, o AI Cube é mais útil como antevisão de uma nova arquitetura de computador pessoal com IA do que como um produto acabado que os compradores possam avaliar.

O que é o Xiaomi AI Cube?

O Xiaomi AI Cube é um protótipo de engenharia que combina três processadores XRING desenvolvidos internamente com 80 GB de memória unificada para inferência local de modelos de grande dimensão.

A descrição pública da Xiaomi pode ser consultada na publicação oficial sobre o protótipo AI Cube.

O número 120B chama a atenção, mas a questão mais útil é saber o que é necessário para tornar prático, numa secretária, um modelo deste tamanho.

Porque é que executar localmente um modelo de 120B é uma questão tão importante?

Um modelo com 120 mil milhões de parâmetros cria imediatamente um problema de memória.

Com precisão de 16 bits, só os pesos em bruto exigiriam aproximadamente:

120B × 2 bytes ≈ 240 GB

Com precisão de 8 bits, esse valor desce para cerca de 120 GB, enquanto os pesos de 4 bits ocupam aproximadamente 60 GB antes da sobrecarga de execução.

Isto torna plausível uma máquina de 80 GB para um modelo de 120B fortemente quantizado, mas acomodar os pesos é apenas uma parte da implementação.

A inferência também necessita de memória para:

• metadados de quantização,
• buffers de execução,
• cache KV,
• tokens de contexto,
• software de sistema,
• e potencialmente um estado multimodal.

Adaptar um modelo não é o mesmo que executá-lo a uma velocidade e num contexto úteis.

Esta é a mesma razão pela qual os requisitos práticos de hardware para IA local dependem do tamanho do modelo, da quantização, do contexto e da simultaneidade, e não de um único valor simples de RAM.

80 GB de memória unificada conseguem realmente executar um modelo de 120B?

Sim, um modelo quantizado de 120B pode plausivelmente caber num orçamento de memória da classe dos 80 GB, mas a Xiaomi ainda não divulgou informação suficiente para calcular o contexto realmente utilizável ou o débito do Cube.

As variáveis ainda sem resposta incluem:

• a versão exata do modelo de 120B,
• formato de quantização,
• comprimento de contexto utilizável,
• tempo até ao primeiro token,
• velocidade de geração,
• e se os modelos de 3B e 120B permanecem residentes simultaneamente.

Um modelo que é carregado tecnicamente, mas gera texto a uma velocidade inutilizavelmente baixa, é muito diferente de um assistente pessoal responsivo. Contextos longos e vários agentes simultâneos também podem consumir memória adicional substancial.

Essa distinção — entre o encaixe do modelo e a implementação utilizável — é especialmente importante à medida que modelos abertos maiores avançam para o hardware doméstico. Restrições semelhantes surgem nas atuais cargas de trabalho de IA em servidores domésticos, onde o simples facto de conseguir encaixar um modelo não garante uma boa experiência sempre ativa.

O Xiaomi AI Cube tem realmente 1,22 TB/s de largura de banda de memória?

A Xiaomi publicou um valor de 1,22 TB/s para a largura de banda de memória próxima do acelerador XRING O100, mas isso não prova que todo o conjunto de 80 GB de memória do AI Cube funcione a 1,22 TB/s.

Esta distinção tornou-se uma das questões técnicas mais importantes em torno do protótipo.

O O100 é apresentado como um acelerador de IA de elevada largura de banda, utilizando empilhamento tridimensional ao nível da bolacha. O D100 é um processador de IA separado, com elevada capacidade de computação e suporte para configurações de memória muito maiores, enquanto o O3 é o SoC de uso geral.

a Xiaomi ainda não publicou um diagrama dos blocos de memória que explique:

• como é distribuído o conjunto de 80 GB,
• qual chip é responsável por que memória,
• qual parte pode aceder à via de maior largura de banda do O100,
• largura de banda entre chips,
• onde estão armazenados os pesos do modelo de 120B,
• ou onde a cache KV é mantida.

As especificações dos processadores disponíveis estão resumidas em Especificações de lançamento do Xiaomi XRING.

Os utilizadores de IA local repararam quase imediatamente na mesma ambiguidade. Uma grande discussão sobre o Xiaomi AI Cube no LocalLLaMA centrou-se sobretudo na relação entre a largura de banda do O100 e o D100 e o conjunto de memória maior do Cube.

Até a Xiaomi publicar a topologia, a interpretação mais segura é simples: 1.22TB/s é uma especificação do O100, não um valor de largura de banda confirmado para cada byte dos 80GB de memória do AI Cube.

Porque é que a largura de banda da memória é importante para a IA local?

A inferência de modelos grandes move repetidamente os dados do modelo através da memória enquanto gera tokens. Isso significa que a aritmética do acelerador é apenas uma parte do desempenho.

Um dispositivo pode anunciar uns TOPS enormes e, ainda assim, ficar à espera que os dados cheguem às suas unidades de computação. A descodificação token a token pode, por isso, tornar-se fortemente dependente da largura de banda da memória.

É por isso que a arquitetura do O100 é interessante, apesar de o processo de 6 nm parecer menos avançado do que o dos chips mais recentes da Xiaomi. O seu design visa cargas de trabalho de IA de alta largura de banda e memória próxima, em vez de simplesmente maximizar o desempenho anunciado.

No caso dos LLMs locais, a largura de banda da memória pode, por vezes, dizer mais sobre a inferência prática do que um enorme número de TOPS.

Mas o desempenho real do Cube com 120B continua desconhecido até a Xiaomi publicar benchmarks ao nível do sistema, em vez de especificações de chips individuais.

Porquê executar um modelo 3B se o Xiaomi AI Cube consegue executar um modelo 120B?

O pequeno modelo 3B pode, na verdade, revelar mais sobre a arquitetura do AI Cube do que o modelo 120B, que é o principal destaque.

Usar o maior modelo disponível para cada pedido desperdiçaria latência, largura de banda da memória e energia em tarefas que não requerem raciocínio ao nível dos modelos de vanguarda.

Um modelo pequeno pode potencialmente lidar com cargas de trabalho rotineiras, como:

• deteção de intenções,
• classificação,
• encaminhamento,
• transformações curtas,
• extração de metadados,
• etiquetagem de ficheiros,
• e tarefas leves em segundo plano.

O modelo maior pode então ser reservado para tarefas mais exigentes, como programação complexa, planeamento, raciocínio difícil e síntese de textos longos.

Isso cria uma arquitetura útil:

modelo local pequeno para a carga base, modelo local maior para a escalada.

A Xiaomi confirmou a comutação rápida/lenta, mas não publicou a política de encaminhamento efetiva. Por conseguinte, seria especulativo afirmar que tarefas específicas já estão atribuídas ao modelo 3B ou 120B.

A ideia mais abrangente já é relevante para as cargas de trabalho locais e de IA de fronteira modernas: o modelo mais potente não tem de ser o padrão para todos os pedidos.

Por que razão precisa o Xiaomi AI Cube de três chips de IA diferentes?

Uma estação de trabalho de IA local convencional combina normalmente uma CPU de uso geral com RAM do sistema e uma ou mais GPUs dedicadas.

O AI Cube combina, em vez disso, três processadores com funções públicas diferentes.

Isto aponta para uma computação de IA local heterogénea: silício diferente para diferentes características das cargas de trabalho, em vez de pedir a uma única GPU de grandes dimensões que faça tudo.

No entanto, a Xiaomi não publicou um mapa de execução detalhado, chip a chip. Ainda não sabemos se o O3 executa o modelo pequeno, se o O100 trata de uma determinada fase da inferência ou se o D100 assume o caminho de execução do modelo maior.

São hipóteses de engenharia razoáveis — não detalhes de implementação confirmados.

Estará o Xiaomi AI Cube a tentar tornar-se uma alternativa ao DGX Spark?

Arquiteturalmente, o AI Cube pertence à mesma categoria emergente que o DGX Spark e os sistemas Apple Silicon com muita memória: hardware pessoal concebido para manter modelos de IA invulgarmente grandes próximos do utilizador.

Na prática, é prematuro fazer uma comparação direta.

A vantagem do DGX Spark não reside simplesmente no hardware. A NVIDIA disponibiliza CUDA, bibliotecas maduras, ambientes de execução para inferência e um ecossistema de programadores consolidado.

Isso faz com que a próxima questão sobre o AI Cube tenha menos a ver com silício e mais com software.

Que software executará realmente o Xiaomi AI Cube?

A capacidade do hardware não cria automaticamente uma plataforma de IA local útil.

Os programadores acabarão por querer respostas claras sobre o suporte para:

• llama.cpp,
• Ollama,
• vLLM,
• PyTorch,
• ambientes de desenvolvimento Linux,
• cargas de trabalho Docker ou em contentores,
• GGUF e formatos de quantização comuns,
• APIs compatíveis com a OpenAI,
• estruturas de ajuste fino,
• e os atuais sistemas de agentes.

A Xiaomi demonstrou cargas de trabalho de programação, mas não publicou uma matriz abrangente de compatibilidade de terceiros para o AI Cube.

Isto é importante porque um acelerador potente com suporte de ambiente de execução fraco pode ser menos útil do que hardware mais lento apoiado por kernels maduros, controladores estáveis, conversão fácil de modelos e uma grande comunidade de programadores.

Essa preocupação também surge repetidamente na discussão do LocalLLaMA. Os utilizadores não estão a avaliar o AI Cube apenas pelos 80 GB e 120B; estão a perguntar se a XRING consegue desenvolver o ecossistema de software necessário para tornar essas especificações úteis.

Um computador pessoal de IA precisa de uma plataforma de software, não apenas de um acelerador de IA.

O AI Cube é um PC, uma estação de trabalho ou um servidor de IA sempre ativo?

O AI Cube pode ser mais interessante como appliance pessoal de computação para IA do que como PC convencional.

Um PC tradicional é sobretudo interativo: as aplicações são executadas quando o utilizador as abre. Um nó pessoal de IA pode manter os modelos continuamente disponíveis para:

• agentes de programação,
• inferência em segundo plano,
• processamento de documentos,
• análise multimodal privada,
• APIs de IA locais,
• fluxos de trabalho RAG,
• e automatização de longa duração.

Isto altera as prioridades de hardware, orientando-as para memória persistente, arrefecimento contínuo, inferência previsível, elevada largura de banda e serviços locais estáveis.

É também por isso que os agentes de IA local-first emergentes se assemelham cada vez mais a cargas de trabalho de infraestrutura do que a aplicações de ambiente de trabalho comuns.

Se o AI Cube for o nó de computação, onde ficam os seus dados de IA?

Um computador dedicado para IA não substitui automaticamente um servidor doméstico ou NAS, porque a inferência e os dados persistentes resolvem problemas diferentes.

Um nó de computação para IA é otimizado para:

• pesos dos modelos,
• memória de elevada largura de banda,
• aceleradores,
• inferência de baixa latência,
• e cargas de trabalho de raciocínio.

A infraestrutura local persistente é otimizada para:

• documentos,
• fotografias e vídeos,
• repositórios de código,
• ficheiros de origem RAG,
• bases de dados vetoriais,
• memória dos agentes,
• registos,
• cópias de segurança,
• e aplicações sempre ativas.

Esta distinção é importante porque o poder de computação para IA evolui mais rapidamente do que os dados pessoais. Os modelos, aceleradores e ambientes de execução podem ser substituídos a cada poucos anos; os ficheiros, o histórico dos projetos e o conhecimento privado devem permanecer estáveis.

A mesma separação aplica-se ao decidir se a IA local e o armazenamento de ficheiros devem partilhar uma máquina ou ser divididos por sistemas especializados.

Um servidor persistente também pode fornecer os ficheiros privados, os índices de recuperação e o contexto duradouro utilizados por um assistente privado de IA numa NAS, sem exigir que a mesma caixa aloje o maior modelo possível.

O AI Cube sugere que o processamento pessoal de IA poderá tornar-se substituível, enquanto os dados pessoais de IA permanecem persistentes.

O que continuamos sem saber sobre o Xiaomi AI Cube?

Também é importante não combinar os números de referência do terminal de demonstração O100 separado da Xiaomi com os do AI Cube.

Um protótipo diferente, com O3 + O100, demonstrou uma elevada velocidade de processamento de tokens numa carga de trabalho MiMo muito mais pequena. Isso não significa que o AI Cube execute o seu modelo de 120B à mesma velocidade. A distinção é explicada nas demonstrações de protótipos da Xiaomi.

O Xiaomi AI Cube precisa de ser barato para ser relevante?

Como demonstração de arquitetura, não. Como nova categoria de computação pessoal, sem dúvida.

Se o hardware de IA local com muita memória atingir preços de estações de trabalho topo de gama para consumidores, poderá tornar a inferência local de modelos da classe dos 100 mil milhões de parâmetros prática para muito mais programadores.

Se o preço final for várias vezes superior, o mesmo hardware passará a ser uma estação de trabalho especializada em IA, em vez de um computador pessoal com IA destinado ao mercado de massas.

Os utilizadores do Reddit já especulam intensamente sobre o preço, mas a Xiaomi ainda não anunciou nenhum. Enquanto não existir um produto comercial, as estimativas de preço devem continuar a ser especulação.

É também por isso que as comparações de custos da IA local a longo prazo são mais importantes do que o preço do hardware por si só: a utilização, o tamanho do modelo, a eletricidade e o aumento dos custos da cloud influenciam a viabilidade económica de um processamento local dedicado.

O Xiaomi AI Cube é o futuro do computador pessoal com IA?

Talvez do ponto de vista arquitetural, mesmo que o computador pessoal de IA final não seja exatamente igual a este protótipo.

As ideias importantes são:

• memória partilhada de grande capacidade dimensionada em função dos pesos dos modelos,
• aceleração de IA com elevada largura de banda,
• processadores heterogéneos,
• modelos pequenos e grandes disponíveis em simultâneo,
• computação sustentada em vez de limitada a picos,
• execução local de modelos,
• e serviços de IA que permanecem continuamente disponíveis.

Isso é mais significativo do que simplesmente adicionar uma NPU a um PC normal e chamar-lhe um PC de IA.

O AI Cube começa pela carga de trabalho do modelo e concebe a máquina em função dela.

O protótipo ainda deixa questões importantes sem resposta: desempenho com 120B, topologia da memória, suporte de software, preço e disponibilidade. Mas a arquitetura aponta para um futuro plausível em que a IA local terá a sua própria camada de computação dedicada, enquanto os ficheiros, a memória e o estado de longo prazo permanecem numa infraestrutura local persistente.

O computador pessoal de IA pode não ser um PC que executa IA ocasionalmente. Pode ser um nó de computação local sempre disponível, concebido para servir vários modelos, enquanto os dados duráveis do utilizador permanecem independentes do acelerador que, por acaso, seja o mais rápido este ano.

FAQ: Xiaomi AI Cube e modelos locais de 120B

O Xiaomi AI Cube consegue executar um modelo de 120B sem a cloud?

A Xiaomi afirma que o protótipo consegue implementar localmente um modelo de 120B. No entanto, a empresa não publicou a quantização exata, a dimensão do contexto nem a configuração do ambiente de execução utilizada nessa implementação.

De quanta memória precisa um modelo de 120B?

Os pesos brutos de um modelo de 120B requerem aproximadamente 240 GB em FP16, 120 GB em 8 bits e cerca de 60 GB em 4 bits, antes da sobrecarga do ambiente de execução. A utilização real de memória também depende dos metadados de quantização, da dimensão do contexto, da cache KV e do software de inferência.

O Xiaomi AI Cube suporta Ollama?

A Xiaomi ainda não confirmou publicamente o suporte para o Ollama. A compatibilidade com Ollama, llama.cpp, vLLM e outros ambientes de execução de IA local populares continua a ser uma das principais questões de software sem resposta.

Que modelo de 120B executa o Xiaomi AI Cube?

Informações públicas associaram o protótipo à família de modelos MiMo da Xiaomi, mas a descrição pública do AI Cube pela Xiaomi não forneceu uma especificação completa do modelo/versão e da quantização.

É possível comprar o Xiaomi AI Cube?

Atualmente, não. O AI Cube foi apresentado como um protótipo de engenharia, e a Xiaomi não anunciou um preço de venda nem uma data de envio para este dispositivo específico.

O Xiaomi AI Cube substitui um NAS ou servidor doméstico?

Não necessariamente. O AI Cube está otimizado para inferência de IA com muita memória, enquanto um NAS ou servidor doméstico é mais adequado para ficheiros persistentes, fontes RAG, bases de dados, cópias de segurança, estado dos agentes e outros serviços sempre disponíveis. As duas funções podem complementar-se.