Quanta memória de GPU é necessária para pesquisa visual-linguística num NAS doméstico?
A pesquisa por visão e linguagem pode começar com cerca de 8–12 GB de VRAM, mas o tamanho do modelo, a quantização, os tokens de imagem, o comprimento do contexto e a simultaneidade determinam o limite mínimo fiável.
Um modelo compacto quantizado da classe 7B pode ser carregado numa GPU de 8 GB, mas pode falhar quando várias imagens de alta resolução e um longo histórico de conversação são processados em conjunto. A pesquisa também pode utilizar um codificador de imagens e um reranker separados. A capacidade deve incluir as alocações máximas em execução, não apenas o tamanho do ficheiro do modelo apresentado no disco durante o padrão de consultas mais exigente esperado.
Os pesos definem o mínimo, não o pico
A memória teórica dos pesos corresponde ao número de parâmetros multiplicado pelos bits por parâmetro. Sete mil milhões de parâmetros a quatro bits equivalem a cerca de 3,5 GB antes de considerar escalas, metadados, buffers da framework e quaisquer camadas não quantizadas. Um codificador de imagens pode ser separado ou estar integrado no modelo.
Uma explicação prática dos componentes da memória da GPU separa os pesos do modelo da cache KV, das ativações e da sobrecarga de execução. Por isso, o tamanho do ficheiro, por si só, subestima a memória necessária para a inferência.
A quantização reduz a ocupação dos pesos, mas não diminui todas as alocações na mesma proporção. As projeções visuais, os buffers temporários de atenção e alguns kernels podem permanecer com precisão de 16 bits. Um modelo que é carregado no limite deixa pouca margem para consultas reais com imagens.
As imagens transformam-se em tokens e estado de execução
Os codificadores de visão dividem ou reamostram as imagens em patches e, em seguida, passam os tokens visuais para o modelo de linguagem. Mais imagens, uma resolução máxima superior ou o mosaico dinâmico aumentam o número de tokens. Esses tokens aumentam o processamento da atenção e, nas fases autorregressivas, a necessidade de cache KV.
A investigação sobre o ajuste de instruções visuais mostra como as imagens são ligadas aos modelos de linguagem através de representações visuais aprendidas. A arquitetura e o pré-processamento determinam quantas características visuais entram no contexto.
O processamento em lote de várias pesquisas multiplica o estado ativo das imagens e do texto, mesmo quando os pesos continuam partilhados. É por isso que o nível de 8–12 GB é adequado para pesquisas compactas de um único utilizador, enquanto 16–24 GB oferece mais margem para modelos maiores, várias imagens ou pedidos simultâneos.
Quando as recomendações de VRAM deixam de se aplicar
Os sistemas de memória unificada, o descarregamento para a CPU, os codificadores divididos e a pesquisa de embeddings apoiada em disco alteram a restrição. O descarregamento pode permitir que um modelo funcione com menos VRAM, mas aumenta a latência. Os embeddings de imagens pré-calculados exigem muito menos processamento visual em execução do que gerar descrições para cada consulta.
Uma discussão sobre a alocação da cache KV ilustra como o comprimento do contexto e a alocação da cache KV podem impor limites inferiores, mesmo quando os pesos cabem. As entradas multimodais apertam o mesmo orçamento.
Estes intervalos também não se aplicam à formação ou ao ajuste fino, que exigem gradientes e estado do otimizador. Descrevem apenas a inferência. Mais VRAM não garante uma pesquisa precisa se os embeddings de imagens, o OCR, a fusão de metadados ou a avaliação forem fracos.
Verifique a VRAM máxima com consultas de imagens representativas
Carregue o modelo quantizado, o codificador e o reranker pretendidos e, em seguida, execute consultas representativas com uma imagem, várias imagens, alta resolução e históricos longos. Repita com a simultaneidade planeada, registando a VRAM alocada e reservada, os eventos de falta de memória, a latência até ao primeiro token e o tempo de processamento das imagens.
Teste com um conjunto de dados de largura de banda do pipeline de imagens que reflita imagens e capturas de ecrã de criadores, em vez de entradas sintéticas vazias. Mantenha separados os caminhos com pré-cálculo e codificação em tempo real.
Escolha um nível de VRAM cujo pior caso de consulta válida permaneça abaixo de aproximadamente 80–85% da capacidade. Se apenas a codificação de imagens causar picos, transfira esse codificador para outro dispositivo ou pré-calcule os embeddings. Se a cache KV dominar, limite o contexto ou a simultaneidade antes de presumir que é necessário um modelo de visão maior.
Produtos recomendados
Centro de Tecnologia e IA
Mais para Ler
Como medir a qualidade da recuperação RAG local e interpretar a cobertura da recuperação, da precisão e das citações
Crie um conjunto de teste RAG local, calcule as principais métricas de recuperação, interprete os seus compromissos e audite se as afirmações das respostas...
Porque é que a computação das funcionalidades de casa inteligente se torna mais importante à medida que aumenta o número de sensores à mesma taxa de amostragem?
Monitorize o processamento por sensor e entre sensores à medida que o número de dispositivos aumenta, identifique os custos não lineares da fusão e...
Porque é que o custo da avaliação de RAG se torna mais importante à medida que a biblioteca de documentos cresce, com o mesmo volume de consultas?
Compreenda por que o crescimento do corpus aumenta o esforço de avaliação do RAG sem mais consultas dos utilizadores e como os testes estratificados...
