32 GB de VRAM para Qwen 27B: guia de hardware de IA local para outubro de 2026

32 GB no rótulo do produto não significam 32 GB disponíveis para uma carga Qwen 27B. O sistema operacional, o runtime, o cache KV, o formato do modelo, a pilha de drivers e a disposição das placas mudam o resultado. Uma placa barata com capacidade suficiente ainda pode perder muito no processamento do prompt ou no tempo de configuração.

Em outubro de 2026, compare memória útil e trabalho concluído por dólar, não apenas o número de VRAM.

Este guia examina formas práticas de executar um modelo Qwen 27B em qualidade de 6 bits com uma janela de contexto ampla. Ele separa especificações publicadas de resultados de testes relatados, pois o resultado de tokens por segundo de uma pessoa não é uma propriedade universal de uma GPU.

Por que 32 GB é o alvo #

A necessidade de memória começa pelos pesos. Um modelo denso de 27B lê o conjunto completo de parâmetros durante a geração. Com quantização de 6 bits, os pesos ocupam cerca de 20.5GB antes das alocações do runtime e da memória de contexto.

Um contexto de 128K tokens adiciona outra grande alocação. O tamanho exato do cache KV muda conforme a arquitetura do modelo, a precisão do cache, as configurações de batch e o backend. Uma estimativa prática de cerca de 8GB coloca pesos e cache juntos perto de 28.5GB, antes de o sistema operacional e o runtime de inferência ficarem com sua parte.

32 GB é um ponto de dimensionamento, não uma garantia. O modelo pode carregar e ainda deixar pouco espaço para um prompt longo, um batch maior, entradas multimodais ou um segundo processo.

O vídeo é uma referência prática útil #

O vídeo abaixo apresenta uma comparação prática das principais formas de chegar a 32GB para IA local. Ele serve como referência para preços relatados, dificuldade de configuração e resultados de runtime. Este artigo faz uma comparação separada usando especificações de hardware, comportamento da memória do modelo, suporte de software e custo total de propriedade.

Memória útil supera a memória anunciada #

Apple Unified Memory #

O Apple silicon usa um pool compartilhado pela CPU e pela GPU. A Apple lista configurações do Mac mini com 32GB de memória unificada, mas o pool inteiro não é uma alocação gráfica dedicada. O macOS, o aplicativo e o runtime de inferência também precisam de espaço.

Algumas sessões do llama.cpp relatam cerca de 22,906MB available em um sistema de 32GB. Isso equivale a aproximadamente 21,3GiB, deixando pouco espaço para um modelo 27B de 6 bits e um cache KV grande. O limite exato depende do sistema operacional, do runner do modelo, da pressão de memória e das opções de inicialização.

O Apple silicon continua atraente para sistemas silenciosos. O llama.cpp trata Metal como backend de primeira classe, e a Apple evita problemas de driver e energia encontrados em muitas placas de data center usadas. O custo é menor throughput que uma GPU dedicada de ponta e margem de memória menos previsível.

Duas placas de 16GB #

Duas placas de 16GB fornecem 32GB de VRAM física, mas o runtime ainda precisa de buffers por dispositivo e espaço para comunicação. Uma placa pode informar 13.4GB em uso enquanto a outra informa 14.4GB. A capacidade restante não é uma reserva limpa de 4GB para o contexto.

O método de divisão também importa. Layer splitting atribui camadas diferentes do modelo a placas diferentes. Ele aumenta a capacidade, mas as placas percorrem o modelo em turnos. Tensor splitting coloca o trabalho da mesma camada nas duas placas. A comunicação aumenta, mas ambos os dispositivos contribuem de forma mais direta.

Um plano com duas placas precisa de um backend testado antes da compra. Geração do PCIe, distância entre slots, fornecimento de energia, suporte de drivers e a quantização exata afetam o resultado.

Opções de uma única placa #

RTX 5090 #

A NVIDIA lista a RTX 5090 com 32GB de GDDR7 e 1,792GB/s de largura de banda de memória. Ela oferece amplo suporte a CUDA, ferramentas maduras e muitos frontends testados. A tabela atual de GPUs CUDA lista a RTX 5090 com compute capability 12.0.

O problema é o preço. Uma 5090 nova oferece um caminho simples para 32GB, mas o custo de compra compete com meses de aluguel de acelerador. Ela também consome até 575W de potência gráfica total, por isso o sistema precisa de uma fonte robusta e um bom plano de refrigeração.

Radeon AI PRO R9700 #

A R9700 é uma opção AMD de classe 32GB com alta largura de banda de memória e preço inicial menor que o da 5090 em muitas ofertas. O valor depende muito do runtime. O caminho padrão do llama.cpp oferece um resultado útil, enquanto um backend comunitário mais rápido produz um resultado muito maior na mesma placa em alguns testes relatados.

Este é o exemplo mais claro de por que uma comparação de GPUs precisa de duas colunas de velocidade. Decode speed mede tokens gerados. Prefill speed mede a rapidez com que o backend lê o prompt antes do primeiro token gerado. Uma base de código com 50.000 tokens expõe um caminho de prefill fraco mesmo quando a velocidade de decode parece aceitável.

Intel Arc Pro B70 #

A Arc Pro B70 mira cargas profissionais com 32GB de memória. É uma opção interessante em capacidade por dólar, mas o caminho de software precisa de mais análise que o hardware CUDA. Suporte GGUF padrão, builds corrigidos, configurações de draft-token e maturidade do backend afetam o resultado.

Um preço de compra menor não compensa as horas gastas para encontrar um build funcional. Para um entusiasta, esse trabalho faz parte do projeto. Para uma workstation usada todos os dias, o suporte de drivers e aplicativos tem valor real.

Placas de data center usadas #

Tesla V100 #

As placas Tesla V100 usadas de 32GB chamam atenção porque o preço da placa parece baixo. O sistema completo custa mais. Uma placa passiva de data center precisa de fluxo de ar, chassis ou shroud adequado, adaptadores de energia e um host com espaço PCIe suficiente.

O outro problema é a idade do software. A tabela atual de GPUs CUDA se concentra em arquiteturas novas e não lista a V100 em sua tabela atual de arquiteturas. Verifique a versão exata do CUDA, a ramificação do driver, o backend e o fork comunitário antes de comprar.

Faça o orçamento de um sistema V100 funcional, não de uma placa avulsa. Uma placa anunciada perto de $680 pode virar um projeto de cerca de $1,000 depois de refrigeração, adaptadores e plataforma host. Preços usados também sobem quando uma carga popular de IA local direciona compradores para o mesmo acelerador aposentado.

AMD Instinct MI50 #

A MI50 oferece um preço usado atraente por gigabyte, mas seu suporte atual de software é uma restrição séria. Uma placa que exige uma pilha ROCm antiga ou um fork mantido pela comunidade não equivale a uma placa de consumo atual com suporte amplo de aplicativos.

A diferença no processamento do prompt importa mais que o preço da etiqueta. Uma comparação mediu cerca de 128 tokens per second na MI50 contra aproximadamente 2,652 tokens per second em uma placa nova de 32GB para uma carga de processamento de prompt. Uma base de código de 50.000 tokens levaria minutos no caminho lento e segundos no caminho rápido antes do início da geração.

A MI50 atende a um caso de uso estreito. Ela serve a quem valoriza capacidade acima da velocidade de interação e aceita a manutenção dos drivers. É uma escolha ruim para análise rápida de bases de código quando o tempo de prefill importa.

O software faz parte da GPU #

O llama.cpp suporta CUDA, HIP, Metal, Vulkan, SYCL e outros backends. Ele também suporta inferência híbrida CPU plus GPU e uso de várias GPUs. Esses recursos não entregam desempenho idêntico entre fornecedores ou formatos de modelo.

A mesma placa física costuma mostrar grandes diferenças entre:

• Build padrão do aplicativo, com configurações conservadoras.
• Build ajustado do llama.cpp, com kernels específicos do backend.
• Fork comunitário, com predição especulativa ou de vários tokens.
• Formato de modelo corrigido, criado para um caminho de acelerador específico.

Os resultados relatados na comparação fornecida incluem cerca de 27 tokens per second para um caminho AMD 32GB padrão, aproximadamente 46 tokens per second com predição de vários tokens e resultados muito maiores em um backend especializado. O resultado mostra margem de software. Não é uma promessa para uma instalação nova.

Registre backend, commit, arquivo do modelo, quantização, tamanho do contexto, tamanho do prompt, batch size e estado de energia em todo benchmark. Sem esses campos, tokens por segundo é um número de propaganda.

Alugar em vez de comprar #

Alugar uma GPU rápida muda o cálculo. Um preço relatado perto de $0.69 por hora para uma RTX 5090 faz uma compra de $4,400 equivaler a cerca de 6,377 horas de aluguel antes de eletricidade, hardware host, manutenção e valor de revenda.

Isso chega perto de nove meses de aluguel contínuo ou dois anos a oito horas por dia. Um desktop com duas placas custando perto de $1,560 equivale a cerca de 2,261 horas na mesma tarifa. A 5090 alugada também evita calor local, ruído, configuração de drivers e falha da placa.

Alugue antes de comprar quando o modelo, o backend ou o tamanho do contexto ainda forem incertos. Um fim de semana de medições custa menos que uma compra errada de workstation.

Recomendações de compra #

Duas placas RTX 5060 Ti de 16GB #

Duas placas de 16GB fornecem um caminho CUDA prático para quem precisa de 32GB e quer tutoriais, drivers e frontends comuns. Use tensor splitting somente após verificar o formato do modelo e o backend. Layer splitting é mais simples, mas costuma deixar desempenho de lado.

Esse caminho também exige uma placa-mãe com dois slots utilizáveis, energia suficiente e fluxo de ar entre as placas. Um par de placas não é uma workstation pequena quando o custo da plataforma entra na conta.

Uma placa de 32GB #

Escolha uma placa única de 32GB quando confiabilidade, garantia e implantação simples importarem mais que o menor preço de memória. A R9700 e a RTX 5090 representam versões diferentes dessa escolha. O caminho AMD enfatiza capacidade e preço. O caminho NVIDIA enfatiza amplitude de software e suporte CUDA maduro.

Uma V100 ou MI50 usada #

Escolha hardware de data center usado somente quando o projeto incluir testes de driver, trabalho de refrigeração e manutenção do backend. O preço da placa é a primeira linha do orçamento, não a última.

Apple Silicon #

Escolha um sistema Apple silicon de 32GB quando silêncio, baixo consumo ocioso e um desktop compacto importarem mais que throughput máximo. Confira a alocação de memória informada pelo runner exato antes de presumir que todos os 32GB estão disponíveis para o modelo.

Aluguel na nuvem #

Escolha aluguel quando a carga for ocasional, o modelo mudar com frequência ou uma resposta rápida ao prompt importar mais que a propriedade local. Desligue a instância após o teste. Tempo ocioso remove rapidamente a vantagem de preço.

Uma planilha de comparação melhor #

Antes de comprar, registre estes valores para cada candidato:

• Memória útil do modelo, após o overhead do runtime.
• Formato dos pesos e tamanho esperado do modelo.
• Tamanho do cache KV no comprimento de contexto desejado.
• Velocidade de prefill para um prompt representativo.
• Velocidade de decode depois que o contexto estiver cheio.
• Versão do backend e do driver exigida pelo resultado.
• Energia ociosa e sob carga na tarifa elétrica local.
• Custo do host, refrigeração, adaptadores, armazenamento e garantia.
• Equivalente de aluguel para o número esperado de horas de uso.

O teste mais útil usa um prompt da sua carga real. Para programação, use uma base de código representativa. Para pesquisa, use um documento longo com o fluxo normal de recuperação ou colagem. Meça tempo até o primeiro token, tempo de processamento do prompt, velocidade de geração, uso de memória e qualidade da saída.

Recomendação final #

Compre duas placas RTX 5060 Ti de 16GB para o build CUDA de 32GB com menor atrito. Use uma configuração tensor-split somente após um teste curto confirmar que o backend funciona como esperado.

Compre uma placa única de 32GB quando precisar de uma workstation mais simples. Prefira a placa com o caminho de software mais forte para o runner escolhido, não a placa com o menor valor em dólares por gigabyte.

Use V100 ou MI50 somente quando aceitar o projeto de manutenção. Um acelerador barato com prefill fraco não é uma pechincha para prompts longos de bases de código.

Alugue uma GPU de classe 5090 quando o uso for irregular. O teste alugado fornece dados reais de memória, velocidade e contexto antes de uma compra grande.

A pergunta sobre 32GB não é “qual placa tem o gigabyte mais barato?”. A pergunta é “qual sistema deixa memória útil suficiente, lê minha carga rapidamente, funciona com meu software e recupera seu preço de compra por meio do uso regular?”.

Referências #

• Todas as formas de obter 32GB de VRAM para IA local em contexto completo , referência em vídeo para a comparação prática discutida acima.
• NVIDIA GeForce RTX 5090 specifications , detalhes oficiais de VRAM, largura de banda, energia e capacidade CUDA.
• NVIDIA CUDA GPU Compute Capability , tabela atual de arquitetura e capacidade computacional.
• Apple Mac mini technical specifications , configurações oficiais de memória unificada e dados de largura de banda.
• llama.cpp , backends de inferência suportados e documentação multi-GPU.
• Qwen3.5 27B model card , referência oficial do cartão do modelo Qwen para a família 27B atual e o comportamento de contexto longo.
• Local AI in 2026: A 27B Model Beats Sonnet 4.6 , análise relacionada de modelos locais e hardware.
• Llama 3.1 8B and Qwen3.8 27B GPU Benchmarks on Vast.ai , análise relacionada de benchmark de GPU alugada.
• The 64GB DGX Spark Is a Warning Sign for Local AI Hardware Prices , análise relacionada de capacidade de memória e oferta.

Próximos passos #

Use a planilha com um prompt representativo antes de comprar. Compare tempo até o primeiro token, processamento do prompt, velocidade de decode, uso de memória, energia e custo total da plataforma. Para um projeto curto, alugue primeiro e guarde o resultado medido junto da decisão de compra.