Table of Contents

Para tarefas do Hermes com contexto longo, eu começaria com Qwen3.5 35B em duas placas RTX 5060 Ti de 16 GB. A rota testada reteve 239.153 tokens de entrada pelo LiteLLM e passou por verificações separadas de ferramentas, streaming, visão, solicitações enfileiradas e cancelamento. Qwen3.6 é minha alternativa com uma placa. Nos sistemas RTX 3060 Ti e RTX 3070, eu começaria com Qwen3.5 2B ou 4B.

Essas escolhas vêm de executar modelos pelos caminhos de inferência usados pelo agente. Testei retenção de entradas longas, interações de ida e volta com ferramentas, respostas transmitidas, perguntas sobre imagens e liberação do modelo. Também testei os modos e as configurações de memória das rotas, porque carregar um modelo com sucesso diz pouco sobre sua utilidade durante uma solicitação longa do agente.

O Hermes exige pelo menos 64.000 tokens de contexto para uso de agentes com ferramentas. Usei 65.536 tokens de entrada reais como limite de qualificação de contexto longo. A contagem de tokens de entrada importa mais que o tamanho de contexto anunciado pelo servidor. ( Documentação de provedores do Hermes Agent )

Quais GPUs havia em cada sistema

As letras dos sistemas identificam as combinações de hardware nos resultados.

SistemaGPUs usadas neste benchmarkMeu modelo inicial
A2 × GeForce RTX 5060 Ti, 16 GB cadaQwen3.5 35B nas duas placas ou Qwen3.6 em uma placa
B1 × RTX 2000E Ada, 16 GBQwen3.5 9B quando o processamento de entrada longa por vários minutos serve à tarefa
C1 × RTX 2000E Ada, 16 GBGemma 3 4B para o caminho longo testado, Qwen3.5 0.8B sem raciocínio para tarefas de recuperação delimitadas
D1 × RTX 2000E Ada, 16 GBQwen3.5 9B, Gemma 4 12B-IT ou GPT-OSS 20B para as cargas testadas com modelos maiores
E9 × GeForce RTX 3060 Ti, 8 GB cadaQwen3.5 2B ou 4B
F8 × GeForce RTX 3060 Ti, 8 GB cadaQwen3.5 2B ou 4B
G3 × GeForce RTX 3070Qwen3.5 2B ou 4B

O número de placas instaladas não significa que cada solicitação usou todas as GPUs. Os testes de Qwen3.5 35B e Flash Next usaram ambas as placas do sistema A. Qwen3.6 usou uma. A repetição de visão Qwen3.5 4B que teve sucesso no sistema E usou uma placa selecionada de um conjunto de oito, enquanto a nona ficou excluída de tarefas de IA.

Considere as durações abaixo como resultados conjuntos do modelo, do ambiente de execução e do sistema testados. Esses testes comparam configurações utilizáveis. Eles não isolam a arquitetura da GPU como causa das diferenças de velocidade.

Duas RTX 5060 Ti fazem de Qwen3.5 35B minha escolha para contexto longo

Qwen3.5 35B produziu o maior resultado de retenção de entrada nesses testes. A progressão direta do Ollama reteve 248.279 tokens de entrada em um contexto de execução de 262.144 tokens. Uma solicitação separada de streaming pelo gateway reteve 239.153 tokens de entrada, retornou o marcador inicial e terminou naturalmente após 31 tokens de saída em 148,12 segundos.

O resultado do gateway importa para o Hermes porque a solicitação passou pelo broker e pelo LiteLLM. Outras solicitações completaram uma interação com ferramenta, reconheceram uma imagem vermelha e retornaram duas respostas corretas quando enviadas juntas. O broker enfileirou essas duas solicitações. Fechar uma solicitação em streaming liberou o broker e descarregou o modelo em 60,31 segundos.

Solicitação Qwen3.5 35BTokens de entradaTokens de saídaDuraçãoResultado
Ollama direto, primeiro estágio progressivo69,4293138.783 sMarcador inicial exato
Ollama direto, continuação com prefixo compartilhado124,1793128.472 sMarcador inicial exato
Ollama direto, continuação com prefixo compartilhado182,5793138.974 sMarcador inicial exato
Ollama direto, continuação com prefixo compartilhado248,2793154.215 sMarcador inicial exato
Solicitação de streaming pelo broker69,4272938.872 sMarcador inicial exato
Solicitação de streaming pelo LiteLLM239,15331148.12 sMarcador inicial exato, descarga limpa

As solicitações diretas progressivas reutilizaram um prefixo crescente. Suas durações descrevem o comportamento de continuação aquecida. O resultado de 54,215 segundos não é uma medição independente a frio do processamento de um novo prompt de 248K.

No maior estágio direto, o modelo informou cerca de 27,3 bilhões de bytes residentes nas duas GPUs. Os picos de memória por placa chegaram a 14.964 e 12.386 MiB.

As temperaturas máximas chegaram a 62 e 63 C, e a execução não registrou erros OOM ou Xid. A entrada deixou 13.865 tokens no contexto configurado para continuação. A resposta curta do marcador usou 31 deles.

Eu usaria essa rota quando reter um conjunto de trabalho grande importa mais que a resposta inicial mais curta. Os testes de ferramentas e visão demonstram comportamentos úteis do agente, enquanto o teste de entrada longa demonstra retenção. São cargas de trabalho distintas.

Qwen3.6 é a opção de uma placa

Qwen3.6-35B-A3B UD-Q4_K_XL reteve 131.000 tokens de entrada em uma RTX 5060 Ti. A outra placa ficou ociosa durante o teste. Isso oferece ao sistema uma alternativa útil quando não se deseja dedicar as duas placas a um único modelo.

Solicitação Qwen3.6 pelo gatewayTokens de entradaTokens de saídaDuraçãoResultado
Solicitação longa inicial66,007167.82 sMarcador inicial retido
Solicitação mais longa90,00011159.92 sMarcador inicial retido, nenhuma entrada em cache
Solicitação mais longa119,99911250.61 sMarcador inicial retido, nenhuma entrada em cache
Perto do limite de execução131,00011287.09 sMarcador inicial retido, nenhuma entrada em cache

A solicitação de 131.000 tokens se aproximou do limite de execução de 131.072. Para um agente, eu deixaria mais espaço para a resposta e as mensagens posteriores das ferramentas. Uma retenção perto do limite é evidência útil de processamento de entrada, mas não representa um orçamento padrão sensato.

O uso de ferramentas passou com o raciocínio desativado. O raciocínio padrão consumiu a cota de teste de 512 tokens antes de emitir a chamada da ferramenta. O piloto bem-sucedido também passou por solicitações rápidas, de streaming e de visão. Sua verificação inicial de contexto com 65.845 tokens levou 139,57 segundos.

Qwen3.8 27B vence a comparação de resposta equivalente em 66K

Para a mesma tarefa de marcador com 66.007 tokens no sistema A, Qwen3.8 27B retornou a resposta mais rapidamente. Eu manteria essa rota para solicitações próximas ao tamanho de entrada testado, junto de Qwen3.5 35B para o conjunto de trabalho maior.

Rota do sistema ATokens de entradaDuraçãoResultado
Qwen3.8 27B66,00754.64 sMarcador inicial retido
Qwen3.6-35B-A3B UD-Q4_K_XL66,007167.82 sMarcador inicial retido
Qwen3.8-Flash-Next UD-IQ4_XS66,007164.58 sMarcador inicial retido
Alias de compatibilidade Flash Next IQ466,007213.25 sMarcador retido

Qwen3.8 27B levou cerca de um terço do tempo das solicitações equivalentes de Qwen3.6 e Flash Next. São observações de solicitações completas com os ambientes testados, não uma comparação apenas de hardware.

Respostas rápidas, streaming e uso de ferramentas também passaram. O modo sem raciocínio completou a sequência de cores e a interação com a ferramenta, enquanto o teste com raciocínio retornou apenas parte da sequência dentro da cota de 512 tokens.

Flash Next continua sendo uma opção padrão menos atraente neste sistema por causa da pressão de memória. Seu piloto de 65.847 tokens passou em 201,41 segundos com contexto de execução de 98.304. Dois perfis anteriores de 131.072 atingiram os limites de memória antes de ficarem prontos.

A rota posterior chegou ao limite cgroup de 54 GiB. Para trabalho sem supervisão, eu escolheria uma rota com mais margem de memória.

A rota chamada flash-iq2 serviu ao backend de compatibilidade Flash Next IQ4. O nome não identifica um resultado IQ2.

A RTX 2000E Ada lida com entradas longas, mas o modelo altera a espera

Gemma 3 4B é minha rota testada preferida para entradas longas no sistema C. Dois caminhos retiveram mais de 84K tokens de entrada em cerca de 88 segundos. As rotas com modelos maiores também passaram por verificações úteis de retenção, mas suas solicitações levaram vários minutos.

SistemaModelo e caminhoTokens de entradaDuraçãoResultado
BQwen3.5 9B, gateway72,265263 sAmbos os marcadores retidos, verificação posterior de recuperação da mineração aprovada
CGemma 3 4B, gateway84,04488.05 sMarcador inicial retido
CGemma 3 4B, Aperture84,04587.68 sMarcador inicial retido
CGemma 4 12B-IT, gateway67,254263.07 sMarcador inicial retido
CGemma 4 12B-IT, Aperture sem streaming67,255274.24 sMarcador inicial retido
CGemma 4 12B-IT, streaming Aperture67,255282.16 sMarcador inicial retido
CQwen3.5 9B, gateway75,648319.36 sMarcador inicial retido, modelo descarregado
CGPT-OSS 20B, gateway84,099315.83 sMarcador inicial retido, modelo descarregado
DQwen3.5 9B, Aperture81,051324.07 sRetenção aprovada no artefato instalado
DGemma 4 12B-IT, Aperture72,057300.67 sRetenção aprovada no artefato instalado
DGPT-OSS 20B, Aperture72,104245.94 sRetenção aprovada no artefato instalado

O streaming não removeu a longa espera de pré-processamento do Gemma 4 no sistema C. O primeiro conteúdo transmitido chegou após 277,49 segundos, mais tarde que a resposta completa de 274,24 segundos sem streaming. Uma tentativa anterior sem streaming expirou antes da repetição bem-sucedida. Eu reservaria essa rota para tarefas compatíveis com vários minutos de processamento inicial.

Gemma 3 4B também mostra por que eu qualificaria cada sistema testado separadamente. O sistema D não encontrou o marcador inicial em duas tentativas de recuperação de 65K, incluindo uma repetição com temperatura zero e 67.252 tokens de entrada. A solicitação determinística terminou naturalmente em 62,07 segundos com a GPU totalmente residente.

Uma conclusão rápida e uma resposta normal da API não tornaram a resposta correta. Eu usaria a rota bem-sucedida do sistema C e excluiria a rota malsucedida do sistema D da seleção do Hermes.

O modo de raciocínio determina se Qwen3.5 0.8B é útil

Qwen3.5 0.8B tornou-se um candidato útil para recuperação delimitada no sistema C após desativar o raciocínio. O pequeno modelo Q8_0 reteve 75.649 tokens de entrada pelo gateway em 65,92 segundos. Esse resultado corresponde ao artefato Q8_0 testado e à rota sem raciocínio, não às configurações antigas de contexto 16K indicadas em outra parte da tabela.

Solicitação Qwen3.5 0.8B no sistema CTokens de entradaTokens de saídaDuraçãoResultado
Raciocínio padrão, diagnóstico curto9,0503,39166.56 sMarcador inicial exato
Raciocínio desativado, diagnóstico equivalente9,055217.65 sMarcador inicial exato, sem texto de raciocínio
Raciocínio padrão, tentativa longatempo limite de 600 sResposta não concluída
Raciocínio desativado, Ollama nativo75,6562269.80 sMarcador inicial exato
Endpoint compatível com OpenAI sem raciocínio75,6461269.09 sMarcador inicial exato
Broker com modo sem raciocínio imposto75,6471366.83 sMarcador inicial exato
LiteLLM do sistema A para o sistema C75,6491565.92 sMarcador inicial exato

O diagnóstico equivalente caiu de 66,56 para 7,65 segundos, cerca de 8,7 vezes mais rápido, enquanto a saída gerada caiu de 3.391 para 21 tokens. Por isso eu definiria explicitamente o modo de raciocínio para tarefas simples de extração e roteamento. O raciocínio padrão gastou a maior parte do processamento em uma saída desnecessária para a tarefa.

Uma sondagem curta compatível com OpenAI não encontrou o marcador antes de uma repetição com temperatura zero passar. As verificações de rota bem-sucedidas usaram modo sem raciocínio e conclusão natural, sem limite de saída. Outros três gateways passaram solicitações curtas de marcador em 4,22, 4,37 e 3,85 segundos. Essas verificações estabelecem o roteamento, enquanto a solicitação de 75.649 tokens estabelece a retenção de entrada longa pelo gateway.

Eu testaria essa rota para recuperação e extração delimitadas. Escolheria um modelo maior para raciocínio aberto de agentes. Recuperar um marcador sintético é uma tarefa mais estreita que planejar, programar ou coordenar várias ferramentas.

Os sistemas RTX 3060 Ti e RTX 3070 favorecem Qwen3.5 2B e 4B

Qwen3.5 2B e 4B são minhas escolhas práticas para começar nas placas de 8 GB. As solicitações de contexto textual nos sistemas E, F e G passaram com 65.579 tokens de entrada e durações de 30,343 a 93,753 segundos. As rotas 4B testadas também passaram por verificações de ferramentas, streaming e imagem.

A repetição do contexto de visão 4B no sistema E reteve ambos os marcadores e a ordem das cores da imagem com 65.637 tokens de entrada em 44,88 segundos. As solicitações com a ordem das cores direta e invertida também passaram. A repetição usou uma placa saudável depois que outra sofreu uma falha de link Xid 79 e o sistema reiniciou.

SistemaContexto textual Qwen3.5 2BContexto textual Qwen3.5 4BContexto de visão Qwen3.5 4B
E, conjunto RTX 3060 Ti65,579 tokens, 30.343 s65,579 tokens, 53.787 s65,637 tokens, 44.88 s
F, conjunto RTX 3060 Ti65,579 tokens, 61.282 s65,579 tokens, 93.753 s65,635 tokens, 84.749 s
G, conjunto RTX 307065,579 tokens, 76.731 s65,579 tokens, 90.807 s65,635 tokens, 87.496 s

Cada sistema registrou 29 verificações aprovadas. A diferença de tempo entre os dois sistemas RTX 3060 Ti também mostra por que eu escolheria um perfil de sistema testado em vez de classificar as placas com base nessas durações de solicitação.

Os sete sistemas voltaram à mineração após a janela de inferência. A verificação separada de recuperação após a parada no sistema B passou com novas shares aceitas. A placa que falhou no sistema E voltou à mineração após uma reinicialização e o reforço do link PCIe, mas continuou excluída do conjunto de IA. Restaurar a mineração no fim da janela é diferente da devolução automática após cada solicitação de inferência.

Carregar um modelo não o qualifica

Eu excluiria DeepSeek Coder V2 16B das opções Hermes testadas para 65K. Seu teste com cache f16 reteve 50.477 tokens de entrada, mas a execução com alvo de 65K atingiu a proteção de VRAM. As alternativas de cache Q4 e Q8 carregaram os pesos nas GPUs, mas depois atingiram limites de memória do host ou baixa velocidade com prompts longos.

Perfil de cache DeepSeek Coder V2Contexto de execuçãoResultado observadoMinha avaliação
f1681,920Recuperação de 50.477 tokens aprovada, solicitação grande demais rejeitadaResultado útil em contexto menor
f1673,728Pré-processamento alvo de 65K parou com uso de GPU de 15.802 MiBNão qualifica para 65K
Q4_098,304Pré-processamento longo caiu para 96.72 tokens/s antes da parada controladaPouco adequado a essa carga
Q8_077,824Pré-processamento longo caiu para 120.12 tokens/s antes da parada controladaPouco adequado a essa carga
Q4_0 / Q8_0, perfis maiores163,840 / 98,304Proteções de memória do host interromperam os testesO encaixe de memória depende do sistema inteiro

A lição prática é testar a solicitação que você pretende enviar. Residência na GPU, resposta curta e contexto configurado grande não demonstram retenção de entrada longa com latência útil.

Granite 4.2 8B e GPT-OSS 20B melhoraram após ajustes de rota no sistema A. A rota Q6_K do Granite reteve 66.082 tokens de entrada em 88,636 segundos sem entrada em cache. GPT-OSS completou a interação com ferramenta após a correção do broker, em 9,854 segundos para a chamada e 9,849 segundos para o acompanhamento. Eu manteria essas verificações de rota bem-sucedidas separadas das tentativas anteriores incompletas.

Resultados completos dos benchmarks

A tabela contém 295 verificações em 59 combinações de modelos e sistemas. A matriz registra 273 aprovações, uma verificação de recuperação malsucedida e sete resultados incompletos, inconsistentes ou incompatíveis. Quatorze verificações ficam fora do escopo de qualificação de 65K. Cada linha mantém visível o resultado medido.

Minhas recomendações se aplicam às rotas e cargas aprovadas. Uma linha malsucedida ou incompleta não qualifica o comportamento correspondente.

Resultados de contexto curto e embeddings se aplicam às próprias cargas. Uma aprovação com contexto 16K ou 32K não qualifica uma rota para a carga Hermes de 65.536 tokens de entrada. Os nomes de modelo aqui são rótulos de rota. O rótulo flash-iq2 serviu ao backend de compatibilidade IQ4.

A linha de contexto Qwen3.5 35B do sistema A corresponde ao estágio final de prefixo compartilhado da progressão acima. Durações de ferramentas com sinal de mais mostram a chamada e o acompanhamento separadamente.

A linha de concorrência fornece as durações das duas solicitações enfileiradas. A linha de cancelamento fornece o tempo de liberação após o cliente fechar o stream. As progressões adicionais de contexto e as comparações de rota Qwen3.5 0.8B aparecem em suas próprias tabelas acima.

Sistema A

Rótulo da rota do modeloVerificaçãoResultadoTokens de entradaDuração da solicitação
bonsai-2-27bcontextAprovado65,62188.746 s
bonsai-2-27bquickAprovado576.429 s
bonsai-2-27bstreamAprovado9.371 s
bonsai-2-27btoolsAprovado10.478 s
deepseek-coder-v2:16bcontextIncompatível50,477
deepseek-coder-v2:16bquickAprovado7743.239 s
flash-iq2contextAprovado66,007213.25 s
flash-iq2quickAprovado56.03 s
flash-iq2streamAprovado1.35 s
flash-iq2toolsAprovado16.55 s
gemma-4-12b-itcontextAprovado65,59051.225 s
gemma-4-12b-itquickAprovado215.166 s
gemma-4-12b-itstreamAprovado4.653 s
gemma-4-12b-ittoolsAprovado18.72 s
gemma-4-12b-itvisionAprovado1157.222 s
gemma-4-12b-itvision_contextAprovado65,68556.06 s
gemma-4-12b-itvision_reverseAprovado1157.467 s
gemma-4-e4b-itcontextAprovado65,59021.889 s
gemma-4-e4b-itquickAprovado2117.919 s
gemma-4-e4b-itstreamAprovado4.25 s
gemma-4-e4b-ittoolsAprovado8.734 s
gpt-oss-20bcontextAprovado65,637159.155 s
gpt-oss-20bquickAprovado7310.548 s
gpt-oss-20bstreamAprovado20.594 s
gpt-oss-20btoolsAprovado9.854 + 9.849 s
granite-4.2-3bcontextAprovado65,58970.968 s
granite-4.2-3bquickAprovado204.009 s
granite-4.2-3bstreamAprovado5.365 s
granite-4.2-3btoolsAprovado6.086 s
granite-4.2-8bcontextAprovado66,08288.636 s
granite-4.2-8bquickAprovado205.857 s
granite-4.2-8bstreamAprovado11.826 s
granite-4.2-8btoolsAprovado11.852 s
qwen27bcontextAprovado66,00754.64 s
qwen27bquickAprovado5731.5 s
qwen27bstreamAprovado0.92 s
qwen27btoolsAprovado4.25 s
qwen3-embedding-0.6bcontextAprovado32,7677.736 s
qwen3-embedding-0.6bquickAprovado142.125 s
qwen3.5-0.8bcontextAprovado16,42910.5 s
qwen3.5-0.8bquickAprovado1714.316 s
qwen3.5-0.8bstreamAprovado2.125 s
qwen3.5-0.8btoolsAprovado4.416 s
qwen3.5-2bcontextAprovado65,58111.175 s
qwen3.5-2bquickAprovado174.519 s
qwen3.5-2bstreamAprovado3.736 s
qwen3.5-2btoolsAprovado5.046 s
qwen3.5-4bcontextAprovado65,57936.451 s
qwen3.5-4bquickAprovado1519.935 s
qwen3.5-4bstreamAprovado17.496 s
qwen3.5-4btoolsAprovado7.308 s
qwen3.5-4bvisionAprovado707.848 s
qwen3.5-4bvision_contextAprovado65,63528.24 s
qwen3.5-4bvision_reverseAprovado704.386 s
qwen3.5-9bcontextAprovado65,58134.139 s
qwen3.5-9bquickAprovado173.88 s
qwen3.5-9bstreamAprovado3.378 s
qwen3.5-9btoolsAprovado10.204 s
qwen3.5-9bvisionAprovado724.441 s
qwen3.5-9bvision_contextAprovado65,63733.745 s
qwen3.5-9bvision_reverseAprovado723.97 s
qwen3.5:35b-a3b-q4_K_McancellationAprovado60.31 s
qwen3.5:35b-a3b-q4_K_MconcurrencyAprovado26.23 / 25.33 s
qwen3.5:35b-a3b-q4_K_McontextAprovado248,27954.215 s
qwen3.5:35b-a3b-q4_K_MgatewayAprovado239,153148.12 s
qwen3.5:35b-a3b-q4_K_MquickAprovado7910.08 s
qwen3.5:35b-a3b-q4_K_MstreamAprovado69,42938.783 s
qwen3.5:35b-a3b-q4_K_MtoolsAprovado15.22 + 14.83 s
qwen3.5:35b-a3b-q4_K_MvisionAprovado18.39 s
Qwen3.6-35B-A3B UD-Q4_K_XLcontextAprovado65,845139.57 s
Qwen3.6-35B-A3B UD-Q4_K_XLquickAprovado153.97 s
Qwen3.6-35B-A3B UD-Q4_K_XLstreamAprovado0.45 s
Qwen3.6-35B-A3B UD-Q4_K_XLtoolsAprovado2935.48 s
Qwen3.6-35B-A3B UD-Q4_K_XLvisionAprovado380.59 s
Qwen3.8-Flash-Next UD-IQ4_XScontextAprovado65,847201.41 s
Qwen3.8-Flash-Next UD-IQ4_XSquickAprovado1754.62 s
Qwen3.8-Flash-Next UD-IQ4_XSstreamAprovado1.2 s
Qwen3.8-Flash-Next UD-IQ4_XStoolsAprovado22.18 s
Qwen3.8-Flash-Next UD-IQ4_XSvisionAprovado3.86 s

Sistema B

Rótulo da rota do modeloVerificaçãoResultadoTokens de entradaDuração da solicitação
gemma-4-12b-itcontextAprovado65,590299.163 s
gemma-4-12b-itquickAprovado2115.261 s
gemma-4-12b-itstreamAprovado148.792 s
gemma-4-12b-ittoolsAprovado34.124 s
gemma-4-12b-itvisionAprovado12061.455 s
gemma-4-12b-itvision_contextAprovado65,690295.581 s
gemma-4-12b-itvision_reverseAprovado12032.511 s
gemma3-4bcontextAprovado65,58467.382 s
gemma3-4bquickAprovado156.329 s
gemma3-4bstreamAprovado24.138 s
gemma3-4bvisionAprovado3067.018 s
gemma3-4bvision_contextAprovado65,87670.912 s
gemma3-4bvision_reverseAprovado3065.762 s
gpt-oss-20bcontextAprovado65,637206.767 s
gpt-oss-20bquickAprovado7216.583 s
gpt-oss-20bstreamAprovado32.075 s
gpt-oss-20btoolsAprovado28.102 s
nomic-embed-textcontextIncompleto2,048
nomic-embed-textquickAprovado7.117 s
qwen3-14bcontextIncompleto1800.09 s
qwen3-14bquickAprovado1537.199 s
qwen3-14bstreamAprovado35.471 s
qwen3-14btoolsAprovado87.554 s
qwen3-8bcontextFora do escopo abaixo de 65K, excluído
qwen3-8bquickFora do escopo abaixo de 65K, aprovado1521.059 s
qwen3-8bstreamFora do escopo abaixo de 65K, excluído
qwen3-8btoolsFora do escopo abaixo de 65K, excluído
qwen3.5-9bcontextAprovado65,579282.796 s
qwen3.5-9blitellm_long_routeAprovado72,265263 s
qwen3.5-9bpost_external_stop_miningAprovado
qwen3.5-9bquickAprovado1525.881 s
qwen3.5-9bstreamAprovado143.44 s
qwen3.5-9btoolsAprovado31.812 s
qwen3.5-9bvisionAprovado7532.015 s
qwen3.5-9bvision_contextAprovado65,640396.288 s
qwen3.5-9bvision_reverseAprovado7528.626 s

Sistema C

Rótulo da rota do modeloVerificaçãoResultadoTokens de entradaDuração da solicitação
gemma-4-12b-itaperture_contextAprovado67,255274.24 s
gemma-4-12b-itaperture_shortAprovado3539.32 s
gemma-4-12b-itaperture_stream_contextAprovado67,255282.16 s
gemma-4-12b-itcontextAprovado65,670313.661 s
gemma-4-12b-itgateway_contextAprovado67,254263.07 s
gemma-4-12b-itgateway_shortAprovado2720.98 s
gemma-4-12b-itquickAprovado2116.447 s
gemma-4-12b-itstreamAprovado15.175 s
gemma-4-12b-ittoolsAprovado37.821 s
gemma-4-12b-itvisionAprovado12058.52 s
gemma-4-12b-itvision_contextAprovado65,690308.759 s
gemma-4-12b-itvision_reverseAprovado12031.25 s
gemma3-4baperture_contextAprovado84,04587.68 s
gemma3-4baperture_after_system_d_route_changeAprovado245.42 s
gemma3-4baperture_shortAprovado225.45 s
gemma3-4baperture_streamAprovado3.72 s
gemma3-4bcontextAprovado65,66467.543 s
gemma3-4bgateway_contextAprovado84,04488.05 s
gemma3-4bgateway_short_via_system_aAprovado3.16 s
gemma3-4bgateway_short_via_system_eAprovado
gemma3-4bgateway_short_via_system_fAprovado4.15 s
gemma3-4bgateway_short_via_system_gAprovado6.06 s
gemma3-4bquickAprovado155.163 s
gemma3-4bstreamAprovado24.691 s
gemma3-4bvisionAprovado3067.318 s
gemma3-4bvision_contextAprovado65,87672.476 s
gemma3-4bvision_reverseAprovado3065.831 s
gpt-oss-20bcontextAprovado65,716216.594 s
gpt-oss-20bgateway_contextAprovado84,099315.83 s
gpt-oss-20bgateway_shortInconsistente
gpt-oss-20bquickAprovado7221.603 s
gpt-oss-20bstreamAprovado31.957 s
gpt-oss-20btoolsAprovado26.096 s
nomic-embed-textcontextFora do escopo abaixo de 65K, incompleto2,048
nomic-embed-textquickFora do escopo abaixo de 65K, aprovado4.178 s
qwen3-14bcontextFora do escopo abaixo de 65K, incompleto1800.06 s
qwen3-14bquickFora do escopo abaixo de 65K, aprovado1535.809 s
qwen3-14bstreamFora do escopo abaixo de 65K, aprovado35.43 s
qwen3-14btoolsFora do escopo abaixo de 65K, aprovado87.723 s
qwen3-8bcontextFora do escopo abaixo de 65K, excluído
qwen3-8bquickFora do escopo abaixo de 65K, aprovado1521.293 s
qwen3-8bstreamFora do escopo abaixo de 65K, incompleto900.01 s
qwen3-8btoolsFora do escopo abaixo de 65K, excluído
qwen3.5-9bcontextAprovado65,662287.984 s
qwen3.5-9bgateway_contextAprovado75,648319.36 s
qwen3.5-9bgateway_shortAprovado2172.14 s
qwen3.5-9bquickAprovado1524.635 s
qwen3.5-9bstreamAprovado143.157 s
qwen3.5-9btoolsAprovado30.395 s
qwen3.5-9bvisionAprovado7527.756 s
qwen3.5-9bvision_contextAprovado65,640398.797 s
qwen3.5-9bvision_reverseAprovado7528.645 s

Sistema D

Rótulo da rota do modeloVerificaçãoResultadoTokens de entradaDuração da solicitação
gemma-4-12b-itcontextAprovado65,590275.395 s
gemma-4-12b-itexact_digest_aperture_65kAprovado72,057300.67 s
gemma-4-12b-itexact_digest_broker_shortAprovado3430.74 s
gemma-4-12b-itquickAprovado2115.05 s
gemma-4-12b-itstreamAprovado14.722 s
gemma-4-12b-ittoolsAprovado33.869 s
gemma-4-12b-itvisionAprovado12056.315 s
gemma-4-12b-itvision_contextAprovado65,690282.174 s
gemma-4-12b-itvision_reverseAprovado12029.978 s
gemma3-4bcontextAprovado65,58463.564 s
gemma3-4bexact_digest_65k_recallFalhou67,25262.07 s
gemma3-4bquickAprovado155.151 s
gemma3-4bstreamAprovado22.552 s
gemma3-4bvisionAprovado3068.276 s
gemma3-4bvision_contextAprovado65,87667.575 s
gemma3-4bvision_reverseAprovado3065.651 s
gpt-oss-20bcontextAprovado65,637189.07 s
gpt-oss-20bexact_digest_aperture_65kAprovado72,104245.94 s
gpt-oss-20bexact_digest_broker_shortAprovado8415.96 s
gpt-oss-20bquickAprovado7215.431 s
gpt-oss-20bstreamAprovado31.052 s
gpt-oss-20btoolsAprovado23.65 s
nomic-embed-textcontextIncompleto2,048
nomic-embed-textquickAprovado2.798 s
qwen3-14bcontextIncompleto40,939872.209 s
qwen3-14bquickAprovado1536.021 s
qwen3-14bstreamAprovado33.491 s
qwen3-14btoolsAprovado82.471 s
qwen3-8bcontextIncompleto1800.07 s
qwen3-8bquickAprovado1519.283 s
qwen3-8bstreamAprovado19.401 s
qwen3-8btoolsAprovado65.054 s
qwen3.5-9bcontextAprovado65,579258.048 s
qwen3.5-9bexact_digest_aperture_65kAprovado81,051324.07 s
qwen3.5-9bexact_digest_broker_shortAprovado2994.48 s
qwen3.5-9bquickAprovado1527.16 s
qwen3.5-9bstreamAprovado28.62 s
qwen3.5-9btoolsAprovado28.129 s
qwen3.5-9bvisionAprovado7525.047 s
qwen3.5-9bvision_contextAprovado65,640369.477 s
qwen3.5-9bvision_reverseAprovado7527.602 s

Sistema E

Rótulo da rota do modeloVerificaçãoResultadoTokens de entradaDuração da solicitação
gemma-4-e4b-itcontextAprovado65,59049.086 s
gemma-4-e4b-itquickAprovado2123.911 s
gemma-4-e4b-itstreamAprovado28.136 s
gemma-4-e4b-ittoolsAprovado56.756 s
granite-4.0-h-tinycontextAprovado65,566
granite-4.0-h-tinyquickAprovado3510.408 s
granite-4.0-h-tinystreamAprovado27.798 s
granite-4.0-h-tinytoolsAprovado43.304 s
granite-4.2-3bcontextAprovado65,5891014.03 s
granite-4.2-3bquickAprovado2014.569 s
granite-4.2-3bstreamAprovado6.948 s
granite-4.2-3btoolsAprovado56.376 s
qwen3-embedding-0.6bcontextAprovado32,76720.387 s
qwen3-embedding-0.6bquickAprovado149.592 s
qwen3.5-0.8bcontextAprovado16,4299.128 s
qwen3.5-0.8bquickAprovado17452.417 s
qwen3.5-0.8bstreamAprovado11.163 s
qwen3.5-0.8btoolsAprovado39.214 s
qwen3.5-2bcontextAprovado65,57930.343 s
qwen3.5-2bquickAprovado1512.509 s
qwen3.5-2bstreamAprovado26.165 s
qwen3.5-2btoolsAprovado42.056 s
qwen3.5-4bcontextAprovado65,57953.787 s
qwen3.5-4bquickAprovado1526.736 s
qwen3.5-4bstreamAprovado26.02 s
qwen3.5-4btoolsAprovado57.293 s
qwen3.5-4bvisionAprovado7210.09 s
qwen3.5-4bvision_contextAprovado65,63744.88 s
qwen3.5-4bvision_reverseAprovado729.96 s

Sistema F

Rótulo da rota do modeloVerificaçãoResultadoTokens de entradaDuração da solicitação
gemma-4-e4b-itcontextAprovado65,59098.443 s
gemma-4-e4b-itquickAprovado2127.51 s
gemma-4-e4b-itstreamAprovado28.042 s
gemma-4-e4b-ittoolsAprovado73.891 s
granite-4.0-h-tinycontextAprovado65,59919.692 s
granite-4.0-h-tinyquickAprovado3543.818 s
granite-4.0-h-tinystreamAprovado27.296 s
granite-4.0-h-tinytoolsAprovado75.377 s
granite-4.2-3bcontextAprovado65,589145.179 s
granite-4.2-3bquickAprovado2015.703 s
granite-4.2-3bstreamAprovado35.482 s
granite-4.2-3btoolsAprovado52.539 s
qwen3-embedding-0.6bcontextAprovado32,76720.656 s
qwen3-embedding-0.6bquickAprovado148.122 s
qwen3.5-0.8bcontextAprovado16,42913.326 s
qwen3.5-0.8bquickAprovado17445.22 s
qwen3.5-0.8bstreamAprovado13.266 s
qwen3.5-0.8btoolsAprovado40.825 s
qwen3.5-2bcontextAprovado65,57961.282 s
qwen3.5-2bquickAprovado1516.738 s
qwen3.5-2bstreamAprovado25.29 s
qwen3.5-2btoolsAprovado47.444 s
qwen3.5-4bcontextAprovado65,57993.753 s
qwen3.5-4bquickAprovado1533.039 s
qwen3.5-4bstreamAprovado25.658 s
qwen3.5-4btoolsAprovado71.731 s
qwen3.5-4bvisionAprovado7043.053 s
qwen3.5-4bvision_contextAprovado65,63584.749 s
qwen3.5-4bvision_reverseAprovado7027.518 s

Sistema G

Rótulo da rota do modeloVerificaçãoResultadoTokens de entradaDuração da solicitação
gemma-4-e4b-itcontextAprovado65,59092.696 s
gemma-4-e4b-itquickAprovado2138.329 s
gemma-4-e4b-itstreamAprovado43.549 s
gemma-4-e4b-ittoolsAprovado66.616 s
granite-4.0-h-tinycontextAprovado65,59969.777 s
granite-4.0-h-tinyquickAprovado3533.17 s
granite-4.0-h-tinystreamAprovado31.751 s
granite-4.0-h-tinytoolsAprovado63.338 s
granite-4.2-3bcontextAprovado65,589100.849 s
granite-4.2-3bquickAprovado2023.355 s
granite-4.2-3bstreamAprovado28.75 s
granite-4.2-3btoolsAprovado44.226 s
qwen3-embedding-0.6bcontextAprovado32,76723.055 s
qwen3-embedding-0.6bquickAprovado148.924 s
qwen3.5-0.8bcontextAprovado16,42916.74 s
qwen3.5-0.8bquickAprovado17504.813 s
qwen3.5-0.8bstreamAprovado15.095 s
qwen3.5-0.8btoolsAprovado36.672 s
qwen3.5-2bcontextAprovado65,57976.731 s
qwen3.5-2bquickAprovado1520.949 s
qwen3.5-2bstreamAprovado25.194 s
qwen3.5-2btoolsAprovado37.552 s
qwen3.5-4bcontextAprovado65,57990.807 s
qwen3.5-4bquickAprovado1541.84 s
qwen3.5-4bstreamAprovado40.812 s
qwen3.5-4btoolsAprovado54.999 s
qwen3.5-4bvisionAprovado7029.619 s
qwen3.5-4bvision_contextAprovado65,63587.496 s
qwen3.5-4bvision_reverseAprovado7026.283 s

Como testei a viabilidade do Hermes

Usei um marcador sintético perto do início de um prompt longo e pedi o marcador após o texto de preenchimento. A resposta precisava retornar o valor esperado. A contagem de tokens de entrada informada pelo servidor determinou o tamanho da solicitação. Um modelo que respondia normalmente após um prompt grande ainda falhava se o marcador inicial estivesse errado.

A progressão Qwen3.5 35B usou registros de preenchimento numerados, temperatura 0 e comprimentos crescentes de 3.800, 6.800, 10.000 e 13.600 registros. Esses estágios retornaram 69.429, 124.179, 182.579 e 248.279 tokens de prompt. O modelo permaneceu carregado entre os estágios, permitindo a reutilização de prefixo. As verificações separadas de Qwen3.6 perto do limite informaram zero tokens em cache.

O prompt longo de 0.8B repetiu river stone lantern orchard circuit velvet compass marble 8.400 vezes entre uma chave de resposta inicial e uma pergunta final de recuperação. A execução nativa enviou think:false, num_ctx:131072, stream:false e keep_alive:0. A rota compatível com OpenAI usou reasoning_effort:"none". O broker impôs o modo sem raciocínio na rota, então os clientes do gateway não precisaram de uma substituição no cliente.

Verificações de ferramentas, visão e liberação

Os testes de ferramentas verificaram a solicitação e a resposta após o retorno do resultado da ferramenta. Um teste simples usou add_numbers(7, 11) e esperou 18. O teste Qwen3.5 35B usou lookup_square e esperou 49. GPT-OSS fez uma consulta de inventário e precisava incorporar o resultado retornado.

As verificações de visão usaram perguntas sobre imagens vermelhas e azuis, inverteram a ordem das imagens e incluíram cores de imagens e marcadores inicial e final em prompts longos. O teste Qwen3.5 35B usou um PNG vermelho de 256 × 256. Foi necessária uma correção na conversão de conteúdo de imagem do broker antes de a solicitação passar. O teste longo de visão 4B no sistema E exigiu que ambos os marcadores e a ordem das cores sobrevivessem à entrada.

Verifiquei memória de GPU, residência do modelo, temperaturas, pressão de memória do host, eventos OOM e falhas de GPU durante e em torno das execuções longas. A proteção Qwen3.5 35B também verificou a liberação após uma interrupção controlada. Verificações posteriores de cancelamento do cliente e solicitações enfileiradas exercitaram o caminho do broker. Duas solicitações na fila demonstram o tratamento de solicitações sob a carga testada, não dois backends GPU independentes e simultâneos.

Como interpretar os resultados de desempenho

As durações das solicitações incluem o pré-processamento de entradas longas e a resposta retornada. Elas não são tokens gerados por segundo. O atraso até o primeiro conteúdo importa no streaming, e as progressões de prefixo em cache precisam de uma interpretação própria.

As execuções posteriores bem-sucedidas dos modelos maiores nos sistemas A e C usaram janelas de inferência dedicadas com a mineração inativa. Os modelos foram descarregados após essas solicitações. A mineração foi restaurada nos sete sistemas ao fim da janela de teste. Esses resultados descrevem o serviço do modelo durante uma janela de inferência, não mineração e inferência simultâneas.

Perfis de backend usados nos testes

Escolha o perfil vinculado à carga que deseja reproduzir. Quantização, contexto de execução, tipo de cache, modo de raciocínio e distribuição de GPU influenciam o resultado.

Sistema e modeloPerfil de backend testado
A, Qwen3.5 35B-A3B Q4_K_MOllama 0.34.2, cache KV f16, ambas as RTX 5060 Ti de 16 GB, 64 GiB de RAM do host e contexto de execução 262.144 para a progressão grande. As solicitações nativas usaram think:false, temperatura 0, streaming e cinco minutos de permanência entre estágios. Solicitações do gateway usaram o broker e o LiteLLM. Sem limite de saída da solicitação.
A, Qwen3.8 27Bllama.cpp sob demanda pelo broker e LiteLLM, contexto de execução 262.144, um slot de inferência, cache K/V Q4 e ambas as RTX 5060 Ti. A solicitação de 66.007 tokens não tinha limite de saída.
A, Qwen3.6-35B-A3B UD-Q4_K_XLStrata 0.1.48, contexto 131.072, cache KV INT8, uma GPU selecionada, limite de memória de grupo de processos de 55 GiB, limite de execução de 30 minutos, carregamento preguiçoso, descarregamento após 60 segundos ocioso. Resposta longa piloto: 217 tokens de saída. Resposta do gateway perto do limite: 11 tokens de saída, sem limite de saída da solicitação.
A, Qwen3.8-Flash-Next UD-IQ4_XSStrata 0.1.48, contexto 98.304, cache KV Q4, cache de especialistas residente de 8 GiB e ambas as RTX 5060 Ti. Limite de memória piloto de 52 GiB, rota posterior de 54 GiB. Resposta longa piloto: 10 tokens de saída. Combinações anteriores de contexto/cache maiores pararam nos limites de memória.
A, Granite 4.2 8BPesos GGUF Q6_K, processo de trabalho compartilhado do llama.cpp, contexto 131.072, cache K/V Q4_0, --n-predict -1. A solicitação longa usou temperatura 0, streaming de uso e sem limite de saída.
A, DeepSeek Coder V2 16BPesos GGUF Q4_0, Ollama 0.34.2, duas RTX 5060 Ti e 64 GiB de RAM do host. Testes separados de cache f16, Q4_0 e Q8_0 usaram os contextos de execução mostrados na tabela comparativa. Sem limite de saída da solicitação.
B, C, D, serviço Ollama auditadoOllama 0.34.2, contexto 131.072, paralelismo 1, um modelo carregado, fila de tamanho 128, permanência 0, Flash Attention, cache KV Q4_0.
B, piloto de gateway Qwen3.5 9BTempo limite de rota LiteLLM de 1.800 segundos, zero novas tentativas e sem limite de contexto ou de tokens de saída. Ambos os marcadores foram retidos com 72.265 tokens de entrada. A verificação separada de recuperação da mineração passou.
C, Qwen3.5 0.8BPesos Q8_0 em uma RTX 2000E Ada com perfil de energia de 30 W. Contexto de execução 131.072. think:false nativo, reasoning_effort:"none" compatível com OpenAI, sem limite de saída. O alias do broker fixou o contexto de execução e impôs o modo sem raciocínio.
C, Gemma 4 12B-ITPerfil Ollama de uma GPU, contexto de execução 131.072, solicitações Aperture com e sem streaming, sem limite de saída. A execução direta do Aperture atingiu pico de 75 C e 30,64 W no perfil configurado de 30 W e depois descarregou o modelo.
D, Qwen3.5 9B, Gemma 4 12B-IT, GPT-OSS 20BArtefatos instalados exatos testados via Aperture, contexto de execução 131.072, residência completa em uma GPU e conclusão natural sem limite de saída da solicitação.
E, F, G, processos de chat do llama.cppBuild 11669, 99 camadas de GPU, paralelismo 1, Flash Attention, cache K/V Q4_0, --n-predict -1. O contexto de execução variou pela família do modelo.

Os perfis de serviço registrados descrevem suas próprias configurações de execução. O perfil Qwen3.5 35B com cache f16 testado separadamente no sistema A não herda as configurações de cache Q4_0 dos sistemas Ollama menores.

Impressões digitais dos modelos nas novas execuções de retenção de entrada

Esses identificadores distinguem os artefatos testados de outros downloads ou aliases com nomes parecidos.

ArtefatoQuantizaçãoDigest registrado ou SHA-256 do arquivo
Tag Ollama Qwen3.5 35B-A3BQ4_K_M72aac7c28be8ff9b81c2a270eb489c88e6d822a76ec0cb7bf34d965768848567
Tag Ollama base Qwen3.5 0.8BQ8_0de63045f29755d4721c09d54c9b45c2dadb644f4fd7d604d4cac90d96049971c
Arquivo GGUF Granite 4.2 8BQ6_K5ad3d67f6fe09a448031029bead7f6a088697ca2787c0c5640bf964c59df1a21

Digests de manifesto Ollama e valores SHA-256 de arquivos de pesos identificam objetos diferentes. Associe o identificador ao tipo de artefato na tabela.

O que eu executaria com Hermes

Eu faria de Qwen3.5 35B a principal rota de contexto alto no sistema com duas RTX 5060 Ti. Seu resultado de retenção de 239.153 tokens pelo gateway, as aprovações separadas de ferramentas e visão e a liberação de solicitações verificada sustentam essa escolha mais que um modelo anunciado com uma grande janela de contexto. Eu manteria Qwen3.8 27B para respostas mais rápidas na comparação de 66K e Qwen3.6 quando usar uma placa for importante.

Nos sistemas RTX 2000E Ada, eu escolheria a rota Gemma 3 4B verificada do sistema C para a carga testada de resposta com entrada longa. Testaria a rota Qwen3.5 0.8B sem raciocínio para recuperação e extração delimitadas. Rotas maiores Gemma, Qwen e GPT-OSS servem para tarefas que aceitam a resposta inicial testada de quatro a cinco minutos. Eu excluiria a rota Gemma 3 malsucedida do sistema D.

Para as placas RTX 3060 Ti e RTX 3070 de 8 GB, começaria com Qwen3.5 2B ou 4B. Seus resultados textuais de 65K e as verificações de imagem 4B sustentam uma configuração inicial útil sem dedicar as duas placas de 16 GB a cada solicitação. A pressão de memória do Flash Next e o comportamento incompleto em 65K do DeepSeek Coder V2 tornam essas opções padrão mais fracas nos perfis testados.

Os testes sustentam essas escolhas de modelo e sistema para fluxos de trabalho específicos. Retenção de entrada, uma interação correta com ferramenta, reconhecimento de imagem e liberação limpa respondem a aspectos diferentes da viabilidade do Hermes. Uma configuração confiável precisa dos comportamentos usados pelo seu agente, com contexto suficiente para a resposta e o tráfego das ferramentas.

Fontes e leitura relacionada