NVIDIA detalha o design da rota de construção do TensorRT Global Performance Tuner

A NVIDIA delineou o design e o modelo operacional do seu TensorRT Global Performance Tuner, um recurso lançado no TensorRT 11.1 que busca rotas alternativas de build para melhorar o desempenho da inferência respeitando as restrições de precisão, segundo um blog de desenvolvedores publicado em 2026-10-23.

Evidências e contexto

No post, a NVIDIA descreve o tuner como um sistema automático, consciente da precisão e de otimização de desempenho de ponta a ponta, que personaliza as decisões do compilador para diferentes modelos. A empresa afirma que a ideia central é representar estratégias alternativas de agendamento como rotas de compilação explícitas e pesquisáveis, em vez de depender de um único caminho de compilação padrão. Quando nenhuma rota é especificada, o TensorRT usa sua rota padrão de compilação, na qual cada botão do compilador permanece em seu valor padrão, segundo a NVIDIA.

O blog explica que uma rota de build é uma combinação de valores de knob do compilador sintonizáveis, enquanto a especificação da rota não é a descrição completa do motor. O TensorRT ainda executa as etapas restantes de construção do motor, incluindo a seleção de táticas, e pode reconciliar valores solicitados com restrições de rede. A NVIDIA diz que o TensorRT expõe APIs para definir, consultar e enumerar rotas de build através do IBuilderConfig::setBuildRoute, IBuilderConfig::getBuildRoute e IBuilderConfig::getAllBuildRoutes.

De acordo com o post, o exemplo open-source trtexec implementa um loop de ajuste que expande uma expressão de rota em rotas concretas, constrói cada candidato, mede precisão e desempenho, exclui rotas que travam ou falham em verificações de precisão e seleciona o motor elegível mais rápido. A NVIDIA diz que o TensorRT 11.1 fornece mais de 200 knobs para ajuste, e que a implementação em Python também será lançada no Torch-TensorRT 2.15.

Resultados de desempenho e limitações

A NVIDIA afirma que o efeito prático de explorar múltiplas rotas de build é visível em medições de ponta a ponta. Em uma figura referenciada no post, a empresa compara a rota padrão do TensorRT, normalizada a 1.0x, com a melhor rota elegível encontrada durante o ajuste entre dez cargas de trabalho. A NVIDIA afirma que a melhoria de desempenho medida variou de 1.14x a 1.63x, dependendo da carga de trabalho. A empresa atribui a variação às diferenças nas oportunidades de otimização entre modelos e formas de implantação.

O post também usa um exemplo hipotético para descrever o entrelaçamento desempenho-precisão. A NVIDIA diz que o tuner trata a precisão como uma restrição e o desempenho como a métrica de classificação entre os candidatos que atendem a essa restrição. O blog observa que o conjunto exato elegível depende da métrica de precisão fornecida pelo usuário, dos dados de referência e do limiar de tolerância, e que as contagens ilustrativas no exemplo não são universais. Também afirma que o experimento mental é independente de qualquer versão específica do TensorRT e tem como objetivo mostrar o princípio mais amplo de otimização.

A NVIDIA diz que o Global Performance Tuner não elimina os trade-offs; em vez disso, ele os torna explícitos. A empresa apresenta o processo como otimização restrita, com precisão definindo candidatos aceitáveis e o desempenho medido de ponta a ponta determinando o vencedor entre esses candidatos.

Orientação operacional

O post oferece várias diretrizes de uso. A NVIDIA recomenda escolher a estratégia de busca com base no tamanho do espaço de busca, tratar a rota padrão de build como referência e usar busca rápida, mista ou completa, dependendo de quantos botões estão sendo avaliados. A empresa diz --dryRun pode exibir a lista de rotas antes do início do ajuste, mas essa opção não é suportada com busca mista porque sua segunda fase depende de medições anteriores.

A NVIDIA também diz que o ajuste pode ser incremental e retomável quando um arquivo cache de ajuste é usado, com --continue permitindo que uma varredura retome a partir do estado registrado. Para depuração, --saveAllEngines pode preservar todos os motores produzidos durante o ajuste, embora a empresa alerte que isso pode exigir armazenamento substancial. O post acrescenta que os resultados anteriores de ajustes devem ser tratados como orientação, e não como resultados transferíveis, já que a melhor rota depende do modelo, formas, hardware, pilha de software e versão do TensorRT.

O blog faz parte de um ciclo mais amplo de lançamento do TensorRT que continuou além de 11.1. O changelog da NVIDIA mostra o TensorRT 11.3 GA no 2026-09-22 e o TensorRT 11.4 GA no 2026-10-09, enquanto o TensorRT 11.1 GA foi lançado em 2026-06-24. A versão mais recente listada no background fornecido é 11.4.0.