NVIDIA détaille la conception des routes de construction du TensorRT Global Performance Tuner

NVIDIA a présenté la conception et le modèle opérationnel de son TensorRT Global Performance Tuner, une fonctionnalité publiée dans TensorRT 11.1 qui recherche des itinéraires de compilation alternatifs pour améliorer la performance d’inférence tout en respectant les contraintes de précision, selon un blog de développeurs publié sur 2026-10-23.

Preuves et contexte

Dans cet article, NVIDIA décrit le tuner comme un système automatique, conscient de la précision et d’optimisation des performances de bout en bout, qui personnalise les décisions du compilateur pour différents modèles. La société affirme que l’idée centrale est de représenter des stratégies de planification alternatives comme des routes de compilation explicites et consultables, plutôt que de s’appuyer sur un seul chemin de compilation par défaut. Lorsqu’aucune route n’est spécifiée, TensorRT utilise sa route de compilation par défaut, dans laquelle chaque bouton du compilateur reste à sa valeur par défaut, précise NVIDIA.

Le blog explique qu’une route de build est une combinaison de valeurs de boutons de compilateur ajustables, tandis que la spécification de la route n’est pas la description complète du moteur. TensorRT effectue toujours les étapes restantes de construction du moteur, y compris la sélection tactique, et peut concilier les valeurs demandées avec les contraintes réseau. NVIDIA indique que TensorRT expose les API à la définition, à l’interrogation et à l’énumération des routes de compilation via IBuilderConfig ::setBuildRoute, IBuilderConfig ::getBuildRoute et IBuilderConfig ::getAllBuildRoutes.

Selon le post, l’exemple open source de trtexec implémente une boucle d’ajustement qui étend une expression de route en routes concrètes, construit chaque candidat, mesure la précision et les performances, exclut les routes qui plantent ou échouent aux vérifications de précision, et sélectionne le moteur éligible le plus rapide. NVIDIA affirme que TensorRT 11.1 fournit plus de 200 boutons pour l’ajustement, et que l’implémentation Python sera également publiée dans Torch-TensorRT 2.15.

Résultats de performance et limites

NVIDIA affirme que l’effet pratique de l’exploration de multiples routes de build est visible dans les mesures de bout en bout. Dans une figure référencée dans l’article, l’entreprise compare la route TensorRT par défaut, normalisée à 1.0x, avec la meilleure voie éligible trouvée lors de l’ajustement à travers dix charges de travail. NVIDIA indique que l’amélioration mesurée des performances variait de 1.14x à 1.63x, selon la charge de travail. L’entreprise attribue cette variation à des différences d’opportunités d’optimisation entre les modèles et les formes de déploiement.

Le post utilise également un exemple hypothétique pour décrire l’intrication performance-précision. NVIDIA indique que le tuner considère la précision comme une contrainte et la performance comme la métrique de classement parmi les candidats qui remplissent cette contrainte. Le blog note que l’ensemble exact éligible dépend de la métrique de précision fournie par l’utilisateur, des données de référence et du seuil de tolérance, et que les décomptes illustratifs dans l’exemple ne sont pas universels. Il est également indiqué que l’expérience de pensée est indépendante de toute version spécifique de TensorRT et vise à montrer le principe d’optimisation plus large.

NVIDIA affirme que le Global Performance Tuner n’élimine pas les compromis ; au contraire, il les rend explicites. L’entreprise présente le processus comme une optimisation contrainte, avec la précision définissant les candidats acceptables et la performance mesurée de bout en bout déterminant le gagnant parmi ces candidats.

Guidage opérationnel

Le post propose plusieurs directives d’utilisation. NVIDIA recommande de choisir une stratégie de recherche basée sur la taille de l’espace de recherche, de considérer la route de compilation par défaut comme une base, et d’utiliser une recherche rapide, mixte ou complète selon le nombre de boutons en cours d’évaluation. La société indique --dryRun peut afficher la liste des routes avant le début de l’ajustement, mais cette option n’est pas prise en charge par la recherche mixte car sa seconde phase dépend de mesures antérieures.

NVIDIA précise également que l’ajustement peut être incrémental et reprenable lorsqu’un fichier cache de tuning est utilisé, avec --continue permettant à un balayage de reprendre depuis l’état enregistré. Pour le débogage, --saveAllEngines peut préserver tous les moteurs produits pendant le réglage, bien que la société avertisse que cela pourrait nécessiter un stockage important. Le post ajoute que les résultats de réglage précédents doivent être considérés comme des indications plutôt que comme des résultats transférables, car la meilleure voie dépend du modèle, des formes, du matériel, de la pile logicielle et de la version TensorRT.

Le blog fait partie d’un cycle de sortie plus large de TensorRT qui s’est poursuivi au-delà de 11.1. Le journal des modifications de NVIDIA montre TensorRT 11.3 GA sur 2026-09-22 et TensorRT 11.4 GA sur 2026-10-09, tandis que TensorRT 11.1 GA a été publié en 2026-06-24. La dernière version indiquée dans le contexte fourni est 11.4.0.