据@hyperbolic_labs称，英伟达H200在大型语言模型推理方面相比H100可快至1.9倍，来源指出该延迟优势对响应时间敏感的生产环境至关重要（来源：@hyperbolic_labs）。据@hyperbolic_labs称，这一低延迟特性直指生产级生成式AI工作负载的快速推理需求（来源：@hyperbolic_labs）。