Search Results for "推理"
NVIDIA GH200 超级芯片2倍提升Llama模型推理性能
据NVIDIA称，NVIDIA GH200 Grace Hopper超级芯片将Llama模型的推理性能提高了2倍，增强了用户互动性，而不会影响系统吞吐量。
Perplexity AI 利用 NVIDIA 推理堆栈处理每月 4.35 亿次查询
Perplexity AI 使用 NVIDIA 的推理堆栈，包括 H100 Tensor Core GPU 和 Triton Inference Server，每月管理超过 4.35 亿次搜索查询，优化性能并降低成本。
Together AI与NVIDIA的Blackwell GPU实现突破性推理速度
Together AI使用NVIDIA HGX B200展示了全球最快的DeepSeek-R1-0528模型推理速度，提升了AI在实际应用中的能力。
通过NVIDIA Run:ai和Dynamo集成增强LLM推理
NVIDIA的Run:ai v2.23与Dynamo集成，解决大型语言模型推理挑战，提供团体调度和拓扑感知放置，实现高效、可扩展的部署。
NVIDIA的突破：通过先进技术实现数学问题求解推理速度提升4倍
NVIDIA使用NeMo-Skills、TensorRT-LLM和ReDrafter优化大型语言模型，实现了解决复杂数学问题推理速度提升4倍，优化了大规模扩展。
