NVIDIA 推出 RTX AI PC 加速以增强 AnythingLLM
realtime news May 31, 2025 03:29
NVIDIA 最新将 RTX GPU 集成到 AnythingLLM 中，提供更快的本地 AI 工作流性能，提高了 AI 爱好者的可访问性。
NVIDIA 通过支持 NVIDIA NIM 微服务和 RTX GPU，为全能 AI 应用 AnythingLLM 引入了重要增强。根据 NVIDIA 官方博客，这一开发承诺提供更快的性能和更灵敏的本地 AI 工作流。
什么是 AnythingLLM？
AnythingLLM 旨在为用户提供一个全面的 AI 应用程序，允许运行本地大型语言模型（LLMs）、检索增强生成（RAG）系统和代理工具。它弥合了用户喜爱的 LLMs 与其数据之间的差距，促进了如问题解答、个人数据查询、文档摘要、数据分析和代理动作等任务。该应用支持多种开源本地 LLMs 和来自 OpenAI 和 Microsoft 等提供商的更大云端 LLMs。
该应用通过一键安装即可访问，并可作为独立应用或浏览器扩展功能，提供用户友好的体验而无需复杂设置。这使其对于配置了 GeForce RTX 和 NVIDIA RTX PRO GPU 的 AI 爱好者特别具有吸引力。
RTX 为 AnythingLLM 加速
通过集成 GeForce RTX 和 NVIDIA RTX PRO GPU，大大提高了 AnythingLLM 的性能，利用为 AI 加速优化的张量核心加速推理过程。结合 Ollama 和 Llama.cpp 进行设备上的执行，以及 ggml 张量库，进一步优化了 NVIDIA RTX GPU 上的机器学习过程。这些增强带来了性能提升，GeForce RTX 5090 提供的 LLM 推理速度比 Apple 的 M3 Ultra 快 2.4 倍。
具有 NVIDIA NIM 的新功能
AnythingLLM 的 NVIDIA NIM 微服务支持为用户提供了预打包的生成 AI 模型，从而简化了在 RTX AI PC 上启动 AI 工作流。这些微服务对于希望在工作流内快速测试生成 AI 模型的开发人员特别有利。它们通过提供一个包含所有必要组件的单一容器而优化了流程，能够在本地和云端运行。
凭借 AnythingLLM 的用户友好界面，用户可以轻松地在工作流中试验和集成 NIM 微服务。此外，NVIDIA 的 AI 蓝图和 NIM 文档为用户提供了进一步增强 AI 项目的资源。
NVIDIA 的 NIM 微服务和 AI 蓝图的持续开发预计将解锁更多多模态 AI 用例，进一步扩展像 AnythingLLM 这样的应用程序的能力。
Image source: Shutterstock