NVIDIA通过新工具和更新增强RTX PC上的本地LLM体验
realtime news Oct 01, 2025 13:13
NVIDIA推出了针对RTX PC本地运行大语言模型的优化，借助Ollama和LM Studio等工具，提升AI应用的性能和隐私。
根据NVIDIA最近的一篇博客文章，NVIDIA正在通过为RTX PC优化大语言模型（LLM）在本地AI处理方面取得进展，为用户提供增强的隐私和性能。公司推出了包括Ollama、AnythingLLM和LM Studio在内的多项工具和更新，以简化个人电脑上LLM的使用。
在本地运行LLM
由于用户寻求对其数据的更大控制和隐私，运行LLM的本地需求也在增长。直到最近，这还需要在输出质量上妥协。然而，由于NVIDIA的进步，新的开放权重模型，如OpenAI的gpt-oss和阿里的Qwen 3，现在可以直接在PC上运行。这些模型承诺提供高质量的输出，使学生、爱好者和开发者能够在支持NVIDIA RTX PC的本地环境中探索生成式AI应用。
优化的RTX PC工具
NVIDIA已经为RTX PC优化了领先的LLM应用程序，利用RTX GPU中的Tensor Cores来实现最大性能。一个关键工具是Ollama，这是一个开源接口，简化了运行和与LLM的交互。它支持功能如拖放式PDF提示、对话聊天和将文本与图片整合的多模态工作流。
NVIDIA与Ollama合作以增强其在GeForce RTX GPU上的性能，推出了针对各种型号的改进和新模型调度系统。这些优化旨在最大化内存利用率并提高多GPU效率。
LM Studio和AnythingLLM
对于爱好者来说，由llama.cpp框架驱动的LM Studio提供了方便用户在本地运行模型的界面。用户可以实时与不同的LLM交互，并将其集成到定制项目中，作为本地应用编程接口。NVIDIA与llama.cpp合作在RTX GPU上优化性能，实施了Flash Attention和CUDA内核优化等功能。
此外，AnythingLLM允许用户使用任意LLM创建AI助理，提供文件上传、自定义知识库和对话界面支持。这种灵活性使用户能够构建AI驱动的学习辅助和研究工具，NVIDIA RTX PC则确保快速和私密的响应。
项目G-Assist增强
NVIDIA的实验性AI助手项目G-Assist已更新，提供新的功能来调整和控制游戏PC。最新更新包括调整笔记本设置、优化应用以提高效率的命令，以及控制如BatteryBoost和WhisperMode等功能的命令。这种可扩展性使用户可以使用G-Assist Plug-In Builder创建自定义功能。
NVIDIA的这些进步将彻底改变本地AI处理的格局，为用户提供高效、私密和高质量的AI体验。有关更详细的信息，请访问NVIDIA博客。
Image source: Shutterstock.jpg)