优化AI检索：选择最佳分块策略
realtime news Jun 18, 2025 17:35
探讨AI系统提高检索准确性的最佳分块策略。了解NVIDIA关于页面级、章节级和基于标记的分块实验的见解。
在人工智能领域，特别是在带有检索增强生成（RAG）系统中，将大文件分解为更小、可管理的部分——即分块，是至关重要的。根据NVIDIA的一篇博文，糟糕的分块可能导致不相关的结果和效率低下，从而影响业务价值和AI响应的效果。
分块的重要性
分块在RAG管道的预处理过程中起着至关重要的作用，因为它涉及将文档分割成更小的部分，以便高效的索引和检索。良好实施的分块策略可以显著提高检索的精确性和上下文信息的连贯性，这对生成准确的AI响应至关重要。对于企业而言，这可以通过有效的资源利用来提高用户满意度并降低运营成本。
分块策略的实验
NVIDIA的研究评估了包括基于标记、页面级和章节级分块在内的各种策略，跨多个数据集进行。在不同的内容和用例中，目的是为选择最有效的策略提供指导。实验涉及的数据集包括DigitalCorpora767、FinanceBench等，重点关注检索质量和响应准确性。
实验结果
实验表明，页面级分块通常提供最高的平均准确性和最高的一致性表现，跨不同的数据集。虽然基于标记的分块也有效，但其结果因分块大小和重叠而异。使用文档结构作为自然边界的章节级分块表现良好，但通常不如页面级分块。
分块策略选择指南
根据实验结果，提出了以下建议：
- 页面级分块建议作为默认策略，因为其性能一致。
- 对于金融文档，考虑标记大小为512或1,024，以实现潜在的改善。
- 查询的性质应指导分块大小的选择；事实型查询受益于较小的分块，而复杂查询可能需要较大的分块或页面级分块。
结论
该研究强调了选择合适的分块策略以优化AI检索系统的重要性。尽管页面级分块作为稳健的默认策略出现，但数据和查询的具体需求应指导最终决策。通过实际数据进行测试对于实现最佳性能至关重要。
有关更详细的见解，您可以阅读NVIDIA博客上的完整博文此处。
Image source: Shutterstock.jpg)
