斯坦福AI实验室:QuasiMoTTo减少LLM采样47%
斯坦福AI实验室推出QuasiMoTTo相关采样技术,相同性能下采样减少25-47%,RL训练步数减半。
原文链接详细分析
斯坦福AI实验室推出QuasiMoTTo解决推理计算扩展中的独立采样浪费问题。该方法生成相关样本,在保持LLM边际精确性的同时提升覆盖率并减少重复。结果显示,测试时扩展中采样减少25-47%即可达到相同基准性能,RL训练步数减少50%,共同作者包括Michael Y. Li等。
Stanford AI Lab
@StanfordAILabThe Stanford Artificial Intelligence Laboratory (SAIL), a leading #AI lab since 1963.