开源AI：代理混合对齐革新LLMs的后训练
realtime news May 29, 2025 10:23
代理混合对齐（MoAA）是一种突破性的后训练方法，通过利用开源集体智能来增强大型语言模型的能力，详细内容见最新ICML 2025论文。
代理混合对齐（MoAA）代表了人工智能领域的重大进展，尤其是在优化大型语言模型（LLMs）的性能方面，如近期的ICML 2025论文中所述。根据together.ai，MoAA作为一种创新的后训练方法，通过利用开源LLMs的集体智能来实现高效的模型性能。
MoAA简介
MoAA在代理混合（MoA）方法奠定的基础上发展而来，后者曾在聊天任务中优于GPT-4o。MoAA将这种集成优势整合到单一模型中。这种方法通过将多个模型的集体智能提取成更紧凑和高效的形式，解决了MoA先前面临的高计算成本和架构复杂性问题。
性能增强
MoAA已证明其能够使较小的模型达到先前仅限于其大小达十倍的模型的性能水平。这是在保持较小模型的成本效益和效率优势的同时实现的。实际上，MoAA开发的模型表现出与更大模型竞争的性能，突显了开源开发在AI领域的潜力。
实验验证
在实验设置中，MoAA在多个对齐基准上进行了测试，包括AlpacaEval 2、Arena-Hard和MT-Bench。这些基准包含与GPT-4的直接响应比较，确保一致且高质量的评估。结果表明，用MoAA方法微调的模型表现显著提升，甚至超过了用更强数据集如GPT-4o训练的模型。
成本效益
从成本角度看，MoAA提供了使用闭源模型的更经济的替代方案。例如，使用MoAA生成UltraFeedback子集需要$366，而使用GPT-4o则需$429，显示出15%的成本降低，同时实现更优的性能。
直接偏好优化
MoAA通过直接偏好优化（DPO）进一步提升模型性能，通过使用奖励模型对齐模型的偏好进行精炼。这种方法在使用监督微调（SFT）训练的模型表现上有显著改善，证明MoAA在偏好对齐方面的有效性。
自我改进的管道
MoAA的引入为AI开发提供了一条自我改进的管道。通过整合MoAA生成的数据，即便是MoA混合中最强的模型也能获得巨大的性能提升，表明无需依赖更强大的LLMs也能实现持续改进。
随着AI社区继续探索开源模型的潜力，MoAA作为一种有前景的方法在推动LLMs能力发展方面脱颖而出，为未来AI开发提供规模化和高效的路径。
Image source: Shutterstock