Исследователи, включая Германа Кумбонга и Ишана Хара, представили Next-Concept Modeling — параллельную генерационную структуру для языковых моделей, которая создаёт текст грубо-тонким способом, аналогично человеческой разработке идей.
Результаты производительности
Согласно объявлению Stanford ИИ Lab, NCM обеспечивает сопоставимое или лучшее качество, чем сильные базовые модели языка диффузии, при этом выполняя 10 до 31 раз быстрее для задач, таких как безусловная генерация, суммаризация, перевод и рассуждение, такие как судоку.
- До 31 раз быстрее в резюме и машинном переводе с аналогичным или превосходящим качеством вывода.
- 10 до 21 раз быстрее безусловную генерацию на наборах данных, таких как TinyStories, LM1Bи OpenWebText, используя меньшее количество обучающих токенов.
- Улучшенные результаты в задачах рассуждения с уменьшением шагов выборки по сравнению с авторегрессивными и диффузионными методами.