ヘルマン・クンボンやイシャン・カーレらの研究者は、人間のアイデア開発に似た粗い方法から細かい方法でテキストを生成する言語モデル向けの並行生成フレームワークである「次世代概念モデリング」を導入しました。
パフォーマンス結果
スタンフォードAI研究所の発表によると、NCMは強力な拡散言語モデルベースラインと同等かそれ以上の品質を提供し、無条件生成、要約、翻訳、数独などの推論ベンチマークなどのタスクでは10倍から31倍速く動作します。
- 要約や機械翻訳では最大 31 倍速く、同等かそれ以上の出力品質で対応可能です。
- TinyStories、LM1B、OpenWebTextのようなデータセットでは、訓練トークン数を減らし、無条件生成を21倍速く10します。
- 自己回帰および拡散アプローチと比較してサンプリングステップを減らし、推論課題で成果が改善されました。