Hermann Kumbong과 Ishan Khare를 포함한 연구자들은 인간의 아이디어 개발과 유사한 텍스트를 거칠고 세정한 방식으로 생성하는 병렬 생성 프레임워크인 Next-Concept Modeling을 도입했습니다.
성과
스탠포드 AI연구소 발표에 따르면, NCM은 강력한 확산 언어 모델 베이스라인과 동등하거나 더 나은 품질을 제공하며, 무조건 생성, 요약, 번역, 스도쿠 같은 추론 벤치마크 작업에서 10배에서 31배 더 빠르게 실행됩니다.
- 요약과 기계 번역 시 최대 31 배 더 빠르며, 출력 품질도 유사하거나 우수합니다.
- TinyStories, LM1B, OpenWebText 같은 데이터셋에서 적은 훈련 토큰으로 무조건 생성이 21배 빠르게 10.
- 자기회귀 및 확산 접근법에 비해 표본 추출 단계를 줄인 추론 과제 결과가 향상되었습니다.