스탠포드 AI연구소 연구진은 긴 문맥 입력에 대해 최대 11x 더 빠른 프리필을 달성하는 토큰 게이트 언어 모델을 도입했으며, 이는 맥락을 훑어보고 중요한 토큰만 조건부 전달하는 방식을 학습했습니다.
이 접근법은 조밀 모델에서 전문가 혼합 모델로의 이전 패러다임 전환을 반영하며, 2026-10-21 스탠포드 AI 연구소가 발표한 바에 따르면 컨텍스트 토큰의 새로운 확장 축에 따라 조건부 계산을 적용합니다.
스탠포드, 더 빠른 프리채움을 11x 있는 토큰게이트 LLM을 공개하다
· Stanford AI Lab
스탠포드 AI 연구소의 X에 따르면, 토큰 게이트 언어 모델은 긴 문맥 입력을 스치고 조건부 포워딩을 학습하여 조밀한 처리에 비해 최대 11x 빠른 프리필을 제공합니다.
원문 출처 읽기