Pesquisadores como Hermann Kumbong e Ishan Khare introduziram o Next-Concept Modeling, uma estrutura de geração paralela para modelos de linguagem que produz texto de forma grosseira a fina, semelhante ao desenvolvimento de ideias humanas.
Resultados de Desempenho
De acordo com o anúncio do Stanford IA Lab, o NCM oferece qualidade comparável ou superior às bases fortes de modelos de difusão linguística, ao mesmo tempo em que roda 10 a 31 vezes mais rápido em tarefas como geração incondicional, sumarização, tradução e benchmarks de raciocínio, como Sudoku.
- Até 31 vezes mais rápido em resumo e tradução automática, com qualidade de saída semelhante ou superior.
- 10 21 geração incondicional mais rápida em conjuntos de dados como TinyStories, LM1B e OpenWebText usando menos tokens de treinamento.
- Resultados aprimorados em tarefas de raciocínio com redução de passos de amostragem em comparação com abordagens autorregressivas e de difusão.