Des chercheurs tels que Hermann Kumbong et Ishan Khare ont introduit la modélisation Next-Concept, un cadre de génération parallèle pour les modèles de langage qui produit du texte de manière grossière à fine, similaire au développement humain des idées.
Résultats de performance
Selon l’annonce du Stanford IA Lab, NCM offre une qualité comparable ou supérieure à celle des bases de modèles de langage à diffusion forte tout en exécutant 10 à 31 fois plus rapidement sur des tâches telles que la génération, la synthèse, la traduction et les benchmarks de raisonnement inconditionnels tels que le Sudoku.
- Jusqu’à 31 fois plus rapides en résumé et traduction automatique avec une qualité de sortie similaire ou supérieure.
- 10 à 21 génération inconditionnelle plus rapide sur des ensembles de données comme TinyStories, LM1B et OpenWebText en utilisant moins de jetons d’entraînement.
- Amélioration des résultats sur les tâches de raisonnement avec une réduction des étapes d’échantillonnage par rapport aux approches autorégressives et de diffusion.