Le Bench standard vocal classe les LLM pour l’extraction des relevés de notes

Voice Standard Bench a publié une comparaison spécifique à la transcription de grands modèles de langage pour l’extraction de données structurées, arguant que les appels parlés posent des problèmes différents de ceux des PDF ou des pages web. Dans les résultats 2026-10-28 cités par le post, le modèle principal varie selon la longueur de la transcription, tandis que la validité du schéma et la fondation restent centrales dans la notation.

Preuves et contexte

Le post, publié par AssemblyAI sur 2026-10-27 et intitulé actuel à 2026-10-28, indique que le benchmark évalue plus de 50 modèles sur l’extraction d’informations à partir de la sortie vocale-texte. Il se concentre sur une forme JSON fixe pour les participants, les actions et les entités nommées, et exige que les modèles ne produisent que l’objet, avec toutes les clés présentes. Si un champ n’a rien à signaler, le benchmark utilise un tableau vide ou la chaîne « non spécifiée » plutôt qu’une supposition ou une clé manquante.

Selon la méthodologie décrite dans l’article, la notation commence par une vérification mécanique du schéma. Les sorties qui ne retournent pas de JSON valide avec toutes les clés requises reçoivent la pire note de grille et sont également comptées séparément comme des échecs de schéma. Les sorties valides sont ensuite jugées sur la fondation et l’exhaustivité par Claude Opus 5.5 et GPT-5.6 SOL, les deux juges étant suivis séparément puis combinés. La référence fonctionne à quatre longueur de transcription : 30 secondes, 2 minutes, 15 minutes et 60 minutes, en utilisant 10 transcriptions réelles par bucket.

Les fiches publiées montrent que le meilleur modèle varie selon la longueur. Pour les transcriptions de 30 secondes, gpt-5.6-SOL scores 94. Pour les transcriptions de 2 minutes, nemotron-lightning-3p5-30b-a3b est listé à 100, mais le post marque ce résultat comme une exception car le modèle enregistré 15 requêtes errées dans ce bloc et les requêtes erronées sont exclues du score. Son temps médian de réponse de 2 minutes est de 18.1 secondes, et le post indique que son score d’extraction de 30 secondes est 26. Les scores suivants les plus élevés en 2 minutes sont gpt-5.6-luna et gemini-4-argon, tous deux à 91.

Pour les appels de support de 15 minutes, gpt-6-luna est listé comme le modèle le plus performant à 85, tandis que l’entrée la moins chère est nemotron-3-nano-30b-a3b à 49 et la plus rapide est qwen3.5-4b-32k- rapide à 33 avec un temps de réponse médian de 1.49 secondes. Pour les réunions de 60 minutes, gpt-6.1-SOL leads à 85, avec nemotron-3-nano-30b-a3b l’option la moins coûteuse à 52 et gemini-3.5-flash-lite le plus rapide à 59 avec un temps de réponse médian de 2.86 secondes.

Le post utilise ces résultats pour faire un point plus précis : la longueur de la transcription modifie le problème d’extraction. Il est dit que les entrées courtes favorisent les modèles petits, rapides et peu coûteux, tandis que les transcriptions plus longues accordent plus d’importance à la gestion du contexte et à leur complétude. À 30 secondes, 43 des modèles 52 sur la note de tabulation 80 ou plus ; à 60 minutes, seuls 9 modèles le font. Le même post indique qwen3.5-4b-32k- rapides 80 à 30 secondes mais descend à 33 à 15 minutes, illustrant ce décalage.

Ce que le benchmark dit à surveiller

L’article identifie quatre modes de défaillance récurrents dans l’extraction de transcription : des chiffres mal entendus ou orthographiés, des noms et des couvertures orthographiés, l’attribution du locuteur, ainsi que la diaphonie ou la disfluence. Il soutient qu’un modèle entraîné pour produire un texte fluide peut inventer des détails plausibles mais non supportés, ce qui pose particulièrement problème lorsque la sortie est destinée à remplir les champs JSON en aval.

AssemblyAI note également que son produit Gateway prend en charge des sorties structurées via response_format et schéma JSON pour plusieurs familles de modèles, et que l’appel d’outils est une alternative. Le post inclut un flux de travail d’extraction d’échantillons qui transcrit d’abord l’audio, puis transmet la transcription à un LLM avec un schéma strict. Il recommande de valider les sorties, de réessayer une fois en cas d’échec, et d’utiliser des champs vides ou « non spécifiés » plutôt que de forcer le modèle à deviner.

Les résultats du benchmark sont présentés comme des indications pour le choix des modèles, et non comme une garantie pour l’utilisation en production. Le post précise explicitement que la page live est la source de vérité et évoluera au fur et à mesure que les modèles évoluent. Il précise également que les cartes live du benchmark n’appliquent pas de plancher de qualité aux options les moins chères et les plus rapides, il est donc conseillé aux utilisateurs de vérifier le score avant d’expédier une de ces options.

À la date de publication cité dans le matériel source, le catalyseur vérifié suivant n’a pas été fourni.