Voice Standard Bench clasifica los LLMs para la extracción de transcripciones

Voice Standard Bench ha publicado una comparación específica para transcripciones de grandes modelos de lenguaje para la extracción de datos estructurados, argumentando que las llamadas habladas plantean problemas diferentes a los PDFs o páginas web. En los 2026-10-28 resultados citados en la publicación, el modelo superior cambia según la longitud de la transcripción, mientras que la validez del esquema y la fundamentación siguen siendo centrales en la puntuación.

Evidencia y contexto

La publicación, publicada por AssemblyAI sobre 2026-10-27 y etiquetada como actual a fecha de 2026-10-28, afirma que el benchmark evalúa más de 50 modelos sobre la extracción de información a partir de la salida de voz a texto. Se centra en una forma JSON fija para participantes, elementos de acción, decisiones y entidades nombradas, y requiere que los modelos generen solo el objeto, con todas las claves presentes. Si un campo no tiene nada que informar, el benchmark utiliza un array vacío o la cadena "unsspecificated" en lugar de una suposición o una clave faltante.

Según la metodología descrita en la publicación, la puntuación comienza con una comprobación mecánica del esquema. Las salidas que no devolven JSON válido con todas las claves requeridas reciben la peor puntuación de rúbrica y también se cuentan por separado como fallos de esquema. Las salidas válidas se juzgan entonces por fundamento y completitud por Claude Opus 5.5 y GPT-5.6 SOL, con los jueces de dos registrados por separado y luego combinados. El benchmark se ejecuta a cuatro longitudes de transcripción: 30 segundos, 2 minutos, 15 minutos y 60 minutos, usando 10 transcripciones reales por cubo.

Las tarjetas publicadas muestran que el mejor modelo varía con la longitud. Para transcripciones de 30 segundos, gpt-5.6-SOL puntua 94. Para transcripciones de 2 minutos, nemotron-lightning-3p5-30b-a3b aparece en 100, pero la publicación marca ese resultado como un caso atípico porque el modelo registró 15 solicitudes con error en ese cubo y las solicitudes con error quedan excluidas de la puntuación. Su tiempo medio de respuesta de 2 minutos es 18.1 segundos, y la publicación señala que su puntuación de extracción de 30 segundos es 26. Las siguientes puntuaciones más altas de 2 minutos son gpt-5.6-luna y gemini-4-argón, ambas de 91.

Para llamadas de soporte de 15 minutos, gpt-6-luna figura como el modelo de mayor rendimiento en 85, mientras que la entrada más barata es nemotron-3-nano-30b-a3b en 49 y la más rápida es qwen3.5-4b-32k rápida en 33 con un tiempo de respuesta mediano de 1.49 segundos. Para reuniones de 60 minutos, gpt-6.1-SOL lidera a 85, con nemotron-3-nano-30b-a3b la opción de menor coste a 52 y gemini-3.5-flash-lite el más rápido a 59 con un tiempo de respuesta mediano de 2.86 segundos.

La publicación utiliza estos resultados para plantear un punto más específico: la longitud de la transcripción cambia el problema de extracción. Dice que las entradas cortas favorecen modelos pequeños, rápidos y baratos, mientras que las transcripciones más largas dan más peso al manejo y completitud del contexto. A 30 segundos, 43 de los modelos 52 en la tabulación puntuan 80 o más; a 60 minutos, solo 9 modelos lo hacen. La misma publicación dice que qwen3.5-4b-32k- rápido 80 a 30 segundos pero cae a 33 a 15 minutos, ilustrando el desplazamiento.

Lo que dice el benchmark para vigilar

El artículo identifica cuatro modos recurrentes de fallo en la extracción de transcripciones: números mal escuchados o deletreados, nombres y hedging escritos por completo, atribución del hablante y diafonía o disfluencia. Sostiene que un modelo entrenado para producir texto fluido puede inventar detalles plausibles pero sin fundamento, lo cual es especialmente problemático cuando la salida está destinada a poblar campos JSON posteriores.

AssemblyAI también señala que su producto Gateway soporta salidas estructuradas mediante response_format y esquema JSON para varias familias de modelos, y que la llamada a herramientas es una alternativa. La publicación incluye un flujo de trabajo de extracción de ejemplo que transcribe primero el audio y luego pasa la transcripción a un LLM con un esquema estricto. Recomienda validar las salidas, volver a intentarlo una vez en caso de fallo y usar campos vacíos o "no especificados" en lugar de forzar al modelo a adivinar.

Los resultados de los benchmarks se presentan como una guía para la selección de modelos, no como garantía para su uso en producción. La publicación dice explícitamente que la página en vivo es la fuente de verdad y que cambiará a medida que cambien los modelos. También señala que las tarjetas en vivo del benchmark no aplican un mínimo de calidad a las opciones más baratas y rápidas, por lo que se recomienda a los usuarios consultar la puntuación antes de enviar una de esas selecciones.

A la fecha de publicación citada en el material fuente, no se proporcionó el siguiente catalizador verificado.