O Voice Standard Bench classifica LLMs para extração de transcrições

O Voice Standard Bench publicou uma comparação específica para transcrição de grandes modelos de linguagem para extração de dados estruturados, argumentando que chamadas faladas apresentam problemas diferentes dos PDFs ou páginas da web. Nos resultados 2026-10-28 citados no post, o modelo principal muda conforme o comprimento da transcrição, enquanto a validade e a fundamentação do esquema permanecem centrais para a pontuação.

Evidências e contexto

O post, publicado pela AssemblyAI sobre 2026-10-27 e rotulado como atual em 2026-10-28, diz que o benchmark avalia mais de 50 modelos na extração de informações a partir da saída de voz para texto. Ele foca em uma forma JSON fixa para participantes, itens de ação, decisões e entidades nomeadas, e exige que os modelos produzam apenas o objeto, com todas as chaves presentes. Se um campo não tiver nada a reportar, o benchmark usa um array vazio ou a string "não especificada" em vez de um palpite ou uma chave ausente.

De acordo com a metodologia descrita no post, a pontuação começa com uma verificação mecânica do esquema. Saídas que não retornam JSON válido com todas as chaves necessárias recebem a pior pontuação da rubrica e também são contadas separadamente como falhas de esquema. As saídas válidas são então avaliadas quanto à fundamentação e completude pelo Claude Opus 5.5 e GPT-5.6 SOL, com os juízes dois sendo monitorados separadamente e depois combinados. O benchmark roda em quatro comprimentos de transcrição: 30 segundos, 2 minutos, 15 minutos e 60 minutos, usando 10 transcrições reais por balde.

Os cartões publicados mostram que o melhor modelo varia com o comprimento. Para transcrições de 30 de segundo, gpt-5.6-SOL pontua 94. Para transcrições de 2 minutos, nemotron-lightning-3p5-30b-a3b é listado em 100, mas o post sinaliza esse resultado como um outlier porque o modelo registrou 15 solicitações com erro naquele bucket e as solicitações com erro são excluídas da pontuação. Seu tempo mediano de resposta de 2 minutos é de 18.1 segundos, e o post indica que sua pontuação de extração de 30 de segundo é 26. As próximas pontuações mais altas em 2 minutos são gpt-5.6-luna e gemini-4-argônio, ambas em 91.

Para chamadas de suporte de 15 minutos, gpt-6-luna é listado como o modelo de maior desempenho em 85, enquanto a entrada mais barata é nemotron-3-nano-30b-a3b em 49 e a mais rápida é qwen3.5-4b-32k-rápida em 33 com tempo de resposta mediano de 1.49 segundos. Para reuniões de 60 minutos, gpt-6.1-SOL lidera em 85, com nemotron-3-nano-30b-a3b a opção de menor custo em 52 e gemini-3.5-flash-lite a mais rápida em 59 com um tempo de resposta mediano de 2.86 segundos.

O post usa esses resultados para fazer um ponto mais específico: o comprimento da transcrição muda o problema da extração. Diz que entradas curtas favorecem modelos pequenos, rápidos e baratos, enquanto transcrições mais longas dão mais peso ao tratamento do contexto e à completude. Em 30 segundos, 43 dos modelos 52 na tabulação pontuam 80 ou mais; em 60 minutos, apenas 9 modelos o fazem. A mesma postagem diz que qwen3.5-4b-32k- rápido 80 pontua a 30 segundos, mas cai para 33 em 15 minutos, ilustrando a mudança.

O que o benchmark diz para ficar de olho

O artigo identifica quatro modos recorrentes de falha na extração de transcrições: números mal ouvidos ou soletrados, nomes e hedging grafados, atribuição de falante e crosstalk ou disfluência. Argumenta que um modelo treinado para produzir texto fluente pode inventar detalhes plausíveis, porém não sustentados, o que é especialmente problemático quando a saída é destinada a preencher campos JSON posteriores.

AssemblyAI também observa que seu produto Gateway suporta saídas estruturadas via response_format e JSON Schema para várias famílias de modelos, e que a chamada de ferramenta é uma alternativa. O post inclui um fluxo de trabalho de extração de exemplos que transcreve primeiro o áudio, depois passa a transcrição para um LLM com um esquema rigoroso. Ele recomenda validar as saídas, tentar novamente uma vez em caso de falha e usar campos vazios ou "não especificados" em vez de forçar o modelo a adivinhar.

Os resultados do benchmark são apresentados como orientação para a seleção de modelos, não como garantia para uso em produção. O post diz explicitamente que a página ao vivo é a fonte da verdade e mudará conforme os modelos mudam. Também observa que os cards ao vivo do benchmark não aplicam um piso de qualidade para as opções mais baratas e rápidas, então os usuários são orientados a conferir a pontuação antes de enviar uma dessas escolhas.

Até a data de publicação citada no material original, o próximo catalisador verificado não foi fornecido.