Voice Standard Bench ранжирует LLM для извлечения транскриптов

Voice Standard Bench опубликовал сравнение крупных языковых моделей для извлечения структурированных данных, специальное на транскрипт, утверждая, что разговорные звонки создают иные проблемы, чем PDF или веб-страницы. В 2026-10-28 результатах, приведённых в посте, топ-модель меняется в зависимости от длины транскрипта, в то время как валидность и обоснованность схемы остаются центральными для оценки оценки.

Доказательства и контекст

Пост, опубликованный AssemblyAI на 2026-10-27 и обозначенный как текущий по состоянию на 2026-10-28год, говорит, что бенчмарк оценивает более 50 моделей извлечения информации из выхода из речи в текст. Он фокусируется на фиксированной JSON-форме для участников, действий, решений и именованных сущностей, и требует, чтобы модели выводили только объект с каждым ключом. Если поле не имеет значения для отчета, бенчмарк использует пустой массив или строку «unspecificified» вместо догадки или отсутствующего ключа.

Согласно методологии, описанной в посте, оценка начинается с механической проверки схемы. Результаты, не возвращающие действительный JSON со всеми необходимыми ключами, получают худший балл по рубрике и также учитываются отдельно как сбои схемы. Валидные результаты затем оцениваются по обоснованности и полноте Claude Opus 5.5 и GPT-5.6 SOL, при этом два судей отслеживаются отдельно и затем объединяются. Бенчмарк проходит четыре длины транскриптов: 30 секунды, 2 минуты, 15 минуты и 60 минуты, используя 10 реальные транскрипты на кокет.

Опубликованные карточки показывают, что лучшая модель меняется с длиной. Для транскриптов 30-секунды gpt-5.6-SOL оценивает 94. Для транскриптов 2минуты немотрон-lightning-3p5-30b-a3b указывается на 100, но пост отмечает эти результаты как исключение, потому что модель, зафиксированная 15 ошибочные запросы в этом корзе, и ошибочные запросы исключаются из оценки. Медианное время ответа 2минуты составляет 18.1 секунд, а в посте отмечается, что оценка экстракции 30-секунды равна 26. Следующие по величине 2минуты — gpt-5.6-луна и gemini-4-аргон, оба на 91.

Для 15-минутных звонков в поддержку gpt-6-luna указана как самая производительная модель на 85, а самая дешёвая — nemotron-3—nano-30b-a3b при 49 , а самая быстрая — qwen3.5-4b-32k-fast при 33 с медианным временем отклика 1.49секунды. Для 60-минутных встреч gpt-6.1-SOL лидирует на 85, при этом nemotron-3-nano-30b-a3b самый низкозатратный вариант на 52 , а gemini-3.5-flash-lite — самый быстрый в 59 с медианным временем отклика в 2.86секунды.

В посте используются эти результаты, чтобы сделать более узкую мысль: длина стенограммы меняет проблему извлечения. В нём говорится, что короткие входные данные предпочитают небольшие, быстрые и дешёвые модели, тогда как длинные транскрипты придают больше значения обработке контекста и полноте. При 30 секунде 43 из 52 моделей в вкладке оценивают 80 и выше; при 60 минутах — только 9 модели. В том же посте говорится, что qwen3.5-4b-32k-быстрые оценки 80 30 секунды, но падают до 33 на 15 минутах, что иллюстрирует этот сдвиг.

Что говорит бенчмарк, за которым стоит следить

В статье выделяются четыре повторяющихся способа отказа при извлечении транскриптов: неправильно услышанные или выписанные числа, написанные имена и хеджирование, атрибуция говорящего и перекрёстные разговоры или дисфлуэнция. В статье утверждается, что модель, обученная создавать беглый текст, может придумывать правдоподобные, но неподкреплённые детали, что особенно проблематично, когда результат предназначен для заполнения последующих JSON-полей.

AssemblyAI также отмечает, что его продукт Gateway поддерживает структурированные выходы через response_format и JSON Schema для нескольких семейств моделей, и что вызов инструментов является альтернативой. В посте представлен рабочий процесс по извлекательию образцов, который сначала транскрибует аудио, а затем передаёт транскрипт в LLM с строгой схемой. Рекомендуется проверять выходы, повторять один раз при неудаче и использовать пустые поля или «неуточнённые» вместо того, чтобы заставлять модель угадывать.

Результаты бенчмарков представлены как ориентир для выбора модели, а не как гарантия для использования в производстве. В посте прямо говорится, что живая страница — источник правды и будет меняться по мере изменения моделей. Также отмечается, что живые карты бенчмарка не устанавливают минимум качества для самых дешёвых и быстрых вариантов, поэтому пользователям рекомендуется проверять рейтинг перед отправкой один из этих вариантов.

На момент публикации, указанной в исходном материале, следующий подтверждённый катализатор не был предоставлен.