Голосовой AI-агент на украинском: где ломается распознавание

Компания выбирает поставщика распознавания речи для голосового агента примерно так: открывает лидерборд, смотрит на верхнюю строку, проверяет, есть ли украинский в списке поддерживаемых языков. Украинский там есть почти везде. На этом проверка обычно заканчивается.

Проблема в том, что число из верхней строки измерено не на том материале, с которым агент будет работать. А замера именно на таком материале мы не нашли: ни на страницах вендоров, ни в независимых лидербордах, ни в публикациях на arXiv.

Три публичных числа об украинском — и ни одно не про ваш звонок

Эти три числа цитируют чаще всего, когда речь заходит о распознавании украинской речи.

Каждое из этих чисел корректно. Проблема возникает в тот момент, когда их ставят рядом и начинают сравнивать.

Первое — со страницы самой ElevenLabs об украинском языке. Там приведены 3,5% WER — это word error rate, доля неправильно распознанных слов в транскрипте, — на бенчмарке FLEURS, и в таблице прямо указано, что это Scribe v1. FLEURS — это речь, начитанная вслух и записанная в хороших условиях: диктор, тишина, полная полоса частот.

Второе число — из индекса AA-WER v2.0 от Artificial Analysis, независимой стороны. В августе 2026 года Scribe v2 возглавлял этот индекс с результатом 2,3%, за ним шёл Gemini 3 Pro с 2,9%; на октябрь 2026 года у Scribe v2 2,2% и четвёртое место. Вот только индекс состоит из трёх датасетов: AA-AgentTalk (вес 50%), VoxPopuli-Cleaned-AA (25%) и Earnings22-Cleaned-AA (25%), и ни одного украинского результата там не опубликовано — как и разбивки по языкам вообще. «Лучшая модель в мире» — корректное утверждение об индексе, в котором вашего языка не было.

С третьим числом случилось самое интересное. Страница сравнения Soniox с Google приводила 8,5% WER на украинском против 18,3% — вендорский материал, где условия были указаны честно: исследование 2025 года на реальном YouTube-аудио. По состоянию на 25.08.2026 эта страница уже не открывается. Поисковые системы её ещё помнят, а сервер отдаёт 404.

Вместо неё на живой странице Soniox об украинском языке на октябрь 2026 года остались формулировки «World’s most accurate Ukrainian speech-to-text» и «industry-leading error rates», то есть утверждения о самой высокой точности и самом низком уровне ошибок без единого числа. Раздел бенчмарков у этого же вендора существует, но измеряет только английский.

Разница между 3,5% и 8,5% читалась как двукратное преимущество первой модели. На самом деле это разница между дикторской записью в студии и роликами с ютуба: сравнивались условия, а не модели. Ещё и в разные годы, ещё и на версиях, которые вендоры выбирали сами. А теперь одно из двух чисел просто исчезло — и проверить его по первоисточнику больше нельзя.

Почему телефонный канал приходится считать отдельно

У всех трёх замеров есть общая черта: ни один не делался на телефонии.

Телефонный звонок — это узкополосный сигнал: частота дискретизации 8 кГц, полезная полоса примерно 3,4 кГц, сжатие кодеком G.711. По сравнению со студийной записью с дискретизацией 16 кГц и выше из него физически вырезана верхняя часть спектра. Именно там живут признаки, по которым различаются глухие согласные, — и украинские шипящие и свистящие, которых в языке много, страдают от этого первыми. Добавьте к этому фоновый шум на стороне абонента: улица, машина, магазин, ребёнок рядом.

Модель, которая показывает 3,5% на дикторской записи, на этом материале покажет другое число. Насколько другое, зависит от конкретной модели — и именно такой проверки на украинском мы в открытых источниках не нашли.

Есть ещё одна ловушка, чисто техническая. Многие рассчитывают забрать аудио звонка через обычный HTTP-API провайдера телефонии, а потом обнаруживают, что там лежит только запись постфактум, когда разговор уже завершился. Для аналитики звонков этого достаточно, для диалога — нет. Живой поток даёт SIP-транк, а это уже собственный медиа-слой в контуре: SBC, который принимает RTP и отдаёт его распознаванию. Побочное преимущество такой схемы: на этом же слое можно убрать шум до того, как аудио попадёт в модель.

Где именно ломается украинский в звонке

Акцент — не главная сложность. Настоящие точки срыва другие, и они специфичны для украинского рынка.

Переключение языков внутри реплики. Человек начинает на украинском, вставляет русское слово, возвращается обратно. Суржик в бытовой речи — норма, а не исключение, и для модели это самый тяжёлый класс: она должна удерживать две фонетические системы одновременно и решать, к какой относится конкретное слово.

Имена собственные. Названия городов, посёлков и районов, фамилии, названия компаний и брендов. Здесь у модели нет подсказки из контекста предложения, и ошибается она именно на том слове, ради которого звонок и состоялся.

Быстрая эмоциональная речь, перебивания, обрывы. Человек, который звонит с проблемой, говорит не так, как диктор: быстрее, проглатывая окончания, перебивая собеседника на середине фразы.

Первые два класса — не догадка из практики, а измеряемый факт. Просто измерен он на других языках.

Урок о вендорских числах: версия, дата, условия

Когда в Grow2.ai прорабатывали архитектуру голосового агента для квалификации лидов, оценка началась с тревожного числа: распознавание украинской речи у одного из кандидатов якобы даёт 13,5% ошибок. Для сценария, где агент должен правильно услышать название города, это выглядело как приговор — и чуть не закрыло вариант ещё до проверки. Это эпизод нашей внутренней оценки, а не опубликованный замер: поставщика и дату мы не называем, потому что само число здесь не доказательство, а иллюстрация.

Стоило поискать источник числа, как оно рассыпалось. Цифра относилась к предыдущему поколению модели и была измерена на грязном аудио с ютуба — на материале, заведомо более сложном, чем средний. К текущей версии, которая на тот момент уже вышла, она отношения не имела.

Вывод из этого эпизода не о конкретном поставщике. Он о том, что любое число о точности распознавания без трёх координат — версия модели, дата замера, условия записи — не информация. Это маркетинговая строка, которой одинаково легко и что-то продать, и что-то ошибочно отклонить.

Обе ловушки, кстати, ждут на одной и той же странице вендора: украинское число там приведено для первой версии модели, а заголовок о первом месте в мире опирается на индекс, в котором украинского нет.

Дословная точность вам не нужна

Большую часть тревоги вокруг WER снимает одно наблюдение о том, что именно агент должен услышать.

WER измеряет долю неправильно распознанных слов во всём транскрипте. Но агент, который квалифицирует лиды, не пишет стенограмму. Он должен извлечь из разговора несколько полей, от которых зависит, куда лид пойдёт дальше: например, город собеседника и суть обращения. Остальной разговор может быть распознан сколь угодно приблизительно — на маршрутизацию это не влияет.

Получается, значимая метрика — не WER, а точность по полям решения. Транскрипт с 12% ошибок, где ни одна не пришлась на название города, для задачи квалификации лучше транскрипта с 6% ошибок, где половина испортила именно топонимы. Модель, которая в целом выглядит слабее, может оказаться более подходящей — если она лучше держит имена собственные.

Отсюда следует и то, как снижать риск. Вместо погони за последним процентом общей точности задачу сужают: короткий сценарий, в котором агент должен выяснить две-три вещи за 20–30 секунд; переспрос при низкой уверенности; подсказка модели списком ожидаемой лексики — перечнем городов, которые реально встречаются в ваших звонках. Последний приём поддерживают сами модели: в Scribe v2, например, keyterm-prompting позволяет передать слова и фразы, на которые модель должна обращать особое внимание: на октябрь 2026 года — до 1000 в пакетном режиме и до 50 в режиме реального времени.

План проверки до запуска, а не после

Раз публичного числа нет, его приходится получать самостоятельно. Ниже — то, что Grow2.ai закладывает в план проверки перед пилотом. Это именно план, а не отчёт об измеренном результате: корректные числа появляются только на аудио конкретного проекта, и взять их откуда-то ещё невозможно.

1. Собрать собственный тестовый набор. Реальные записи звонков из вашей телефонии, а не студийные фразы. Достаточно нескольких десятков разговоров, но обязательно с тем распределением, которое у вас действительно есть: города, суржик, шум, обрывы.
2. Разметить эталон вручную. Без правильного ответа сравнивать не с чем. Размечается не весь текст дословно, а поля решения — что человек на самом деле сказал о городе и о сути обращения.
3. Прогнать нескольких кандидатов на одном наборе. Сравнение имеет смысл только тогда, когда условия одинаковы для всех, — именно этого не хватает публичным числам.
4. Считать точность по полям, а не WER. Плюс отдельно: долю случаев, когда модель была не уверена и агенту следовало переспросить.
5. Тестировать распознавание и логику диалога отдельно. Иначе непонятно, что именно сломалось: агент не услышал город или услышал и неправильно решил, куда вести лид.
6. Проверить шумоподавление как отдельный вариант. Тот же набор, прогнанный с очисткой аудио перед распознаванием и без неё, показывает, стоит ли этот слой усложнения архитектуры.

Такой прогон стоит нескольких дней работы и даёт число, которого нет ни в одном лидерборде, — зато оно именно о ваших звонках. Логика здесь та же, что и в чек-листе запуска агента за две недели: проверка на реальных данных ставится перед масштабированием, а не после.

Что измерять после запуска

Пилот даёт стартовую точку, дальше нужен постоянный надзор. С первого дня на мониторинг стоит вывести точность по полям решения, то есть долю звонков, где город и суть обращения определены правильно, а рядом с ней — ошибки маршрутизации с разбивкой по причине: лид уехал не в ту стадию, потому что агент не услышал или потому что неправильно решил.

Отдельно идёт частота переспросов, и желательного направления у неё нет. Если агент переспрашивает слишком часто, разговор становится изматывающим и люди кладут трубку. Если не переспрашивает совсем, он угадывает. Нормальный коридор приходится нащупывать на живом трафике, и он разный для разных сценариев.

Четвёртый показатель — доля разговоров, которые агент признал нетиповыми и отдал оператору. Это не признак слабости системы. Агент, который вовремя передаёт сложный случай человеку, ведёт себя правильно; проблема возникает тогда, когда он не передаёт ничего. Эта граница компетенции задаётся так же, как и остальные защитные механизмы, — о них подробнее в разборе трёх уровней защиты AI-агента.

Что из этого следует для решения о внедрении

Отсутствие публичного замера — не повод отказываться от голосового агента на украинском. Это повод не покупать решение по лидерборду.

Выбор поставщика распознавания перестаёт быть частью закупки и становится частью пилота. Это меняет и формат договорённости с подрядчиком: проверка на ваших записях должна стоять в плане до того, как зафиксирована окончательная архитектура, а не после подписания акта. Общий подход к тому, какие задачи вообще стоит отдавать агенту в продажах, разобран в гайде для руководителя, а арифметика сравнения с работой менеджера — отдельно.

Для собственника из этого раздела следует один вопрос к подрядчику: что вы делаете с репликой, которую модель распознала неправильно, — переписываете её целиком или переспрашиваете человека. Ответ «переписываем» означает, что названия городов и фамилии ваших клиентов агент будет править наугад. Дальше — механика этого слоя для тех, кто будет его строить.

Для технической команды: коррекционный слой над распознаванием

Поверх одного прохода распознавания можно поставить языковую модель, которая ведёт многошаговое уточнение: классифицирует реплику собеседника как подтверждение, новую информацию или исправление, находит ошибочный фрагмент в транскрипте и редактирует именно его, а не переписывает всю реплику. Так сделано в работе Agentic ASR (arXiv:2605.29430, препринт подан 28 мая 2026 года), и в ней наибольшая доля смысловых ошибок снимается уже на первом уточнении — в том числе на бенчмарке с именами собственными, то есть в том самом классе, который ломает украинскую телефонию.

Механику коррекции, метрику S²ER, полные таблицы и границы этого результата мы разобрали отдельно: исправление ошибок распознавания речи — три шага. Там же — что из этих чисел переносится на украинский, а что нет, и что это значит для цены и сроков пилота.

Для внедрения здесь важнее механика, чем проценты. Коррекция работает через диалог: модель уточняет то, в чём не уверена. В голосовом агенте это превращается в простое поведение — переспросить, а не угадать. Агент, который переспрашивает название города при низкой уверенности распознавания, делает то же, что и корректирующая модель в этой работе, только вместо второй модели использует собеседника.

Следующий шаг — обсудить пилот голосового агента: за одну встречу определяем, какие поля решения критичны в ваших звонках и как построить проверку на ваших записях. Напишите нам.

И деталь, которую обычно замечают уже после запуска: тестовый набор должен жить дальше. Звонки меняются вместе с рекламными кампаниями и сезоном, и набор, собранный один раз перед пилотом, через несколько месяцев перестаёт описывать то, что реально приходит на линию.

Источники:

• The Batch, Issue 367 — «Agents Come to Speech Recognition» (21.08.2026)
• Agentic ASR — arXiv:2605.29430
• Artificial Analysis — Speech to Text Leaderboard (AA-WER v2.0)
• ElevenLabs — Ukrainian Speech to Text
• Soniox — Ukrainian Speech to Text (страница сравнения с Google, приводившая 8,5% WER, по состоянию на 25.08.2026 отдаёт 404)