За десять кроків уточнення семантична помилка на англомовному бенчмарку GigaSpeech падає з 21,47% до 3,49%. Word Error Rate на тому самому наборі за ті самі десять кроків зсувається з 11,92% до 10,43%.
Один транскрипт, один ремонт, дві метрики. Та, за якою обирають постачальника розпізнавання, майже нічого не помітила.
Обидва стовпці стоять поруч у Table II роботи Agentic ASR (arXiv:2605.29430), препринт подано 28 травня 2026 року. Автори — лабораторія X-LANCE у Shanghai Jiao Tong University, Fudan University, Китайський університет Гонконгу в Шеньчжені та команда Tongyi Fun з Alibaba Group; звідси й вибір моделей, бо і розпізнавання, і корекцію в експерименті роблять Qwen. Спосіб, у який ця робота ремонтує транскрипт, пояснює й розрив між стовпцями.
Чому «виправ транскрипт» ламається як команда
Типова схема поверх розпізнавання виглядає так: ASR видає гіпотезу, мовна модель її прибирає. Схема тримається рівно доти, доки користувач мовчки приймає результат.
Стаття відкривається сценою, яку впізнає кожен, хто говорив із голосовим асистентом. Людина просить: «Ask Megan to send me the budget file». Система чує Morgan і бадьоро відповідає, що звернеться до Morgan. Людина заперечує: «No! It's Megan». Ця репліка теж проходить через розпізнавання, і для системи вона нічим не відрізняється від попередньої — просто новий шматок мовлення, який треба транскрибувати й додати. Виправлення потрапляє в транскрипт замість того, щоб його змінити. У Fig. 1 статті цю сцену розкладено на три колонки, і середня — традиційна схема — закінчується промовисто: людина втрачає терпіння й диктує по літерах, «No! It's Megan, M-e-g-a-n», а система бере рівно цей рядок і записує його як розпізнаний текст.
Перш ніж щось редагувати, систему треба навчити розуміти, що прозвучало саме редагування. В Agentic ASR це окремий крок — маршрутизація наміру, яка відносить репліку до однієї з трьох категорій:
Намір | Що робить система |
|---|---|
| лишає поточний стан транскрипту без змін |
| дописує репліку як новий зміст |
| редагує вже наявний стан транскрипту |
Тільки третя гілка веде до редактора, дві інші його не запускають взагалі. Без цього кроку будь-яке «ні, не так» стає частиною тексту.
Три операції замість одного переписування
Коли намір визначено як виправлення, вмикається редактор. Формула в роботі записана як композиція трьох операцій: Modify ∘ Reason ∘ Locate.
Locate знаходить фрагмент, який треба змінити. Reason виводить із репліки й контексту розмови, якою саме має бути правка. Modify застосовує її до знайденого місця.
Автори формулюють вибір прямо: замість некерованого одноетапного переписування корекцію розкладено на три явні операції. Мотивація в тексті — керованість процесу й відповідність тому, як люди дають часткові інструкції на виправлення. Ніхто не диктує речення заново, коли треба поміняти одне ім'я.
Різниця між двома підходами найгостріша якраз на власних назвах. Переписування — це генерація: модель відтворює репліку цілком, зокрема ті слова, які були розпізнані правильно. Рідкісне прізвище, назва селища чи артикул товару при кожному повторному проході має шанс з'їхати до частішої сусідньої форми, і саме так Megan перетворюється на Morgan. Редагування фрагмента цього шансу не дає: те, чого не торкнулися, лишається як було.
Для української це не абстракція. Прізвища у кличному відмінку, назви населених пунктів за межами обласних центрів, торгові марки латинкою всередині української репліки — саме той клас слів, де переписування коштує найдорожче.
Метрика, яка не бачить ремонту
Разом із фреймворком автори вводять власну метрику — Sentence-level Semantic Error Rate, S²ER. Вона міряє частку реплік, які не зберегли задуманий сенс: модель-суддя дає бінарну відповідь «сенс збережено / не збережено», дивлячись на головний намір і ключові смислові одиниці, насамперед власні назви, і свідомо ігноруючи заповнювачі, обмовки та пунктуацію.
На англомовному GigaSpeech Test обидві метрики поводяться так, у міру того як додаються кроки уточнення.
Крок уточнення | S²ER (сенс) | WER (слова) |
|---|---|---|
0 — початкова гіпотеза | 21,47% | 11,92% |
1 | 12,35% | 11,02% |
3 | 7,00% | 10,69% |
10 | 3,49% | 10,43% |
Семантична помилка за десять кроків зменшується вшестеро. WER — частка неправильно розпізнаних слів — за той самий час втрачає півтора пункти. Висновок авторів звучить сухо: метрики поверхневої форми самі по собі суттєво занижують практичну цінність взаємодії.
Щоб S²ER не лишався оцінкою на віру, автори звірили суддю з людьми: 120 реплік із трьох мовних умов, 25 неекспертів і 5 фахівців, бінарний протокол. Кореляція Пірсона між судовою моделлю й усередненою людською оцінкою — 0,891 на GigaSpeech, 0,828 на WenetSpeech і 0,903 на ASRU2019, причому за всіма трьома наборами вона трохи вища, ніж кореляція самих експертів із тією ж усередненою оцінкою.
Дві репліки, які показують, де WER помиляється
Розрив між стовпцями найкраще пояснює пара прикладів із самої роботи.
Що сказали | Що розпізнали | WER | Сенс |
|---|---|---|---|
«Um, let's maybe just open the window?» | «Let's open the window?» | 42,9% | збережено |
«Try Qwen3-ASR to get the transcript!» | «Try Kunthreesir to get the transcript!» | 16,7% | зруйновано |
У першому рядку майже половина слів не збіглася — і жодне з них не мало значення, бо розійшлися заповнювачі й пом'якшення. Репліка повністю придатна до виконання. У другому рядку помилка одна, WER утричі менший, а виконати цю команду вже неможливо: підмінена назва моделі — саме те, від чого залежить наступна дія.
Той самий механізм у голосовому агенті кваліфікації працює на топонімах. Транскрипт, у якому загубилися «ну» й «власне», нічого не коштує. Транскрипт, у якому Кропивницький став Кременчуком, відправляє лід не в ту стадію — і зовнішньо це виглядає як бездоганна робота системи. Логіку полів рішення, які визначають маршрут, ми розбирали в матеріалі про те, де голосовий агент ламається на українській; Agentic ASR дає тій самій ідеї формальну метрику й доводить її на числах.
Що з цього переноситься на українську, а що ні
Заміри зроблено на англійській (GigaSpeech), мандаринській (WenetSpeech, AISHELL-NER) і на змішаній англо-мандаринській мові (ASRU2019, CS-Dialogue). Українською такого дослідження ми не знайшли — перевіряли arXiv і публікації самих авторів. Переносити відсотки на українську не можна, а от структуру результатів прочитати варто.
Умова | S²ER на старті | S²ER після 10 кроків |
|---|---|---|
Іменована сутність (AISHELL-NER Test) | 19,91% | 2,02% |
Змішана мова, читані репліки (ASRU2019) | 28,57% | 1,36% |
Змішана мова, спонтанна розмова (CS-Dialogue) | 19,73% | 4,16% |
Верхні два рядки — це рівно ті класи, що ламають українську телефонію: власні назви й перемикання між мовами. Обидва піддаються ремонту.
CS-Dialogue з нижнього рядка — це спонтанне розмовне перемикання мов, найближче з усього набору до реального дзвінка, і виправляється воно найгірше: 4,16% проти 1,36% у сусідній умові. Токенна метрика там узагалі майже не рухається, 14,44% на старті проти 13,28% після десяти кроків. Автори пояснюють це більшою складністю спонтанного розмовного код-світчингу.
Український суржик у телефонній розмові — це спонтанне перемикання мов усередині репліки. Найближчий доступний аналог поводиться найважче, і закладати в план треба саме його поведінку, а не найкращий рядок таблиці.
Межа результату: користувач у цьому експерименті теж модель
Десять кроків уточнення виконує не людина, і в переказах роботи ця деталь зникає першою. Автори побудували Interactive Simulation System: модель Qwen3-32B порівнює поточний транскрипт з еталоном, формулює виправлення, а Index-TTS-1.5 озвучує його голосом того самого мовця. Та сама Qwen3-32B працює трьома різними компонентами — коригувальною моделлю, генератором виправлень у симуляторі користувача й семантичним суддею.
Тобто в експерименті співрозмовник бачить правильну відповідь, завжди доступний і не втомлюється виправляти десять разів поспіль. Жодна з цих трьох властивостей не переживає контакту з живим абонентом, який дзвонить у компанію.
Практичний висновок дають самі автори, і він тримається краще за фінальні цифри: більшість семантичного виграшу приходить рано. На GigaSpeech перше ж уточнення знімає 21,47% до 12,35% — приблизно 42% помилок за один перепит. На ASRU2019 один крок дає 28,57% → 10,32%, тобто близько 64%. Десятий крок у виробничому сценарії не настане ніколи, а перший настане завжди.
Що це змінює в ціні й строках пілота
Для власника з цієї роботи випливають три практичні наслідки, і всі три впливають на кошторис.
Перший: перевірка розпізнавання переїжджає в пілот. Публічного числа для української телефонії немає, тож єдине придатне число отримують на ваших власних записах — кілька десятків реальних дзвінків, розмічений еталон, прогін кількох кандидатів на одному наборі. Це кілька днів роботи всередині пілота, а не окремий етап дослідження до нього.
Другий: приймальний поріг фіксується не у WER, а в точності по полях рішення й частці реплік, де сенс зберігся. Порогове число узгоджується до старту й стає тим самим KPI, за яким оцінюють пілот. Формулювання «точність розпізнавання не гірша за N %» у договорі не працює: воно вимірює не те, від чого залежить маршрут ліда.
Третій: голосовий сценарій — це не найдешевший пілот. Голос і мультимовність входять у тариф Operator: від €6 000 за 30-денний пілот, далі від €149 на місяць плюс токени; текстові канали починаються з Starter за €1 800 за 14 днів і від €49 на місяць. Пілот оплачується наперед; якщо на рев'ю 30-го дня узгоджена KPI не зрушила — повертаємо повну суму. Тому, коли той самий процес можна перевірити в чаті, дешевше починати з чату, а голос додавати після того, як логіка кваліфікації вже підтверджена цифрами.
Що міряти замість WER
Приймальна метрика голосового агента має відповідати на питання «чи можна виконати те, що почули», а не «скільки слів збіглося».
Робочий мінімум складається з трьох замірів на власних записах. Перший — частка реплік, у яких сенс не зберігся: бінарна оцінка на кожну репліку, за тим самим принципом, що й S²ER. Другий — точність по полях, від яких залежить маршрут ліда, окремо від решти транскрипту. Третій — частота перепитів і частка розмов, де абонентові довелося виправляти те саме двічі; цей показник ловить те, чого не видно ні в WER, ні в S²ER, — втому співрозмовника.
Третій замір найдешевший і майже завжди останній у черзі, якщо про нього взагалі згадують. Хоча саме він першим показує момент, коли агент навчився ремонтувати транскрипт коштом людини на тому кінці дроту.
Для власника все попереднє зводиться до одного рядка кошторису: перевірка розпізнавання живе в пілоті, а не в закупівлі, і приймальний поріг пишеться в полях рішення, а не у WER. Якщо підрядник готовий зафіксувати це в договорі — далі можна не читати. Нижче — те, що з цієї роботи забирає інженер.
Для технічної команди: що це означає для архітектури
Три речення з роботи перекладаються в код майже дослівно. Корекція — окремий крок із власним контрактом, а не рядок у великому промпті: інструкція «виправ транскрипт, якщо там помилка» всередині загального промпта не дає ні маршрутизації наміру, ні локалізації фрагмента, ні контролю над тим, що модель зачепить. Класифікація репліки йде перед роботою з текстом, інакше заперечення абонента поповнює транскрипт замість того, щоб його правити. Редактор отримує місце, а не речення: модель повертає заміну для знайденого фрагмента, решта тексту лишається недоторканою.
Четверте рішення складніше, бо суперечить першому враженню від таблиці. Після рядка «10 кроків, S²ER 3,49%» виникає спокуса закласти в сценарій цикл уточнень, який крутиться, доки агент не переконається, що зрозумів. У живому дзвінку такий цикл вбиває розмову: людина, яку втретє перепитують про назву міста, кладе слухавку, і в логах це осяде як технічно бездоганна сесія. Перепит у бюджеті один, і витратити його треба одразу після того, як критичне поле прозвучало, поки контекст ще живий, а не наприкінці розмови зведеним підтвердженням усіх полів разом.
Як це лягає в загальний план запуску — у покроковому чеклісті впровадження за два тижні і в гайді для керівника про агента на вхідних заявках. Те, що коригувальний шар не звільняє від контролю над діями агента, ми розбирали окремо в матеріалі про три рівні захисту.
Матеріал підготував Andrew Maryasov, засновник Grow2.ai — компанії, що впроваджує AI-агентів у бізнес-процеси. Цифри звірено з препринтом arXiv:2605.29430 станом на 26 серпня 2026 року. Потрібна оцінка голосового сценарію для ваших дзвінків — напишіть нам.