Нейросети Яндекса. Разговор ведёт аллоя.
Яндекс распознаёт речь, формулирует ответ и произносит его. Когда ассистенту говорить, а когда слушать, решает аллоя.
Кто что делает.
Нейросети умеют слушать и говорить. Разговаривать по телефону их учит аллоя.
Слышат и говорят
- Распознавание русской речи
- Языковая модель, которая формулирует ответ
- Синтез естественного голоса
- Поиск по вашим документам
Ведёт разговор
- Дожидается, пока собеседник договорит, даже с паузами
- Слышит, когда его перебивают
- Не отвечает сам себе на линиях с эхом
- Не сбивается от шума улицы и метро
- Продолжает разговор после сбоя связи с нейросетью
- Решает, когда завершить звонок или позвать человека
- Проверяет ответ по вашим документам, прежде чем произнести
Проверено на звонках в шуме.
Пары одинаковых звонков: конец фразы определяет движок аллоя или сама модель.
ответа на чужие разговоры за звонок в кафе — против 1,2 у встроенного определения
раньше первый ответ в тишине — медиана
раньше первый ответ — медиана по всем условиям
Замеры 26 сентября 2026, 546 звонков.
По условиям
В колонках — сколько звонков из 39 получили ответ на вопрос, а когда звонящий молчит — в скольких ассистент не ответил на чужие разговоры. Прочерк — разница в пределах разброса.
Тишина
- Движок аллоя
- 39 из 39
- Встроенное определение
- 39 из 39
- Первый ответ раньше на
- 439 мс
Улица, шум на 10 дБ тише голоса
- Движок аллоя
- 39 из 39
- Встроенное определение
- 39 из 39
- Первый ответ раньше на
- —
Улица, шум громкостью с голос
- Движок аллоя
- 38 из 39
- Встроенное определение
- 35 из 39
- Первый ответ раньше на
- —
Метро, шум на 5 дБ тише голоса
- Движок аллоя
- 38 из 39
- Встроенное определение
- 37 из 39
- Первый ответ раньше на
- —
Кафе: шум и разговор за соседним столиком
- Движок аллоя
- 22 из 39
- Встроенное определение
- 15 из 39
- Первый ответ раньше на
- —
Вопрос поверх приветствия ассистента
- Движок аллоя
- 39 из 39
- Встроенное определение
- 39 из 39
- Первый ответ раньше на
- 198 мс
Кафе: звонящий молчит, рядом громко говорят
- Движок аллоя
- 6 из 39
- Встроенное определение
- 4 из 39
| Условие | Движок аллоя | Встроенное определение | Первый ответ раньше на |
|---|---|---|---|
| Тишина | 39 из 39 | 39 из 39 | 439 мс |
| Улица, шум на 10 дБ тише голоса | 39 из 39 | 39 из 39 | — |
| Улица, шум громкостью с голос | 38 из 39 | 35 из 39 | — |
| Метро, шум на 5 дБ тише голоса | 38 из 39 | 37 из 39 | — |
| Кафе: шум и разговор за соседним столиком | 22 из 39 | 15 из 39 | — |
| Вопрос поверх приветствия ассистента | 39 из 39 | 39 из 39 | 198 мс |
| Кафе: звонящий молчит, рядом громко говорят | 6 из 39 | 4 из 39 |
Звонящий задаёт один из 16 вопросов о салоне одним из 12 синтезированных голосов. Ответ засчитан, если прозвучал нужный факт из базы знаний. Время — от конца фразы до первого звука ответа; оно зависит от линии стенда, поэтому показываем разницу. 39 звонков на условие дают разброс до ±15 процентных пунктов — меньшие различия не выдаём за преимущество.
Как мы проверяем.
Ошибку в разговоре дешевле поймать до звонка вашего клиента.
Тысячи смоделированных звонков
Каждое изменение проходит тысячи разговоров с паузами, перебиваниями, шумом и сбоями связи.
Живые звонки в шуме
Звоним ассистенту по телефонной линии под шум улицы, метро и кафе и проверяем, что он услышал и что ответил.
Сравнение на одинаковых звонках
Новое поведение сравниваем со старым на одних и тех же вопросах и одинаковом шуме, а не на удачных примерах.
Сначала тест, потом исправление
Каждую найденную ошибку сначала воспроизводим тестом и только потом чиним — так она не вернётся незаметно.
Услышьте сами.
Оставьте номер на главной, и ассистент позвонит. Перебейте его на полуслове — он услышит.