Москва21 авгВести."Сбер" разрабатывает технологию работы искусственного интеллекта (ИИ) нового типа фулл-дуплекс, которая слушает и говорит одновременно – как человек по телефону. Об этом РБК рассказал директор по развитию технологий ИИ Сбербанка Сергей Марков.
В настоящий момент голосовые ассистенты работают "по очереди": человек сказал, ИИ подумал, потом ответил. Обычно за ответом ассистента стоит цепочка из нескольких нейросетей, каждая из которых делает свою часть работы.
В [существующих] системах типа GigaChat-Audio у вас есть каскад моделей: отдельная – для выявления тишины, отдельная – для распознавания голоса, отдельная – для синтеза речи, отдельная – для генерации ответов. Одна нейросеть переводит голос в текст, вторая придумывает ответ, третья озвучивает его обратно. Из-за этого ассистент сначала дослушивает фразу до конца и лишь потом отвечает
пояснил Марков
Фулл-дуплекс-системы устроены иначе – одна модель делает все.
Фулл-дуплекс – это не название конкретной модели, это тип моделей. Они могут одновременно и слушать, и говорить, а в случае использования видеомодальности еще и видеть собеседника и управлять движениями аватара
объяснил эксперт
По его словам, такая модель одновременно слушает человека и способна мгновенно реагировать на то, что слышит.
Пользователи увидят очень быстрые ответы и принципиально новый уровень взаимодействия в реальном времени
отметил Марков
При этом он подчеркнул, что пока речь идет о разработке технологии, а не о готовом продукте.
Ранее в МГИМО и в Тимирязевской академии (РГАУ-МСХА имени Тимирязева) поделились успешным опытом применения программы на основе искусственного интеллекта (ИИ) от российского разработчика – новая программа переводит лекции и материалы для иностранных студентов.
