Учёные создали систему, которая дешифрует сигналы мозга и превращает их в речь. Так можно узнать, что говорит испытуемый, не слыша его слов. Со временем подобные устройства могут стать синтезаторами речи для немых.
Достижение описано в научной статье, опубликованной в журнале Nature Neuroscience.
Разные исследовательские группы не первый год занимаются созданием систем, которые преобразуют картину мозговой активности в слова, фактически заменяя собой речевой аппарат человека. Однако в предыдущих работах речь обычно шла о связи сигналов мозга с движениями органов речи или произносимыми звуками.
Исследователи из Калифорнийского университета в Сан-Франциско решили срезать путь. Их разработка сопоставляет нейронные сигналы непосредственно с фразами. Для этого они адаптировали алгоритмы, применяемые в машинном переводе с одного языка на другой. В данном случае решается похожая задача. Мозг, воспринимающий речь, переводит её на язык своей электрической активности. Задача искусственного интеллекта – выполнить обратный перевод.
В эксперименте участвовали четыре женщины, страдающие эпилепсией. Ранее медики внедрили им в медицинских целях в мозг порядка 250 электродов, которые теперь послужили во благо науки.
Все испытуемые зачитывали вслух набор фраз. В это время электроды фиксировали активность их мозга, связанную с движениями губ, произнесением гласных и согласных букв и другими параметрами.
Затем в дело вступали три искусственные нейронные сети. Первая выделяла закономерности в том, как сигнал с электродов менялся со временем. Вторая преобразовывала результат работы первой в специальные математические структуры (шаблоны). Наконец, третья превращала их в текст на английском языке.
Участницы эксперимента повторяли каждое из 30-50 предложений по два раза. Отклик нервных клеток на первое произнесение фразы служил для обучения системы, а на второе произнесение – для проверки её навыков.
В итоге система ошиблась лишь в 3% случаев. Это очень хороший результат для разработок такого рода.
Правда, словарный запас использованных фраз ограничивался 250 словами. Но, во-первых, и это очень много для людей, которые сегодня не могут произнести или написать вообще ничего из-за паралича. А во-вторых, специалисты продолжают свою работу.
К слову, ранее "Вести.Наука" (nauka.vesti.ru) писали о том, как интерфейсы "мозг–компьютер" помогают парализованным пациентам отвечать на вопросы. Говорили мы и о печатании текста при помощи силы мысли.
