Новая технология превращает сигналы мозга в речь

Устройство считывает электрическую активность нейронов и превращает её в слова.

Устройство считывает электрическую активность нейронов и превращает её в слова.
Иллюстрация Global Look Press.

Инженеры разработали технологию, которая считывает сигналы из коры головного мозга и на их основе синтезирует речь. В перспективе свежая разработка может подарить голос немым людям.

Инженеры разработали технологию, которая считывает сигналы из коры головного мозга и на их основе синтезирует речь. В перспективе такая система могла бы обеспечить собственным голосом немых людей.

Достижение описано в научной статье, опубликованной в журнале Scientific Reports группой во главе с Нимой Месгарани (Nima Mesgarani) из Университета Колумбии в Нью-Йорке.

"Наши голоса помогают нам поддерживать связь с нашими друзьями, семьёй и окружающим миром, поэтому потеря способности говорить из-за травмы или болезни настолько разрушительна, – отмечает Месгарани. – Нынешнее исследование даёт нам потенциальный способ восстановить эту способность. Мы показали, что при правильном подходе мысли людей могут быть расшифрованы и [становятся] понятны любому слушателю".

Нейробиологи давно установили, что, когда человек говорит или слушает, в коре головного мозга возникает определённая картина активности. Теоретически по ней можно определить, что именно испытуемый сейчас говорит или слышит.

Однако более ранние исследования показали, что на практике реализовать подобное не так-то просто. Системы, синтезирующие звук по паттернам мозговой активности, оказались не способными построить внятную речь.

Авторы новой работы предположили, что дело тут в упрощённом подходе к речи. В предыдущих работах исследователи искали связь между деятельностью нейронов и частотой каждого произносимого звука. По этой зависимости они и пытались восстановить речь.

В новой работе инженеры обратились к современным вокодерам, основанным на искусственном интеллекте.

"Это та же технология, которую использует система Echo компании Amazon и Siri компании Apple для устных ответов на наши вопросы", – объясняет Месгарани.

Правда, в классическом варианте искусственный интеллект вокодера обучают на аудиозаписях голоса. Здесь же инженеры использовали в качестве входного сигнала паттерны нейронной активности.

В эксперименте испытуемые прослушивали аудиозапись голоса диктора, произносящего цифры от 0 до 9. Система электродов считывала электрические поля нейронов слуховой коры. Опыты проводились на людях, недавно перенесших операцию на головном мозге (тогда же с их согласия им под черепную коробку были внедрены электроды).

Выходной сигнал вокодера поступал в ещё одну систему искусственного интеллекта, основанную на глубоком обучении. Результат её работы превращался в звук.

По замыслу исследователей, на этой аудиозаписи должны были оказаться те же слова, которые слушали испытуемые. Это означало бы, что система верно восстановила речь по активности слуховой коры.

Чтобы проверить, достигнут ли такой результат, исследователи дали другой команде добровольцев послушать финальную аудиозапись.

"Мы обнаружили, что люди понимают и могут повторить эти слова примерно в 75% случаев, что значительно превосходит [результаты] любых предыдущих попыток, – рассказывает Месгарани. – Чувствительный вокодер и мощные нейронные сети с удивительной точностью синтезировали слова, которые пациенты изначально слушали".

Такая результативность оказалась на 65% выше, чем в более ранних исследованиях.

Однако это только первый этап. Во-первых, в нынешнем виде система распознаёт, что человек слышит, а не что он пытается сказать. Настоящий "искусственный голос" должен быть подключен не к слуховой коре, а к областям, ответственным за синтез речи. Во-вторых, разработку требуется протестировать на более сложных словах и предложениях, чем набор из десяти цифр.

Если инженеры преодолеют эти трудности, это может стать настоящим подарком людям, лишённым способности говорить.

"В этом сценарии, если обладатель [имплантата] думает: "Мне нужен стакан воды", наша система может воспринимать сигналы мозга, генерируемые этой мыслью, и превращать их в синтезированную речь, – заключает Месгарани. – Это изменит правила игры. Это дало бы каждому, кто потерял способность говорить, из-за травмы или болезни, новый шанс воссоединиться с окружающим миром".

К слову, ранее "Вести.Наука" (nauka.vesti.ru) писали об устройствах, позволяющих печатать текст силой мысли, общаться с помощью движения глаз и усовершенствовать слуховые аппараты.