В 1992 году голландский инженер Петер Мейер (Peter Meijer) создал алгоритм vOICe, который конвертирует простые изображения в градациях серого в музыкальные мини-этюды. Система сканирует изображения слева направо, преобразуя формы изображения в звуки: соответственно, высокие визуальные формы соответствуют высоким звукам.
Например, диагональная линия, идущая слева направо вверх, превращается в череду возрастающих по тону музыкальных нот. Более сложные изображения, такие как человек, сидящий на шезлонге, неподготовленному слушателю кажутся бессмысленным шумом, но по мере роста навыков "пользователь" учится "видеть" ушами и такие картины.
В 2007 году невролог Амир Амеди (Amir Amedi) и его коллеги из Иерусалимского университета создали особую программу для тренировки от рождения слепых людей, обучающихся использованию алгоритма vOICe. Несмотря на отсутствие визуальных ориентиров, всего спустя 70 часов обучения испытуемые продвинулись от распознания точек и линий до "видения" лиц, фигур и городских пейзажей, слушая этюды, соответствующие фотографиям с "шириной" до 4500 пикселов.
После установления в компьютер и наушники миниатюрной камеры испытуемые даже смогли самостоятельно перемещаться по обставленной комнате, ориентируясь только на звуковые сигналы. Каждые несколько шагов система делала снимки и преобразовывала их в звуки, позволяя слепым обходить столы и мусорные вёдра.
Один пациент во время испытания даже сделал красивую фотографию при помощи установленной камеры.
Отдельные 10 часов обучающей программы посвящены распознаванию человеческих силуэтов, представленных звуковыми этюдами. В результате к концу курса пациенты могут определять точную позу человека на фотографии и верно её воспроизводить с помощью своего тела. Отчёт об успехах вышел недавно в журнале Current Biology.
Когда исследователи составили карту мозговой активности участников испытания, то очень удивились увиденному. Нынешняя общепринятая модель мозга подразумевает наличие зон, отвечающих за каждое из пяти чувств, например — зрительную кору.
Уже давно учёные подозревали, что если одна из зон не используется по назначению, то организм переориентирует её функции под другие нужды. Таким образом, зрительная кора у от рождения слепых людей используется для повышения остроты слуха. Но Амеди и его коллеги обнаружили, что площадь зрительной коры, ответственная за распознание формы тела у зрячих людей, так называемая экстрастриарная зона тела (extrastriate body area), активизировала нейроны, когда пациент слушал позу человека на снимках.
По словам авторов исследования, эти результаты не вписываются в общепризнанную модель сенсорной организации мозга, ведь пациенты только слышали, но не видели происходящего.
"Оказывается, мозг — это многозадачная, а не сенсорная машина. Вы можете обрабатывать информацию о визуальных формах с помощью зрительной коры, совершенно не задействуя самого зрения. Видимо, пришло время пересмотреть существующие модели нейронной организации мозга", — говорит соавтор исследования Элла Стрим-Эмит (Ella Striem-Amit) из Гарвардского университета.
Команда Амеди недавно выпустила бесплатное приложение для iPhone, программу EyeMusic, являющуюся аналогом vOICe. Новый алгоритм подбирает более приятные для уха звуковые коллекции и даже может предоставить информацию о цвете. Инженеры надеются, что эта программа поможет слепым обрести полное представление о красках жизни.
Также по теме:
В Перми испытали уникальную смартфон-программу для незрячих
Мозг слепых людей способен воспринимать свет
Светочувствительный белок глаз может различать невидимый красный цвет
Временная слепота надолго обострила слух мышей
Сердце, лёгкие и кровь могут чувствовать запахи
