В МФТИ научили компьютер понимать жесты

Компьютерная мышь уже в ближайшем будущем может стать частью истории. Этот момент постепенно приближают изобретатели во всем мире. Среди них и аспирант МФТИ Алексей Куракин – он разработал новый метод ввода данных в компьютер, используя для этого web-камеру и собственные руки.

Компьютерная мышь уже в ближайшем будущем может стать частью истории. Этот момент постепенно приближают изобретатели во всем мире. Среди них и аспирант МФТИ Алексей Куракин – он разработал новый метод ввода данных в компьютер, используя для этого web-камеру и собственные руки.

Web-камера, штатив и ноутбук – вот и все, что нужно для инженерного чуда. Аспирант московского физико-технического института Алексей Куракин компьютерной мышкой почти не пользуется. Вместо нее – собственные руки. Несколько простых жестов, и вот изображение на мониторе меняется.

"Мне нужно перемещать объект в трехмерном пространстве. Рукой я могу это делать просто, в шести направлениях двигаться, плюс еще руку я могу поворачивать. Мышкой я могу отслеживать это только в двух измерениях", – показывает изобретатель.

На основе силуэта ладони алгоритм выстраивает модель кисти и по количеству видимых пальцев определяет, что нужно сделать с картинкой. Изображение можно перемещать, поворачивать и растягивать. А если к установке добавить вторую web-камеру, голыми руками можно будет работать и с трехмерными объектами.

Чтобы прорваться в третье измерение, ученые сымитировали бинокуляное зрение. Две камеры, расположенные на небольшом растоянии друг от друга, фиксируют движения контрольных точек, то есть ладони и кончиков пальцев. Затем программа совмещает изображения с камер и определяет, какую именно команду нужно выполнить. Например, выключить свет.

Трехмерный манипулятор пригодится не только дизайнерам. Он позволит решить и другие задачи, например, поможет распознать жесты языка глухих. Близнецы Алексей и Николай Ивановы потеряли слух в раннем детстве. Тем не менее, оба играют клавишных и ударных, и даже поют. В том, что машина научится понимать самый эмоциональный в мире язык – язык жестов – они сомневаются. Их наставница Валентина Петровна Камнева, которая возглавляет лабораторию жестового языка, с братьями не согласна. Новое изобретение, считает женщина, может принести много пользы.

"Моя мечта – чтобы персонажи детских мультьфильмов заговорили на языке жестов, – говорит Валентина Камнева. – Вы даже представить не можете, как это нужно глухим детям".

То, что старая-добрая мышка постепенно уходит в прошлое, специалисты поняли еще несколько лет назад. Настоящий бум, который сопровождал появление планшетных компьютеров, косвенно подтверждает, что пользователи хотят общаться с компьютером на языке прикосновений. Над системами ввода данных с помощью рук работают многие научные центры. Особенность разработки московского института – в том, что никаких дополнительных устройств, кроме ПК и камеры, не требуется.

"Я работаю над тем, чтобы отказаться от каких-либо перчаток, и просто по изображению руки либо по двум изображениям, полученным с двух камер, определить ее конфигурацию", – рассказывает Куракин.

Пока прототип распознает всего пять жестов, но в будущем их количество удастся увеличить.