Представьте ситуацию: человек листает журнал или смотрит на фотографию чьей-то гостиной и вдруг видит лампу своей мечты. Он понимает, что она будет прекрасно смотреться на его компьютерном столе, но что делать, если нет никакой информации об её производителе? Как найти понравившуюся вещь?
Учёные из Корнелльского университета предложили решение этой проблемы, разработав особую программу. Она может изучать фотографии мебели с помощью нейронных сетей и глубинного обучения, а затем точно определять производителя, модель и место, где можно этот товар приобрести. Более того, она покажет фотографии, как понравившееся кресло (или же другая мебель) будет смотреться при различных планировках.
Многие смогут возразить и сказать, что для таких целей подойдёт и простой поисковик. Но, возражают разработчики, довольно размытое описание предмета, например, "красное кожаное кресло", даст миллион нежелательных результатов. По этой причине учёные разработали приложение в духе Shazam. Эта довольно популярная программа распознаёт музыку и точно устанавливает, какая именно песня играет в данный момент.
Новая же система сканирует фотографии объектов и сравнивает их форму, цвет или другие особенности с базой данных изображений, взятых из каталогов и сайтов производителей мебели. После чего программа предоставляет пользователю предмет, который наиболее точно похож на, скажем, "лампу мечты", а также выдаёт информацию о производителе и где возможно приобрести именно такой товар.
"Часто многие люди хотят купить вещи, которые увидели в доме у кого-то другого или на фотографии, но они точно не знают, где их искать", — объясняет один из авторов работы Шон Белл (Sean Bell). Новая программа существенно упростит задачу и сэкономит время.
Исследователи создали стартап GrokStyle, чтобы предоставить услуги своего сервиса на условиях подписки. Система, наверняка, будет интересно различным ритейлерам и дизайнерам.
Разработчики говорят, что в будущем они могут создать подобные программы и для других областей, например, сервис, распознающий марку одежды. Хотя некоторые инженеры в этом вопросе уже сработали на опережение.
Более подробная информация о разработке опубликована на сайте вуза.
С научными данными исследования можно ознакомиться, прочитав статью в издании ACM Transactions on Graphics.
