Компьютерная программа узнаёт всё о любом предмете, анализируя картинки

Программа LEVAN учится, связывая слова с изображениями

Программа LEVAN учится, связывая слова с изображениями
(фото University of Washington).

Исследователи Вашингтонского университета и Института искусственного интеллекта Пола Алена создали первую полностью автоматизированную компьютерную программу, которая самостоятельно учит себя всему на основе ассоциации "слово-изображение".

Ассоциация "слово-изображение" является одним из основных механизмов человеческой памяти. В детстве она помогает человеку изучить язык по вербализации того, что он видит, а во взрослом возрасте люди расширяют набор понятий или учат иностранные языки. Теперь исследователи из Вашингтонского университета (University of Washington) и Алленского института искусственного интеллекта (Allen Institute for Artificial Intelligence) создали первую полностью автоматизированную компьютерную программу под названием LEVAN, которая самостоятельно учит себя всему на основе концепции визуализации, связывая слова с изображениями.

LEVAN расшифровывается как Learning EVerything about Anything ("изучая всё обо всём"). Программа ищет определенное слово из миллионов строчек текста в Google-книгах. Затем слово связывается с изображениями, найденными в Интернете. Такой подход, по мнению разработчиков, даёт LEVAN возможность узнать все возможные значения слова. В конце концов программа отображает результат как широкий список изображений, который пользователь может изучить для быстрого и подробного понимания предмета.

"Суть программы заключается в поиске ассоциаций между текстовыми и визуальными данными, – рассказывает Али Фархади (Ali Farhadi), доцент кафедры компьютерной науки и техники. – Программа учится объединять широкий набор фраз с пикселями в изображениях. Это значит, что она может распознавать конкретные понятия, когда видит их".

Программа LEVAN учится, связывая слова с изображениями
(фото University of Washington).

Как только вводится слово, LEVAN ищет результаты и сохраняет только визуальные модификаторы для своих понятий. Абстрактные понятия, которые нельзя визуализировать (например, "моя лошадь"), игнорируются, в то время как более конкретные понятия, вроде "скачущая лошадь", "деревянная лошадь", остаются. Затем программа ищет доступные изображения, которые объединяются с понятиями, сочетаются и классифицируются для показа пользователю.

В отличие от других систем ассоциаций, таких как Watson, которые группируют заданные слова, чтобы найти связанные фразы, алгоритм LEVAN эффективно сочетает в себе группирование слов и распознавание образов.

На сегодняшний день система включает в себя более 50 тысяч вариаций 150 понятий, и отметила более 10 миллионов изображений как потенциально соответствующие. Однако 150 понятий – очень ограниченный набор, поэтому LEVAN предстоит ещё немало учиться. Исследователи приглашают всех желающих поучаствовать в проекте и предложить свои слова на странице программы.

В будущем систему планируется использовать для повышения эффективности обучения.


Также по теме:
Программа впервые успешно замаскировалась под человека
Новая компьютерная модель мозга решает задачи из теста на IQ
Ученые создали компьютерную программу, улучшающую зрение на 30%
Новая компьютерная программа восстанавливает лицо человека по ДНК
Распознавать волков по вою поможет компьютерная программа
Компьютерная программа помогла восстановить древние языки