Яндекс запустил новый поисковый алгоритм "Палех", в основе которого лежат нейронные сети. Этот алгоритм позволяет лучше подбирать ответы на редкие и уникальные поисковые запросы.
Яндекс запустил новый поисковый алгоритм "Палех", в основе которого лежат нейронные сети. Благодаря "Палеху" поиск лучше находит веб-страницы, которые соответствуют запросам не только по ключевым словам, но и по смыслу. За сопоставление смысла запросов и документов отвечает поисковая модель на основе нейронных сетей.
Редкие и уникальные поисковые запросы редко повторяются, но в совокупности их очень много — около ста миллионов в день, что составляет почти треть всего потока поисковых запросов, поэтому иногда их называют "длинным хвостом" поиска, сообщают в Яндексе. Новому алгоритму решили дать название "Палех" в честь Жар-птицы — сказочной птицы с длинным хвостом, которая часто появляется в сюжетах палехской миниатюры.
При подборе ответов на запросы поисковые системы используют ключевые слова. Если слова из запроса есть на веб-странице, то она, вероятно, будет интересна пользователю. Но только на слова опираться нельзя: один и тот же смысл можно выразить совершенно по-разному. Тогда на помощь приходят дополнительные данные, например обезличенная статистика: на какие страницы перешли пользователи, задавшие такой же запрос. В случае с уникальными запросами статистики мало или нет вовсе — а значит, поиску труднее понять, какие страницы хорошо отвечают на запрос, а какие нет.
Поисковая модель на нейронных сетях, которую использует "Палех", умеет устанавливать смысловые соответствия между поисковым запросом и заголовками веб-страниц. С её помощью можно выявить, что в запросе и на странице говорится об одном и том же, даже если у них нет общих ключевых слов.
Запросы из "длинного хвоста" поиска очень разнообразны, но среди них можно выделить несколько групп. Например, одна из них — запросы от детей, которые пока не освоили язык общения с поиском и часто обращаются к нему как к живому собеседнику: "дорогой яндекс посоветуй пожалуйста новые интересные игры про фей для плантика". Ещё одна группа — запросы от людей, которые хотят узнать название фильма или книги по запомнившемуся эпизоду: "фильм про человека который выращивал картошку на другой планете" ("Марсианин") или "фильм где физики рассказывали даме про дейтерий" ("Девять дней одного года").
Искусственные нейронные сети — один из методов машинного обучения. Он показывает отличные результаты в анализе естественной информации: изображений, звука, текста. В Яндексе нейронные сети задействованы в поиске по картинкам и смежных задачах — например, модерации рекламных объявлений и фильтрации взрослого контента. На их основе также построены модели, отвечающие за распознавание речи.
Редкие и уникальные поисковые запросы редко повторяются, но в совокупности их очень много — около ста миллионов в день, что составляет почти треть всего потока поисковых запросов, поэтому иногда их называют "длинным хвостом" поиска, сообщают в Яндексе. Новому алгоритму решили дать название "Палех" в честь Жар-птицы — сказочной птицы с длинным хвостом, которая часто появляется в сюжетах палехской миниатюры.
При подборе ответов на запросы поисковые системы используют ключевые слова. Если слова из запроса есть на веб-странице, то она, вероятно, будет интересна пользователю. Но только на слова опираться нельзя: один и тот же смысл можно выразить совершенно по-разному. Тогда на помощь приходят дополнительные данные, например обезличенная статистика: на какие страницы перешли пользователи, задавшие такой же запрос. В случае с уникальными запросами статистики мало или нет вовсе — а значит, поиску труднее понять, какие страницы хорошо отвечают на запрос, а какие нет.
Поисковая модель на нейронных сетях, которую использует "Палех", умеет устанавливать смысловые соответствия между поисковым запросом и заголовками веб-страниц. С её помощью можно выявить, что в запросе и на странице говорится об одном и том же, даже если у них нет общих ключевых слов.
Запросы из "длинного хвоста" поиска очень разнообразны, но среди них можно выделить несколько групп. Например, одна из них — запросы от детей, которые пока не освоили язык общения с поиском и часто обращаются к нему как к живому собеседнику: "дорогой яндекс посоветуй пожалуйста новые интересные игры про фей для плантика". Ещё одна группа — запросы от людей, которые хотят узнать название фильма или книги по запомнившемуся эпизоду: "фильм про человека который выращивал картошку на другой планете" ("Марсианин") или "фильм где физики рассказывали даме про дейтерий" ("Девять дней одного года").
Искусственные нейронные сети — один из методов машинного обучения. Он показывает отличные результаты в анализе естественной информации: изображений, звука, текста. В Яндексе нейронные сети задействованы в поиске по картинкам и смежных задачах — например, модерации рекламных объявлений и фильтрации взрослого контента. На их основе также построены модели, отвечающие за распознавание речи.
