Система искусственного интеллекта, разработанная в компании Microsoft, оказалась способнее человека в тесте SuperGLUE на понимание естественного языка. Нейросетевая модель DeBERTa получила 90,3 балла, в то время как средний результат человека в этом бенчмарке составляет 89,8 балла.
SuperGLUE был создан в 2019 году при участии научно-исследовательского подразделения Facebook (запрещена в РФ) AI Research, принадлежащей Google ИИ-лаборатории DeepMind, а также ученых Вашингтонского и Нью-Йоркского университетов. В тест входят восемь задач, по результатам которых оценивается способность компьютерного алгоритма понимать контекст и структуру текста, распознавать причинно-следственные связи, давать правильный ответ на вопрос на базе прочитанного абзаца и так далее.
DeBERTa удалось понять логику текста лучше, чем человеку. При этом еще полтора года назад, когда был выпущен SuperGLUE, разрыв между самой эффективной нейросетью и людьми составлял почти 20 баллов.
Недавно алгоритм Microsoft был значительно переработан: теперь архитектура DeBERTa состоит из 48 слоев и имеет 1,5 миллиарда параметров. Система учитывает не только значения слов, но и их позиции и роли, а также умеет определять зависимость слов друг от друга.
"Например, DeBERTa понимает, что зависимость между словами 'deep' и 'learning' гораздо сильнее, когда они стоят рядом (термин 'глубокое обучение'), чем когда они встречаются в разных предложениях", — рассказали Вестям.Ru в компании.
Инженеры Microsoft планируют сделать нейросетевую модель публичной, а также опубликовать её исходный код. Кроме того, DeBERTa будет интегрирована в такие продукты компании, как Bing, Office, Dynamics и Azure Cognitive Services. ИИ поможет улучшить взаимодействие пользователей с чат-ботами, а также позволит давать более точные рекомендации, ответы на вопросы и результаты поиска.
