Так зачем нужна новая метрика в первую очередь? Как объяснил один из ее авторов, гораздо сложнее оценить, насколько хорошо что-то вроде чат-бота общается с пользователем, поскольку он может быть диалоговой системой с открытым доменом, в которой взаимодействие в основном содержит открытую информацию.
Диалоговая система — это, по сути, компьютерная система, которая включает в себя текст, речь и другие жесты для общения с людьми. Существует два основных типа. Первый — ориентированные на задачи диалоговые системы. Они полезны, когда мы хотим достичь определенной цели, такой как бронирование номера в отеле, покупка билета или бронирование рейса. Вторые — диалоговые системы с открытым доменом, такие как чат-боты, в большей степени ориентированы на взаимодействие с людьми на более глубоком уровне, и они делают это путем имитации разговоров между людьми.
Оценка диалоговых систем с открытым доменом является одним из наиболее важных этапов в разработке высококачественных систем, подчеркивают ученые. По сравнению с ориентированными на задачи диалоговыми окнами, в которых пользователь общается для достижения заранее определенной цели, оценка диалоговых систем с открытым доменом является более сложной. Пользователь, который общается с диалоговыми системами с открытым доменом, не следует каким-либо конкретным целям. Поэтому оценка не может быть измерена на том, достиг ли пользователь цели.
В своей статье исследователи ISI подчеркнули, что оценка диалоговых систем с открытым доменом не должна ограничиваться только конкретными аспектами, такими как релевантность — ответы также должны быть действительно интересными для пользователя.
Ответы, генерируемые диалоговой системой с открытым доменом, допустимы, когда они актуальны для пользователей и также интересны, заявляют исследователи. Ученым удалось показать, что включение интересного аспекта ответов, который называется оценкой вовлеченности, может быть очень полезным для более точной оценки диалоговых систем с открытым доменом. Понимание оценки поможет улучшить чат-ботов и другие подобные диалоговые системы.
Такие чат-боты, как Cleverbot, Meena и XiaoIce, могут вовлекать людей в разговоры, которые больше похожи на беседу в реальной жизни, чем на диалоговые системы, ориентированные на задачи.
Например, XiaoIce, чат-бот Microsoft для 660 млн китайских пользователей, обладает характером, имитирующим умную девочку-подростка, и наряду с предоставлением базовых функций помощника AI она также может сочинять оригинальные песни и стихи, играть в игры, читать истории и понимать шутки. XiaoIce описывается как «эмпатичный чат-бот», поскольку он пытается установить связь и создать дружбу с человеком, с которым взаимодействует.
Эти типы чат-ботов могут быть полезны для людей, которые не социализированы, чтобы они могли научиться общаться и завести новых друзей, подчеркивают исследователи.
Чат-боты с открытым доменом, которые привлекают людей на более глубоком уровне, не только набирают популярность, но и становятся более продвинутыми. И все же основное намерение для взаимодействия пользователя с этими типами чат-ботов — это не только развлечение, но и получение общих знаний.
Например, чат-боты с открытым доменом могут быть использованы для решения более серьезных проблем.
Некоторые из них предназначены для обеспечения поддержки психического здоровья людей, которые сталкиваются с депрессией или тревогой. Пациенты могут использовать эти системы, чтобы получать бесплатные консультации, когда они им нужны. Исследование, финансируемое Агентством перспективных исследовательских проектов в области обороны США (DARPA), показало, что людям легче говорить о своих чувствах и личных проблемах, когда они знают, что общаются с чат-ботом, поскольку чувствуют, что он не будет судить их.
Чат-боты с открытым доменом также чрезвычайно полезны для людей, которые изучают иностранный язык. Это особенно полезно для людей, не уверенных в своих языковых навыках или даже очень стесняющихся общаться с реальными людьми».
Прогнозирующая метрика взаимодействия поможет исследователям лучше оценить эти типы чат-ботов, а также системы диалогов с открытым доменом в целом.
Читать также
Комета NEOWISE видна в России. Где ее увидеть, куда смотреть и как сделать фото
Выяснилось, что заставило цивилизацию майя покинуть свои города
На 3 день болезни большинство больных COVID-19 теряют обоняние и часто страдают насморком