По словам автора исследования, их работа будет полезна не только для чат-ботов, но и для диверсификации и детоксикации рекомендательных систем.
Исследователи из Калифорнийского университета в Сан-Диего разработали алгоритмы для очистки речи от оскорбительных выражений, которую генерируют онлайн-боты.
Ранее эксперты пробовали разные подходы для очистки речи ботов, но они оказывались не эффективными. При составлении списка токсичных слов упускаются слова, которые при употреблении вне контекста и по отдельности кажутся нормальными, но становятся оскорбительными при использовании в сочетании с другими. Попытка удалить токсичную речь из обучающих данных отнимает много времени и далеко не надежна. Аналогичные проблемы возникают при разработке нейронной сети, которая выявляла бы токсичную речь.
Теперь специалисты по информатике из Калифорнийского университета в Сан-Диего попробовали новый метод. Сначала они запустили «вредные» подсказки в предварительно обученную языковую модель, чтобы заставить ее генерировать токсичный контент. Затем исследователи обучили модель, которую назвали «злой», прогнозировать вероятность того, что контент будет оскорбительным. После инженеры обучили «хорошую модель», которую научили избегать всего контента, высоко оцененного «злой моделью».
В итоге, авторы разработки подтвердили, что их «хорошая модель» оказалась более эффективна, чем самые современные методы. Исследователи представили свою работу на онлайн-конференции AAAI по искусственному интеллекту.
Читать далее:
За ней охотились столетиями: что нам известно о планете Вулкан рядом с Солнцем
Физики экспериментально подтвердили новый фундаментальный закон для жидкостей
Астрономы нашли источник загадочных радиовсплесков, которые идут из космоса