Джугал Калита, профессор Калорадского университета, проводит исследования в области создания естественного языка в течение последних 30 лет. Его первая статья о создании естественного языка, опубликованная в 1988 году, была нацелена на генерацию абзацев текста, которые могли бы появиться в типичном журнале. Совсем недавно, вдохновленный достижениями в области нейронных сетей для обработки естественного языка (NLP), профессор Калита и его ученики начали разрабатывать методы глубокого обучения для создания коротких статей, диалогов и творческого письма.
«Тема автоматического создания поэзии возникла в начале лета 2019 года, когда Брендан Бена, летний стажер-исследователь из Университета Колорадо, проявил интерес к автоматическому созданию песни, — рассказал профессор Калита. — Изначально он хотел создать систему, которая бы пыталась подражать эмоциям, вызванным текстами песен».
Поскольку большинство текстов песен защищены авторскими правами, поиск больших наборов данных для обучения моделей глубокого обучения по созданию лирики было очень сложным. Поэтому Бена и профессор Калита решили разработать свой инструмент для создания поэзии. Вместо того, чтобы сосредоточиться на таких особенностях, как структура или ритм поэзии, исследователи работали над ее эмоциональными и творческими аспектами.
«Работа была основана на всеобъемлющей задаче генерации текста. Однако, в отличие от предыдущих работ, мы хотели больше сосредоточиться на содержании, эмоциях и креативности текста», — рассказал Бена.
Чтобы разработать свою систему генерации поэзии, Бена и профессор Калита сначала собрали большой объем текста из баз данных «Проект Гутенберга» и UC-Santa Cruz Dreambank. Кроме того, они изучили базу данных Гутенберга в поисках слов, включенных в EmoLex, набор данных эмоций-лексиконов, разработанный Национальным исследовательским советом Канады.
Затем исследователи из университетов Колорадо и Друри разбили полученный набор данных на различные категории эмоций, взглянув на количество слов EmoLex, содержащихся в каждом экстракте, и использовав эти данные для обучения глубокой нейронной сети. Модель, которую они обучили, представляет собой адаптацию GPT-2, которая учится генерировать новые фрагменты текста путем моделирования стиля языка, используемого в данных, предоставленных для обучения.
«В конце концов, у нас было пять отдельных моделей эмоций для эмоций радости, грусти, доверия, гнева и предвкушения. Наша система, как было сказано ранее, меньше фокусируется на структуре, зато акцентируется на поэтическом стиле, который стремится подражать и воспроизводить изящество и творчество настоящих поэтов», — заключает профессор.
Исследователи также попросили пользователей оценить стихи, созданные их системой, и использовали инструмент Coh-Metrix для оценки качества стихов. Они обнаружили, что «искусственные стихи» эффективно вызывали грусть и радость 87,5% и 85% времени соответственно
«Наши результаты предполагают, что текст может быть сгенерирован так, чтобы вызывать эмоции у читателей, и он может напоминать типы творчества, которые художники стремятся внедрить в свою работу», — сказал Бена.