Для генерации заголовка искусственному интеллекту необходим весь текст заметки. Нейросеть должна проанализировать его, после чего собрать заголовок из фрагментов используемых слов — таким образом инженеры намерены решить проблему падежей и родов в русском языке, с которыми обычно не справляются технологии машинного обучения.
ВКонтакте использовала архитектуру Universal Transformer и технику компрессии данных BPE (Byte Pair Encoding) для суммаризации текста и обучения нейросети на русскоязычных новостных материалах.
В рамках тестирования технологии инженеры ВКонтакте показали волонтерам новость и два заголовка к ней — оригинальный и измененный нейросетью. Оказалось, что в 45% случаях заголовок, созданный нейросетью, по качеству не отличался от оригинального, а в 15% случаев был лучше него.
Исследование с добровольцами показало, что заголовки, созданные нейросетью, пока не всегда получаются такими же качественными, как написанные человеком. Однако мы не перестаем улучшать модель — и непременно добьемся равных результатов.
Разработчик ВКонтакте Даниил Гаврилов
Пользователи самостоятельно не смогут воспользоваться этой нейросетью. Вероятно, ВКонтакте будет работать с ней в сфере удобства потребления контента, а также создания новостных дайджестов.