Разработчики из компании LiveDune, занимающейся аналитикой социальных сетей, создали нейросеть, способную оценивать тональность комментариев в социальных сетях. Программа, которую в честь учительницы директора компании назвали «Ольга Станиславовна», будет работать вместе с филологами.
Искусственный интеллект владеет сразу двумя языками: в меньшей степени русским литературным и в совершенстве сленгом русского языка, сформировавшимся в 2020–2022 годах. Для обучения нейронной сети разработчики использовали словари оценочных слов и матерных выражений. Но основной акцент они сделали не на литературные сборники, а на язык, на котором говорят в социальных сетях.
Для первичного обучения разработчики вручную разметили 10 тыс. русскоязычных комментариев из социальных сетей клиентов компании. После этого сервис запустили в работу, но, как говорят создатели, практически сразу появились жалобы на некорректную работу ИИ. Программа плохо распознавала сарказм, а, например, комментарий: «это чертовски беспонтовый пост» — считала позитивным.
Чтобы дообучить систему, создатели предоставили клиентам возможность корректировать оценку «Ольги Станиславовны». Исправленные данные направляются в систему и применяются для доработки алгоритмов. Фактически нейросеть использовала для обучения более 500 тыс. записей.
Программисты говорят, что сложнее всего было научить «Ольгу Станиславовну» определять иронию и сарказм. Для этого в нейросеть дополнительно загрузили обучающие материалы — словари жаргонизмов и мата. Ну и, конечно, практика на реальных отзывах с обратной связью от пользователей ИИ.
«Ольга Станиславовна» обладает самым актуальным словарным запасом современного русского сленга — языка, на котором общаются в социальных сетях. Только во «ВКонтакте» через нейросеть «прошло» около 20 млн комментариев. Разработчики планируют использовать данные, накопленные системой, для проведения вместе с филологами исследования русского языка.
Заимствования, сокращения и разговорно-просторечные элементы массово используются нами при общении в сети. Словари, фиксирующие языковую норму, всегда отставали от живой речи, но появление такой нейросети может помочь филологам точнее отслеживать развитие языка.
Мария Рогожина, филолог
Читать далее:
Скоро на Землю обрушится солнечная буря: материал летит со скоростью 800 км/с
Ученые сняли на видео странное существо с щупальцами, которое приняли за цветок
Россия покидает МКС: что теперь будет и почему обслуживание станции под угрозой