Новости 15 сентября 2021

ИИ по саундтреку определяет жанр фильма

Далее

Ученые из Университета Калифорнии в Витерби под руководством профессора Шриканта Нараянана провели исследование, чтобы объективно изучить влияние музыки на кинематографические жанры. Цель работы — определить, могут ли технологии на основе искусственного интеллекта предсказать жанр фильма, основываясь только на саундтреке.

В своем исследовании группа изучила набор данных из 110 популярных фильмов, выпущенных в период с 2014 по 2019 год. Они использовали классификацию жанров, указанную в базе данных Internet Movie Database (IMDb), чтобы обозначить каждый фильм как боевик, комедию, драму, ужасы или мелодраму.

Затем они применили сеть глубокого обучения, которая извлекала слуховую информацию, такую ​​как тембр, гармония, мелодия, ритм и тон из музыки и партитуры каждого фильма. Она использовала машинное обучение для анализа этих музыкальных характеристик и оказалась способной точно классифицировать жанры каждого фильма только на основе этих характеристик.

Ученые также интерпретировали эти модели, чтобы определить, какие музыкальные особенности больше всего указывают на различия между жанрами. В моделях не указывалось, какие типы нот или инструментов были связаны с каждым жанром, но они установили, что тональные и тембральные характеристики наиболее важны для прогнозирования жанра фильма.

Интуитивно понятно, что в саундтреках разных жанров фильмов используются определенные музыкальные элементы. В ромкомах встречаются богатые струнные отрывки и лирические мелодии, а фильмы ужасов полны тревожных, пронзительных частот и пугающе диссонирующих нот.

Однако ученые решили найти количественные доказательства того, что элементы саундтрека фильма можно использовать для того, чтобы охарактеризовать жанр фильма. Они первыми применили модели глубокого обучения к саундтреку, чтобы понять, может ли компьютер предсказать жанр фильма только на основе музыки. Оказалось, что ИИ действительно может точно классифицировать жанр фильма с помощью машинного обучения. Исследование подтвердило предположение ученых о том, что саундтрек к фильму сильно влияет на то, как люди воспринимают разные картины.


Читать далее

Уникальный катер превращается в подлодку за две минуты и незаметен для противника

Физики охладили атомы до самой низкой в мире температуры

Самую детальную модель Вселенной опубликовали онлайн. Ее может изучить любой желающий