ИИ по саундтреку определяет жанр фильма

Ученые из Университета Калифорнии в Витерби под руководством профессора Шриканта Нараянана провели исследование, чтобы объективно изучить влияние музыки на кинематографические жанры. Цель работы — определить, могут ли технологии на основе искусственного интеллекта предсказать жанр фильма, основываясь только на саундтреке.

В своем исследовании группа изучила набор данных из 110 популярных фильмов, выпущенных в период с 2014 по 2019 год. Они использовали классификацию жанров, указанную в базе данных Internet Movie Database (IMDb), чтобы обозначить каждый фильм как боевик, комедию, драму, ужасы или мелодраму.

Затем они применили сеть глубокого обучения, которая извлекала слуховую информацию, такую ​​как тембр, гармония, мелодия, ритм и тон из музыки и партитуры каждого фильма. Она использовала машинное обучение для анализа этих музыкальных характеристик и оказалась способной точно классифицировать жанры каждого фильма только на основе этих характеристик.

Ученые также интерпретировали эти модели, чтобы определить, какие музыкальные особенности больше всего указывают на различия между жанрами. В моделях не указывалось, какие типы нот или инструментов были связаны с каждым жанром, но они установили, что тональные и тембральные характеристики наиболее важны для прогнозирования жанра фильма.

Интуитивно понятно, что в саундтреках разных жанров фильмов используются определенные музыкальные элементы. В ромкомах встречаются богатые струнные отрывки и лирические мелодии, а фильмы ужасов полны тревожных, пронзительных частот и пугающе диссонирующих нот.

Однако ученые решили найти количественные доказательства того, что элементы саундтрека фильма можно использовать для того, чтобы охарактеризовать жанр фильма. Они первыми применили модели глубокого обучения к саундтреку, чтобы понять, может ли компьютер предсказать жанр фильма только на основе музыки. Оказалось, что ИИ действительно может точно классифицировать жанр фильма с помощью машинного обучения. Исследование подтвердило предположение ученых о том, что саундтрек к фильму сильно влияет на то, как люди воспринимают разные картины.


Читать далее

Уникальный катер превращается в подлодку за две минуты и незаметен для противника

Физики охладили атомы до самой низкой в мире температуры

Самую детальную модель Вселенной опубликовали онлайн. Ее может изучить любой желающий

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Альтернативу Apple Pay для iPhone тестируют в России: как она работает
Новости
Сверхзвуковой «Конкорд» возвращается: почему в США поменяли мнение о самолете
Новости
Mars Orbiter теперь «стоит на голове»: зачем это нужно НАСА
Космос
В Москве дожди, а в пустыне — выпал снег: посмотрите на редкое явление из космоса
Космос
Обнаружено самое далекое мини-гало: радиосигнал прошел 10 млрд световых лет
Космос
Товары для взрослых начнут продавать онлайн по биометрии
Новости
Две трети абитуриентов выбирают ИИ как приоритетное ИТ-направление
Наука
Тираннозавр был не таким, как в фильмах, рассказывает палеонтолог
Наука
Google запустил ИИ-приложение для виртуальной примерки одежды
Новости
В России создали ИИ для защиты памятников от разрушения при строительстве
Новости
Галактику Андромеды показали такой, какой ее еще не видели
Космос
Минспорт требует от киберспортсменов бег и отжимания: новый стандарт вызвал споры
Новости
AAEON выпустила самый компактный одноплатный компьютер с чипами Intel Core 13-го поколения
Наука
Этот паразит годами незаметно поедает мозг: названы главные признаки
Наука
Посмотрите на редкое фото Сатурна: это затмение не увидеть еще 15 лет
Космос
Старые смартфоны превратили в подводные центры обработки данных
Новости
Телескоп в Антарктиде зафиксировал первый свет Вселенной с рекордной точностью
Космос
Орангутаны тоже спят сиесту: днем приматы компенсируют ночной недосып
Наука
Искусственный интеллект науился писать код для компьютерных чипов
Новости
Кофеин активирует механизм, который замедляет старение в клетках
Наука