ИИ по саундтреку определяет жанр фильма

Ученые из Университета Калифорнии в Витерби под руководством профессора Шриканта Нараянана провели исследование, чтобы объективно изучить влияние музыки на кинематографические жанры. Цель работы — определить, могут ли технологии на основе искусственного интеллекта предсказать жанр фильма, основываясь только на саундтреке.

В своем исследовании группа изучила набор данных из 110 популярных фильмов, выпущенных в период с 2014 по 2019 год. Они использовали классификацию жанров, указанную в базе данных Internet Movie Database (IMDb), чтобы обозначить каждый фильм как боевик, комедию, драму, ужасы или мелодраму.

Затем они применили сеть глубокого обучения, которая извлекала слуховую информацию, такую ​​как тембр, гармония, мелодия, ритм и тон из музыки и партитуры каждого фильма. Она использовала машинное обучение для анализа этих музыкальных характеристик и оказалась способной точно классифицировать жанры каждого фильма только на основе этих характеристик.

Ученые также интерпретировали эти модели, чтобы определить, какие музыкальные особенности больше всего указывают на различия между жанрами. В моделях не указывалось, какие типы нот или инструментов были связаны с каждым жанром, но они установили, что тональные и тембральные характеристики наиболее важны для прогнозирования жанра фильма.

Интуитивно понятно, что в саундтреках разных жанров фильмов используются определенные музыкальные элементы. В ромкомах встречаются богатые струнные отрывки и лирические мелодии, а фильмы ужасов полны тревожных, пронзительных частот и пугающе диссонирующих нот.

Однако ученые решили найти количественные доказательства того, что элементы саундтрека фильма можно использовать для того, чтобы охарактеризовать жанр фильма. Они первыми применили модели глубокого обучения к саундтреку, чтобы понять, может ли компьютер предсказать жанр фильма только на основе музыки. Оказалось, что ИИ действительно может точно классифицировать жанр фильма с помощью машинного обучения. Исследование подтвердило предположение ученых о том, что саундтрек к фильму сильно влияет на то, как люди воспринимают разные картины.


Читать далее

Уникальный катер превращается в подлодку за две минуты и незаметен для противника

Физики охладили атомы до самой низкой в мире температуры

Самую детальную модель Вселенной опубликовали онлайн. Ее может изучить любой желающий

Подписывайтесь
на наши каналы в Telegram

«Хайтек»новостионлайн

«Хайтек»Dailyновости 3 раза в день

Первая полоса
Живые башни из червей: посмотрите на «суперорганизм», который нашли в саду
Наука
Имплантат сетчатки из нанопроводов восстановил зрение у мышей
Наука
На российских сайтах хотят запретить авторизацию через почту Google
Новости
ИИ против айтишников: как новые инструменты меняют ИТ-бизнес
Мнения
Оказалось, Apple Watch «обманывают» в подсчете калорий
Новости
Китай впервые проверил квантовую связь QSDC на борту многоразовой ракеты
Наука
В Москве пройдет форум MOSТИМ 2025 — обсудят цифровизацию в строительстве и выберут лучших в BIM
Новости
Россиянам могут заблокировать входящие звонки из-за рубежа
Новости
Страдающее «лицо» появилось на Солнце: ученые фиксируют поток частиц в сторону Земли
Космос
Маск и Трамп начали войну в соцсетях: что произошло и какие будут последствия
Кейсы
В Нижнем Новгороде создали «умный» материал для 3D-печати человеческих тканей
Наука
ИИ против супербактерий: в ИТМО создали платформу для поиска новых лекарств
Новости
Парк промышленных роботов в России вырос на 62% за один год
Новости
Геофизики объяснили загадочное ускорение сейсмических волн в недрах Земли
Наука
Семь российских вузов разделят 4,7 млрд рублей на исследования в области ИИ
Иннополис
Найден способ изучать квантовые состояния, которые десятилетиями не получалось поймать
Наука
Каталог кейсов применения квантовых технологий представили в России
Новости
Ozempic и мужское здоровье: как препарат влияет на либидо и восприятие размера пениса
Наука
Землю 2.0 нашли рядом со звездой, похожей на Солнце
Космос
Рыбу «Судного дня» случайно нашли в на пляже: почему ее опасаются
Наука