Иннополис 15 июля 2022

Генерация музыки, поиск ошибок и анализ мозговых волн: что разрабатывают молодые ученые Иннополиса

Далее

Решение современных и будущих проблем — несложная задача для молодых ученых, которые предлагают самые неожиданные и прорывные идеи. «Хайтек» уже рассказывал о работах студентов из Иннополиса, во второй части материала мы делимся подборкой из трех проектов. С их помощью можно создать трек за пару секунд, заменить разработчиков алгоритмом и анализировать мозг программистов во время работы, чтобы избавить их от стресса.

Генерация музыкального альбома за минуту

Денис Фокин, выпускник Университета Иннополис:

— Моя идея — в дешевой и быстрой генерации оркестровой музыки для малобюджетных проектов. Для этого я использую метод машинного обучения без учителя (способ обучения, где система ищет ответ без вмешательства исследователя — ред.), где используются два класса нейронных сетей. Один из них пытается сгенерировать реалистичную музыку, а второй — отличить сгенерированную от настоящей. Идея появилась из небольшого увлечения музыкой и прошлого проекта, который я делал на бакалавриате.

Я решил генерировать оркестровую музыку, потому что это нетривиальная задача, она сложнее в строении, чем поп или рок-музыка. А сделав модель для создания оркестровой музыки, ее можно дообучить и генерировать, например, рок-музыку. Алгоритм написан на основе генеративно- состязательных сетей с несколькими модификациями. На генерацию пяти минут музыки уходит пара секунд. Вскоре добавлю дополнительные опции для генерации — жанр, настроение и ритм.

Названия проекта пока нет, он существует в виде исходников с построенным пайплайном (документ, визуализирующий процесс разработки продукта — ред.) от загрузки данных до обучения сети и генерации новой музыки. Продукт уже можно генерировать, но сейчас его качество сложно назвать приемлемым, сеть показывает лишь базовое понимание гармонических сочетаний и ритма. Хотя метрики для оценки музыки показывают сходство генерируемой музыки и реальной.

Мой проект будет полезен разработчикам малобюджетных проектов. Проблема, которую он решает — освободить инди-разработчиков от больших трат на написание музыки. Мой проект повлияет на скорость разработки, частично сократит трату денег и времени. Основные сферы, на которые нацелен проект — разработка мобильных приложений, инди-игр, фильмов и анимации.

Когда у меня будет доступ к большим вычислительным мощностям, я продолжу работать над этим проектом. Есть много идей по его улучшению, но нехватка ресурсов сказалась на возможности их применить. При наличии всех ресурсов, для завершения потребуется минимум год.

Пока я приостановил проект на пару месяцев, продолжу, когда будет доступ к вычислительным ресурсам. От них зависит время на обучение и эксперименты по модификации модели. Когда проект появится — скорее всего, буду распространять по модели Freemium, это подписка с бесплатной демо-версией.

Автоматизированное ведение проектов с помощью алгоритма

Фирас Джолха, Кирилл Даниакин:

— Мы работали над проектом под названием «TOM». Он посвящен определению или нахождению потенциальной связи между показателями репозитория программного обеспечения (место, где хранятся данные — ред.) и корректирующими действиями, которые нужно предпринять во время разработки программного обеспечения.

Наша новая работа, которая была частью «ТОМ», анализирует метрики репозитория и находит аномальные среди них. Затем она прогнозирует потенциальные проблемы и вырабатывает рекомендации по тому, как их корректировать. Мы предложили простую структуру, которая действует как система рекомендаций и генерирует корректирующие действия из набора действий.

Суть проекта заключается в том, что инструментов отслеживания проблем, таких как Jira, для управления недостаточно, они не могут генерировать корректирующие действия. Обычно за отслеживание проблем в таких инструментах отвечают живые разработчики, но мы предложили автоматизированное решение. Это поможет руководителям при помощи машинного обучения заранее предлагать конкретные действия по их устранению. Это снизит потенциальные риски.

«Обычно за отслеживание проблем отвечают разработчики, но мы предложили автоматизированное решение»

В этом проекте мы предложили структуру для рекомендации корректирующих действий на основе измерений, полученных из репозиториев. Мы предоставили простую реализацию фреймворка, но он сохраняет независимость от выбранных методов, используемых для нашей реализации. Она еще нуждается в доработке, чтобы использоваться в качестве коммерческого решения.

Дальше мы хотим разработать компоненты фреймворка (программная платформа, определяющая структуру программной системы — ред.) и улучшать проект. Для этого нам нужно примерно 4-12 месяцев. Самая главная проблема — доступность данных, поскольку мы экспериментировали с фреймворком только в репозиториях с открытым исходным кодом, а для достижения лучших результатов нам нужно больше данных. Проект будет полезен для организаций, которые занимаются разработкой ПО — он сэкономит время и деньги при управлении проблемами и рисками.

Анализ мозговых волн программистов

Наталья Тупикина, выпускница Университета Иннополис:

— Мой проект — анализ мозговой активности во время программирования и выполнения креативных задач. Мы изучали обработку сигналов во время обучения, я готовила доклад про практическое применение метода, где кроме прочего упоминались медицинские приборы для измерения работы мозга. Поэтому я и выбрала это направление.

Я использовала уже существующие приборы из лаборатории для записи волн. Но есть разные способы обработки и анализа данных, мне нужно было внедрить один из них самой. Акцент в анализе был на стрессе во время программирования. Мы сравнивали его с более творческим занятием — рисованием.

«Акцент в анализе был на стрессе во время программирования»

Хотя я не предложила готовые решения по тому, как снизить стресс, сравнение с рисованием может быть частью поиска подходящего решения. Например, можно проверить гипотезу, снижает ли свобода творчества стресс программиста, или сравнить, повышается ли эффективность программистов, рисующих в перерывах между работой.

Не претендую на изменения целой индустрии, но снижение стресса будет актуальным как для разработчиков-профессионалов с многолетним опытом, так и для студентов схожего со мной направления.

Моя главная задача — анализ данных и я с этим справилась. А собранные данные можно использовать для дальнейших исследований. Студенты уже проявляли интерес — они, на основе моих данных, могут предложить конкретную разработку. Проведение 20 экспериментов с оборудованием занимает довольно много времени, пропустив эту часть, работая с готовыми данными, кто-то может продумать более эффективный анализ по схожей теме.


Читать далее:

Телескоп «Джеймс Уэбб» сделал первый снимок Юпитера: на нем сразу 9 двигающихся целей

Ученые поняли, почему у Т-Рекс и других крупных динозавров были маленькие «руки»

В старейшей миссии «Вояджер 1» произошел странный сбой, который не получается устранить