Глубокое машинное обучение стало в этом году темой конференции ACM Multimedia, проходящей в Амстердаме. Было представлено более 250 докладов и исследований, из которых TechCrunch отобрал самые любопытные.
К примеру, все любят гифки, но не все гифки одинаково интересны. Швейцарские исследователи разработали алгоритм прогнозирования реакции зрителей, основанный на распознавании изображений. «Мы увидели, что GIFs с животными вызывают больший интерес, чем с людьми», — сообщили авторы.
В свою очередь ученые из Флоренции создали программу, распознающую произведения искусства. Она может стать виртуальным экскурсоводом для тех, кто не хочет читать подписи у музейных экспонатов. Нужно будет просто навести камеру на картину или скульптуру. А музеи получат обратную связь — чем интересуются посетители, кто они и как долго рассматривают экспонаты.
Система DeepSketch2Image, придуманная бельгийскими разработчиками, опознает объекты, изображенные на детских каракулях, и подбирает соответствия среди фотографий аналогичных предметов в реальности. Она способна распознать 250 категорий объектов. Более того, система начинает процесс распознавания одновременно с началом рисования, и может дать правильный ответ, когда набросок готов всего на 20%.
Следующая работа позволяет комбинировать видео, полученное с обычных высокоскоростных камер, с информацией датчиков глубины, и синтезировать их в трехмерные сцены замедленного действия. Таким образом, можно создавать 3D-ролики с быстро движущимися объектами — спортсменами, дронами и тому подобным.
Британские ученые разработали алгоритм, подбирающий идеальную песню к конкретному времени и месту. Система отслеживает местоположение пользователя, темп и направление его движения (например, он едет на работу на велосипеде или возвращается вечером домой пешком). И подбирает подходящую музыку для пробок, давки в автобусе или расслабляющего вида на океан.
И, наконец, система распознающая сарказм в интернете. Созданная лингвистами модель сравнивает картинку и текст и ищет там расхождения в коннотациях. Лучше всего это работает в Instagram, где изображение и подпись тесно связаны.
По мнению главы образовательного отделения Google, технологии, которые сегодня используются для обучения машин, гораздо более эффективны, чем методы обучения живых студентов. В компьютеры закладывают специальные алгоритмы, чтобы им было проще сортировать и структурировать знания, а ребенку просто запихивают в головы смесь из фактов, уравнений и теорем.