Технология интерактивного динамического видео (IDV) позволяет управлять предметами на видеоролике. Для этого исследователи специально зафиксировали, как отдельные объекты вибрируют. На основе этих данных алгоритм создает детальную модель предмета с учетом его физических свойств и заставляет их двигаться.
Если нажать на тачскрин или щелкнуть мышкой и потянуть в том месте, где находится предмет, то будет казаться, что он среагировали на виртуальное прикосновение. Исследователи представили видеоролик, в котором сравнил Pokémon GO и IDV. В нашумевшей игре используется дополненная реальность, в которой виртуальные объекты никак не взаимодействуют с реальными. IDV при этом создает динамическую дополненную реальность — если на куст прыгнет виртуальный покемон, куст закачается.
Также для демонстрации технологии ученые записали видео с проволочными человечком. В течение пяти секунд они стучали по столу, на котором он стоял, чтобы зафиксировать особенности вибрации. Полученный интерактивный динамический видеоролик позволяет управлять человечком — если потянуть его за руку, то он закачается, сохранив при этом устойчивость.
Технология может использоваться в сфере образования для создания обучающих интерактивных роликов, а также в кинематографе и индустрии развлечений для создания спецэффектов.