Новый инструмент, разработанный учеными из Института информационных наук США, фокусируется на движениях лица и головы человека, чтобы определить был ли материал с его участием подделан. Он может идентифицировать созданные нейросетью видео с точностью до 96%.
Стандартные модели обнаружения поддельных видео анализируют видеокадры отдельно и пытаются определить признаки манипуляций. Новая технология требует гораздо меньше вычислительной мощности и времени — она «просматривает» видео целиком. После этого она складывает кадры видео друг на друга и ищет возможные несоответствия в том, как перемещается объект съемки.
Признаками поддельного видео могут быть движения век человека или странные жесты — их исследователи называют «мягкими биометрическими подписями». Поскольку большинство поддельных алгоритмов не полностью моделируют движения человека, они и могут выдать поддельные материалы.
Исследователи использовали набор данных, состоящий из около 1 000 поддельных видео, чтобы обучить новый инструмент. «Это может оказаться весьма ценным в преддверии президентских выборов 2020 года. Даже такие простые подделки, как та, в которой «участвовала» политик Нэнси Пелоси, широко распространились по социальным сетям», — отметили исследователи.
Ранее инженеры из университетов Стэнфорда, Макса Планка и Принстона создали на основе алгоритма Deepfake нейросеть, которая позволяет редактировать речь говорящего на видео. По их словам, это так же просто, как изменить текст в редакторе.