За последнее время исследователи со всего мира создали несколько десятков нейросетей, которые позволяют с разной степенью реалистичности подменить лицо или голос на видео. Код большинства алгоритмов не публикуется в открытом доступе, однако существуют отдельные проекты, кодом которых может воспользоваться любой желающий.
Один их них — Deepfake (от deep learning — «глубинное обучение» и fake videos — «поддельные видео»). Алгоритм работает на основе алгоритмов с открытым кодом, таких как TensorFlow, и обучается по видео с YouTube. Затем система старается подставить лицо выбранного человека к исходному видео с максимальной реалистичностью.
Теперь исследователи показали, как можно использовать Deepfake для подмены лиц на фотографиях для сохранения приватности пользователей. Инженеры использовали несколько популярных алгоритмов для обработки изображений — в частности, нейросети S3FD и Mask R-CNN. Первый алгоритм размечает квадрат на снимке, в котором расположено лицо, а второй — глаза, уши, плечи и нос.
После того, как алгорит определили параметры лица человека, изображение заменяется на одну из фотографий из датасета НАС-100M, где люди изображены под разными углами , а иногда их лица частично закрыты предметами или объектами.
Из соображений конфиденциальности все лица из датасета на конечном изображении меняются, отмечают исследователи.
Facebook вместе с Microsoft и рядом американских университетов учредили исследовательский конкурс Deepfake Detection Challenge, главная задача которого — разработка технологий для борьбы с подменой лиц на видео.