Алгоритм назвали «моделью визуальной депроекции», он основан на сверточной нейронной сети, которая нацелена на распознавание образов. Сеть обучили на парах изображений низкого и высокого качества, чтобы она могла проверить свои ответы.
Когда модель используется для обработки некачественных изображений с размытыми элементами, она анализирует их, чтобы выяснить, что в видео могло вызвать размытие и какое изображение там могло быть.
Затем в нем синтезируются новые изображения, которые объединяют данные как из более четких, так и из нечетких частей видео. К примеру, алгоритм видит тротуар с пешеходами и может «домыслить», что размыт шагающий человек.
Во время тестов модель смогла воссоздать 24 видео — в одном из случае она даже детально восстановила размер и положение ног человека. Исследователи уверены, что эта технология поможет усовершенствовать медицинские устройства.
Они считают, что технологию можно использовать для восстановления медицинских изображений, например, рентгеновских снимков. Так сканирование может стать намного дешевле, что сделает его доступным даже для развивающихся стран.