Исследователи из Google представили детальные 3D-сцены знаменитых достопримечательностей по всему миру. Они использовали фотографии, которые скачали из интернета и обработали их с помощью машинного обучения.
На странице проекта в GitHub исследователи поделились 3D-сценами Бранденбургских ворот в Берлине, храма Базилика Сакре-Кер в Париже и фонтана Треви в Риме. Машинное обучение создало из этого материала детальный 3D-рендеринг, в котором можно перемещать вид, а внешняя сцена меняется под действием световых эффектов.
Our paper, “NeRF in the Wild”, is out! NeRF-W is a method for reconstructing 3D scenes from internet photography. We apply it to the kinds of photos you might take on vacation: tourists, poor lighting, filters, and all. https://t.co/lawLB4eEup (1/n) pic.twitter.com/UuvUm4eVzm
— Daniel Duckworth (@duck) August 6, 2020
Исследователи объяснили, что их алгоритм может столкнуться с трудностями при использовании изображений с «необычными параметрами». Фотографии обрабатываются некорректно при плохом свете, неправильной экспозиции или постобработке. Кроме того, на снимках из интернета часто есть движущиеся объекты — например, люди или автомобили. Они также могут помешать алгоритму.
«Два фотографа могут стоять на одном месте и сделать снимок одной и той же достопримечательности, но один кадр алгоритм обработает корректно, а второй — испортит. Нам нужно доработать ИИ, чтобы он работал корректно», — отметили исследователи.
Полученная модель может содержать глитчи или другие ошибки. Исследователи разрабатывают специальные расширения, которые смягчают обработку с помощью ИИ, это приводит к более качественным результатам.
Читайте также:
— Последний шельфовый ледник в Канаде обрушился в океан. Он потерял 40% за два дня
— Посмотрите, что способен увидеть в космосе преемник Хаббла. Обзор телескопа Уэбб
— Россия открыла авиасообщения с рядом стран. Насколько безопасно туда лететь?