Для придания кадрам из популярной игры реалистичности исследователи Intel использовали набор данных Cityscapes Dataset, коллекцию изображений центральной части немецкого города, снятых с помощью автомобильной камеры.
Благодаря новому подходу, помимо обработки изображения, созданного игровым движком Grand Theft Auto V, нейронная сеть также использует другие обработанные данные, к которым игровой движок имеет доступ, такие как глубина объектов в сцене и информация о том, как освещение обрабатывается и рендерится. В результате получилось фотореалистичное видео.
Исследователь Intel Стивен Рихтер заявил, что «краеугольным камнем» в их методе является сверточная сеть, архитектура глубокого обучения, которая обычно используемая для обработки изображений. Команда обучила свои сверточные сети на реальных изображениях, чтобы преобразовать графику GTA V в модель реальности.
Для игр, симуляторов и фильмов необходимо проделать огромный объем работы по моделированию объектов, материалов и так далее, чтобы они выглядели реалистично. Но при правильной настройке сверточных сетей они могут автоматически генерировать эти вещи непосредственно из реальных коллекций фотографий.
Стивен Рихтер, исследователь Intel
Результат просто поражает: в окнах машин появились отражения, дороги вымощены гладким асфальтом, а растительность приобрела более яркую текстуру. Тем не менее, Рихтер отмечает, что обновленная цветовая палитра была связана с записывающим оборудованием. Городские пейзажи были сняты автомобильной камерой с характерным зеленым оттенком. Следовательно, изображения, улучшенные так, чтобы они выглядели как городские пейзажи, также приобретают этот зеленый оттенок. Виды были записаны с помощью разнообразного набора камер, включая, например, камеры смартфонов.
Кроме того, Рихтер сообщил , что на результат повлияли нереалистичные аспекты GTA V. В GTA гораздо меньше трафика, чем в реальном мире, будь то в городах Калифорнии или Германии. То, как настроен метод Intel, не должно это менять и не будет. Он не добавит машин или пешеходов, если их нет в исходном кадре игры. То же самое и с мусором на улице или на тротуаре. Поэтому чистые сцены GTA с меньшим количеством грязи и трафика, чем реальный мир, могут показаться менее реалистичными, чем реальные фотографии.
Читайте также:
Высокий рост, пропавшие зубы, новые кости: что произошло с телом человека за сто лет
Огромную моль нашли в Австралии. Ее размах крыльев — 25 см
Физики создали аналог черной дыры и подтвердили теорию Хокинга. К чему это приведет?