Новости 28 июня 2023

Модель комнаты построили на основе отражений в глазах

Исследователи обучили нейронную сеть для создания объемных моделей на основе изображений, отраженных в глазах.

Читайте «Хайтек» в

Исследователи из Университета Мэриленда использовали метод машинного обучения Neural Radiance Field (NeRF) для анализа изображений, которые можно обнаружить в зрачках зрителя. Система смогла восстановить масштаб объектов и построить упрощенные размытые 3D-модели окружающего пространства за пределами камеры.

Делая серию последовательных снимков движущегося человека, можно получить несколько различных видов сцены за пределами прямой видимости камеры через отражения в глазах, объясняют авторы работы. Сложность составляют только проблемы с оценкой точного положения глаз и сложное пересечение узора радужной оболочки глаз и отраженного изображения.

Реконструкция объектов на основе отражения. Видео: Университет Мэриленда

Программисты разработали метод, который уточняет положение роговицы, поле яркости, изображающее сцену, и текстуру радужной оболочки глаза наблюдателя. Геометрия роговицы примерно одинакова у всех здоровых взрослых людей. Из-за этого на основе количества пикселей можно идентифицировать местоположение глаз.

После оценки положения система оценивает отражение, видимой на глазах, и аппроксимирует его на модель. Она корректирует цвета и ошибки, связанные с окрасом и спецификой глаз, увеличивает масштаб и убирает искажение, связанное с неровной (объемной) поверхностью глаза. В результате получаются немного размытые, но все же модели объектов.

Исследователи протестировали работу своей модели на синтетических и реальных снимках. Анализ показал, что в целом модель способна эффективно восстанавливать невидимые детали на основе отражений. Но для качественного результата в настоящее время требуется качественное освещение во время съемки. При этом, попытки использовать для распознавания клипы Майли Сайрус и Леди Гаги показали только, что Сайрус, по-видимому, смотрит на софиты, а Гага — на туловище человека.