В эксклюзивном интервью «Хайтеку» старший научный сотрудник лаборатории компьютерной графики и мультимедиа факультета ВМК МГУ Дмитрий Ватолин рассказывает, в чем заключаются основные причины головной боли во время просмотра 3D-фильмов. По его словам, это дешевое оборудование кинозалов, некачественный контент и нежелание продюсеров тратиться на доработку качества видео. Для решения сложившейся проблемы команда Ватолина разработала комплекс программ, распознающий технологические ошибки, допущенные во время монтажа 3D-фильмов. Как ранее сообщал «Хайтек», они были обнаружены даже в таких высокорейтинговых фильмах, как «Аватар», «Хроники Нарнии», «Сталинград».
Почему болит голова?
Говорить о том, что мы нашли какую-то одну причину возникновения головной боли при просмотре 3D-фильмов неверно. К большому сожалению, головная боль возникает из-за нескольких проблем, которые нужно решать. Есть проблемы, к которым чувствительны абсолютно все люди, есть те, к которым чувствительны определенные категории. Если мы хотим снижать процент людей, которые испытывают дискомфорт при просмотре 3D-фильмов, нужно решать все эти проблемы.
Дешевое оборудование кинозалов
При этом начинать, по-хорошему, следует с оборудования кинотеатров. Существует оборудование, при использовании которого практически у 100% людей после часа просмотра наступает заметная усталость, например, из-за активных очков, которые до сих пор встречаются. Люди просто не знают, насколько эта технология устарела. Реальная ситуация такова, что не только обычные граждане покупают телевизоры с активными очками, но иногда и кинотеатры, в том числе бывшее в употреблении оборудование из других стран.
Максимально качественное 3D-изображение дают два ярких проектора, широкие очки с круговой поляризацией и полукруглый экран с посеребренным покрытием (даже последнее, как ни странно, влияет на снижение дискомфорта от 3D). Все это стоит денег.
Остальные технологии заметно дешевле в том плане, что для них, например, не требуется переделки аппаратной комнаты зала под два проектора (почти всегда используется один), не требуется специальный экран и так далее. Это удешевляет переоборудование зала, но увеличивает процент зрителей, испытывающих дискомфорт при просмотре. При том, что даже банальная яркость экрана в разных залах может отличаться в 10 раз, что уже хорошо заметно на глаз даже без специального оборудования, большинство зрителей голосует за те залы, где билеты хотя бы на 20 рублей, но дешевле. Это в принципе убивает для владельцев залов идею установки более дорогого и качественного оборудования.
Некачественный контент
Второй источник проблем кроется в самом контенте. Нагляднее всего проблема некачественных 3D-фильмов проявляется на международном 3D-стерео кинофестивале в Москве. Организаторы фестиваля, безусловно, молодцы и подвижники. Они принимают даже те фильмы, которые снимают школьники, но в итоге при просмотре конкурсной программы голова болит у 100% зрителей. Так называемые «вырви-глаз-сцены» в любительских фильмах встречаются регулярно. И очень хорошо видна колоссальная разница между весьма комфортными при просмотре профессионально снятыми фильмами и тем, что иногда снимают любители.
Например, одна из технических ошибок — перепутанные ракурсы — приводит к тому, что дальнюю часть сцены зритель видит как ближнюю, а ближнюю — как дальнюю, то есть изображение получается вывернутым наизнанку. К счастью или к сожалению, человеческий мозг настолько мощный и адаптируемый, что способен воспринимать даже такую «неправильную» картинку, возвращая вечером головную боль. При просмотре проблемных сцен 3D-фильмов мозг пытается адаптироваться — в лучшем случае вы чувствуете дискомфорт, тогда как на базовом уровне восприятия в этот момент обработка картинки происходит на пределе. В результате копится усталость и минут через двадцать проявляется головная боль.
Еще одна ошибка связана со сдвигом кадров во времени для правого и левого глаз, когда, например, правый ракурс бежит на полкадра или кадр быстрее левого. Если на видео показывают вертикальное движение руки вверх, а кадры идут несинхронно, то в одно и то же время правый глаз будет видеть эту руку выше, а левый — ниже. Это крайне дискомфортно. Эту проблему часто можно исправить (даже в случае сдвига на полкадра), но для этого требуется хорошее владение профессиональными инструментами обработки видео.
Комлекс, выявляющий «неправильные» картинки
Это комплекс исследовательских программ под названием VQMT3D, который выявляет технологические ошибки в 3D-фильмах на Blu-ray-дисках. Каждая программа (метрика) ориентирована на выявление конкретной проблемы, вызывающей головную боль или дискомфорт. В некоторых случаях метрика может напрямую рапортовать об ошибке, после чего ее проверяет человек. Поскольку еще совсем недавно все ошибки выявлялись только вручную, а большинство сцен фильмов все же высокого качества, то данный подход позволяет кардинально упростить, ускорить и повысить качество контроля.
Все это стало возможным благодаря развитию алгоритмов компьютерного зрения, которое произошло буквально за последние 5 — 10 лет. Впрочем, даже сегодня для такой работы нужны серьезные вычислительные мощности. У нас был создан небольшой вычислительный кластер из 17 машин, который обработал 105 фильмов (каждый весом в 40 гигабайт) за 9 месяцев. Заметим, на компьютерах, скажем, пятилетней давности потребовалось бы в разы больше времени для того же самого анализа. При этом для любой киностудии требуемые вычислительные мощности являются весьма скромными. Также, скажем, пять лет назад в принципе невозможно было достать 100 фильмов в качестве, достаточном для глубокого анализа. Сегодня благодаря принятию стандарта Blu-ray 3D и достаточно массовому выпуску фильмов в нем появилась уникальная возможность анализировать фильмы размером 40 гигабайт, то есть без сильного сжатия, в высоком качестве, где «видно все». Это многое меняет, в том числе, например, появилась возможность гораздо более адекватно измерять разницу по резкости между ракурсами. В итоге сегодня появилась возможность узнать, что же мы видим в кинотеатрах.
Впервые стало возможным прогнать через комплекс большое количество фильмов.
Естественно, у нас есть коллеги в других странах, которые также занимаются анализом стерео, но другие проекты ориентированы как правило на одну-две проблемы, из-за которых возникает головная боль. При этом финансирование исследовательских работ в этом направлении после бума 2010 года сейчас кардинально сокращено. Поэтому, как мне жалуются коллеги, многие исследования в этом направлении сейчас закрыты.
Дальнейшая работа над комплексом
В данный момент у нас построен прототип и нужно проделать еще очень много работы прежде, чем комплекс можно будет назвать готовым продуктом. Сейчас мы занимаемся его усовершенствованием: увеличиваем скорость обработки, число параметров, которые будут проверяться. На данный момент есть около 10 параметров. В исследовательском смысле большой вопрос заключается в том, как сильно (в процентном соотношении) каждый из них влияет на самочувствие человека при просмотре 3D-фильма.
Сейчас у профессиональных стереограферов есть проблема — они не могут выбить деньги на исправление ошибок у продюсеров, которые, просмотрев пару исправленных сцен и сравнив их со сценами до исправления, не видят разницы. Это объясняется как тем, что разные люди чувствительны к разным ошибкам, так и длительностью просмотра некачественного видео. Тот уровень проблем, от которого не будет болеть голова даже после 5 минут просмотра, может с большой вероятностью вызывать проблемы после 1,5 — 2 часов. При этом убедить продюсера вкладывать деньги в исправление на практике зачастую сложно. Именно поэтому наш проект поддерживается в первую очередь стереограферами.
Периодически мы выпускаем отчеты о проделанной работе на английском языке, их изучают и комментируют, в том числе анонимно, зарубежные профессиональные стереограферы. Всего пока выпущено 8 отчетов по 300 — 400 страниц каждый. На данный момент в проекте публично приняло участие 28 человек и около 100 профессионалов писали нам анонимно, то есть мы достаточно плотно работаем с индустрией. В комментариях стереограферы часто благодарят нас за проделанную работу.
Сейчас мы занимаемся ускорением процесса обработки, повышением точности определения ошибок, новыми ошибками. Так, согласно результатам проведенных нами тестов, сегодня комплекс пропускает (не видит) около 5% сцен с перепутанными ракурсами (условно, в 65 случаях ошибки были обнаружены, в 3-х — пропущены). Этого в целом достаточно, чтобы серьезно почистить фильмы, но и есть над чем работать. Также сейчас довольно бурно развиваются алгоритмы компьютерного зрения, в том числе позволяющие заметно поднять скорость работы. Частично это уже сделано, но много работы еще предстоит.
Стереограферы очень сильно поддерживают нашу разработку, но они не те люди, которые распоряжаются деньгами. Политика киностудий достаточно цинична для индустрии. Есть фундаментальная проблема: те, кто отвечает за качество, не распоряжаются средствами. И все же основания для оптимизма есть. В частности, в последнее время стало все больше низкобюжетных фильмов, сделанных с качеством, которое раньше могли себе позволить только блокбастеры. Совершенствуются технологии, становится все больше грамотных людей. Соответственно, постепенно растет качество фильмов, которые мы видим в кинотеатрах. Количество залов с поддержкой 3D также растет. Статистики за 2015 пока нет, но даже в России в 2014 году количество залов с поддержкой 3D выросло на 23%. Их количество больше, чем когда-либо в истории кинематографа. В том числе растет число качественных залов. Остается только продолжать поднимать качество фильмов.
Всем поменьше головной боли!