Дождь — это настоящее испытание для машинного зрения. При выпадении осадков алгоритм может полностью разучиться различать предметы. Осадки меняют сценарий распознавания и требуют альтернативного подхода. Сегодня, если кто-то собирается совершить преступление, то лучше это делать во время дождя, говорят создатели алгоритмов. Существующие системы компьютерного зрения мало чем помогут криминалистам.
Самой большой трудностью для алгоритма было определить, совпадает ли очищенное от пелены дождя или снега изображение с оригинальным. В качестве решения разработчики использовали вид нейронных сетей под названием Generative Adversarial Networks (GANs) — Генеративные состязательные сети. В этом случае в процессе распознавания участвует не одна, а сразу две нейронные сети. Одна генерирует контент, а другая оценивает его. Две сети находятся в своего рода состязании, в процессе которого, одна стремится обмануть другую — в результате получается лучший вариант, избавленный от помех в виде дождя или снега.
С таким игровым подходом сама проблема дождя формулируется иначе. Раньше дождь на кадрах воспринимался как дефект — все усилия ученых были направлены на то, чтобы создать алгоритм, который этот дефект устраняет. С GANs подход изменился — две сети теперь играют в игру, объясняют создатели. Одна пытается получить хороший результат при распознавании, а другая этот результат пробует копировать и старается определить, насколько он похож на правду. Теория игр служит во благо машинного зрения.
«Священный Грааль физики»: водород удалось превратить в металл
Идеи
Но погодные условия не единственная проблема систем компьютерного зрения. Их достаточно легко обмануть. Так проект Hyperface борется с повсеместной слежкой и предлагает простой способ обмана систем распознавания лиц.