Кейсы 1 марта 2016

Экс-сотрудник Пентагона выступил против роботов-убийц

Далее

В США был опубликован отчет бывшего сотрудника Пентагона Пола Шарре, который во время работы в Министерстве обороны готовил правила регулирования автономного вооружения. Теперь Шарре утверждает, что беспилотники и другие самоуправляемые системы неконтролируемы и опасны.

В последние годы дешевые умные датчики и новые возможности искусственного интеллекта открыли дорогу системам вооружения, которые принимают смертельные решения самостоятельно. Возможности так называемых роботов-убийц вызвали протесты и споры в ООН, а также требования ограничить развитие и использование подобных систем. Недавняя скандальная история с ошибкой алгоритма спутникового слежения Skynet, из-за которой могли быть убиты невинные люди, — яркий тому пример.

Пол Шарре сейчас руководит программой по исследованиям будущего в области вооружения в Центре новых подходов к охране безопасности США. С 2008 по 2013 годы он работал в Пентагоне и был одним из составителей директивы Департамента обороны, которая устанавливала правила использования беспилотного и автоматизированного вооружения.

В своем отчете он подчеркивает, что такие системы могут легко подвергнуться кибератаке, перехвату и другим манипуляциям сторонних агентов.

По мнению Шарре, автономному вооружению не хватает гибкости, которая есть у человека, поэтому оно не может подстраиваться под новую ситуацию и менять план действий.

Это приводит к высокой вероятности ошибки. В Центре новых подходов к охране безопасности США как раз исследует такие явления, когда компьютерные системы ведут себя непредсказуемо и приводят к сбоям и ошибкам как в оборонном, так и в коммерческом секторе.

Другая проблема автономного вооружения — это непрозрачность технологии искусственного интеллекта, сопряженной с машинным «зрением» и распознаванием речи. Если суммировать идеи Шарре, то они звучат так: машины ненадежны и подвержены дурному влиянию со стороны, и это может привести к катастрофическим последствиям.

В качестве альтернативы автономных системам Шарре предлагает тактику ведения боевых действий «Кентавр», которая, как можно понять из названия, подразумевает интеграцию человека и компьютера.

Автономное вооружение уже перестало быть фантастикой — Южная Корея создала самонаводящуюся пушку, которая установлена на демилитаризованной зоне между Северной и Южной Кореей. Также недавно Израиль представил беспилотное воздушное судно, которое может самостоятельно атаковать вражескую систему радаров.