Может ли дрон лгать?
— Тема вашей лекции — «Зачем мы заставляем роботов лгать». Ложь в ее классическом понимании — намеренное предоставление неверной информации, владея верной. Как это понимать в контексте роботов?
— В нашем случае ложь — это когда информация о том, как устроен реальный мир, снаружи не соответствует тому, что мы считываем и передаем. По какой причине? У нас сломался датчик и мы действительно так видим, или фальсифицируем во имя фальсификации, или еще по какой-то причине. Когда мы с вами общаемся, я могу лгать. Потому что я ошибаясь в своих выводах или плохо вижу. Вам это не важно, для вас эта информация будет ложной в любом случае. Поэтому мы и рассматривали методы управления, которые позволяют систему сделать безопасной.
— Когда вы говорите про роботов и «мультиагентные системы», то имеете в виду беспилотные аппараты?
— Нет, это просто самое популярное направление. Сейчас самые популярные темы — это беспилотные летательные аппараты.
— Вы тестируете варианты решения проблем, которые могут возникнуть?
— У нас есть два уровня. На первом уровне мы смотрим, какая информация путешествует внутри дрона, потому что информация с датчиков все равно обрабатывается перед тем, как попасть на вычислительное устройство. На втором уровне между дронами происходит обмен информацией, и ее тоже тестируем. Смотрим, как она соотносится с реальным миром.
— Дроны сейчас бывают разные — военные, гражданские и прочие. Дроны, которые так обмениваются информацией друг с другом, — это какой-то специфический класс?
— Нет, по сути, все могут обмениваться. Я, честно говоря, не знаю ни одного устройства из беспилотников, которое не обменивается информацией. Даже когда вы управляете с пульта, все равно можно получить ее. Вот поэтому мы работаем на достаточно высоком уровне абстракции с применением частных реализаций, но в целом это достаточно общие решения — дженерик, что называется.
— За последний год мы видели случаи, когда дроны создавали проблемы для людей. Дроны, которые могут врезаться в самолеты, дроны, которые блокировали взлетные полосы. Можно ли такие ситуации как-то предотвращать?
— Если это управляется человеком, то единственный способ — просто его сбить. То есть перехватить управление, заставить его делать так, как нам хочется, или просто физически уничтожить. Если дрон был закуплен, изначально уже собран кем-то, и мы им управляем кастомно, — то можно противодействовать, зная эти стандартные алгоритмы. Но сейчас собрать дрона — задача для начальных курсов университета или старших классов школы. Мануалов куча, детали можно закупить без проблем, стоит это не очень дорого. Поэтому логика, которая будет внутри таких собственных дронов, не может быть стандартизирована в полной мере.
— Вы сказали про перехват контроля. Насколько это возможно, что для этого требуется?
— Если мы рассматриваем какую-то закупленную систему, то знаем протоколы, на которых она общается. В теории мы можем подменить пульт управления. Но это такая нетривиальная задача. С точки зрения инженерии и науки, это можно сделать. На практике это очень сложная инженерная задача. Но решаемая.
— Сейчас никто не умеет этого делать?
— Насколько я знаю, никто. Во всяком случае, такой информации в открытом доступе не встречается.
— Какие еще проблемы вы видите, которые могут возникнуть в ближайшее время, если мы говорим про беспилотники?
— Для меня как безопасника основная проблема в том, что система будет функционировать не так, как хочет человек. Это я не к «Матрице», а к тому, что где-то могут быть нарушены логика и поведение системы. Мы хотим видеть один результат, а будет другой. Грубо говоря, хотим построить из этих дронов стадион. Основная проблема в том, что кирпичик в фундаменте будет поставлен не так, как нужно. То есть глобально мы построим стадион, но эти маленькие отклонения внутри конструкции приведут к тому, что вся конструкция рухнет.
— Если мы программируем весь софт для этих дронов, по какой причине они могут поставить эти кирпичики неправильно?
— Смотрите, мир компьютеров состоит из нулей и единичек, все четко. Мы заложили такую логику, получили ответ. Физический мир состоит из промежутка значений от нуля до единицы. То, что мы закладываем на вычислительном уровне, в реальном мире может не соответствовать. Блик солнца, порыв ветра, — и кирпичик уже встал не так. Вот это задача нового раздела науки — функциональной безопасности, производной от информационной, когда мы пытаемся подстроиться под действия окружающей среды и выработать такое решение, которое позволит нам собрать кирпичик безотносительно внешних факторов. И это сложная задача. Она имеет решения, но ни одно из них полностью не гарантирует успех.
— В массовом доступе дроны появились не так давно. Вы думаете, ситуация в дальнейшем будет такой же, что я смогу пойти и купить дрон? Сейчас считается игрушкой, может ли это измениться?
— Я не юрист, но, по-хорошему, должны быть введены какие-то ограничения. Из серии «покупать большой беспилотник без каких-то документов, лицензий и прочего — неправильно». Покупать игрушечный беспилотник? Почему нет, он вряд ли принесет большой ущерб. Тут опять история в том, что при желании все можно обернуть в негативном свете. Поэтому мне — человеку, связанному с наукой, хотелось бы, чтобы это все было общедоступно. Но человеку, который ходит по улицам, хотелось бы, чтобы были введены какие-то разумные ограничения. Именно разумные.
Роевой интеллект — в роботах и людях
— Вы занимались прогнозированием поведения людей в чрезвычайных ситуациях и моделировали это на основе трагедии в «Хромой лошади». Понятно, как можно создать цифровую модель бара. Но как вы можете предсказывать поведение людей? На основе каких данных?
— Никак, по сути. Человек вообще ведет себя достаточно спонтанно, особенно в экстренных случаях. Но у нас есть гипотеза, которую мы проверили при помощи моделирования на ситуации, которая произошла.
— Как вы смоделировали поведение людей? Ваши результаты были крайне близки к реальности.
— Если говорить о логике, которая там закладывалась, то это так называемый роевой интеллект. Усреднение движения, выбор условных лидеров, движение к выходам и прочее. Достаточно тривиальный принцип. Вообще принцип любого интеллекта — у нас есть частица, которая может вести себя очень глупо, у нее очень банальные и простые принципы. Но в итоге получается эффект, когда вся система ведет себя крайне умно.
— Вы сейчас говорите терминами, больше применимыми к технологиям. Если говорить о людях, все так же?
— Робот построен на принципах человека. Если я беру систему от человека и применяю ее на робота, то, по крайней мере, могу применить систему от робота к человеку. В области ИТ эти правила сформулированы очень давно. Как минимум с 1986.
— По сути, вы доказали, что это работает и на людях?
— Да, мы попробовали, и это работает. Я не социолог и не психолог, но мне кажется, результат с точки зрения проведения научного эксперимента получился верным: человек в экстренных случаях опускается до достаточно банального уровня поведения. И этот банальный уровень может быть скопирован с поведения птиц, условно. В принципе, получилось.
«Пусть лучше собьют меня, чем ребенка»: этика беспилотников
— Вы говорили про этические проблемы беспилотников и дилемму выбора, если им придется кого-нибудь убить. Проблема вагонетки вряд ли возможна в реальной жизни. Но вообще вы считаете, что надо программировать такие вещи? И могут ли они возникнуть в реальной жизни?
— Они, безусловно, возникнут в реальной жизни, и если мы не станем это программировать, — то что будет тогда? Смотрите, мы разработали алгоритм, машина функционирует, все ездит, а потом случается такая ситуация, что бабушка и ребенок выбежали с разных концов дороги. Если мы не закладываем логику поведения в таком случае, то как бы снимаем с себя моральную ответственность за это. Это некоторый шаг к трусости, как мне кажется.
Врезка
— Если мы не закладываем в беспилотную систему определенную модель поведения при такой ситуации, что она сделает?
— Это зависит от системы. Может, попытается минимизировать свои риски и, условно, собьет того, кто ближе.
— Вы говорите, что мы должны это все программировать. Кто тогда должен решать, кого сбивать?
— Мне кажется, что Массачусетс (MIT — «Хайтек») пошел правильным путем — демократия.
Ученые из Массачусетского технологического института (MIT) сделали игру, в которой пользователю предлагается сделать выбор между двумя вариантами поведения беспилотного автомобиля в случае этической дилеммы. В результате получилось глобальное исследование, в котором поучаствовали миллионы людей в сотнях стран. Оказалось, что люди в разных странах имеют разные представления о том, как беспилотники должны решать этические вопросы.
— То есть мы должны голосовать, кого должен сбивать беспилотник?
— Не совсем. Должно быть проведено социологическое исследование, которое позволит нам сделать выбор. За него будет в ответе все человечество, а не один программист.
— Вы считаете, что это будет работать, люди примут это?
— Это все равно вызовет недовольство, потому что большому количеству людей был предоставлен выбор, и кто-то будет с ним, естественно, не согласен. Но если этого выбора совсем не будет, а вместо него — авторитарное решение, то это не совсем честно.