Олах и его коллеги приводят пример робота, который учится убирать помещение. И может научиться тому, чему не следует. Например, как созданный Томом Мерфи бот для игры в Nintendo, который научился постоянно нажимать кнопку паузы, играя в «Тетрис». Что если робот научится сбивать вазы на пол, потому что так проще убираться? Как помешать машине делать глупые и опасные вещи, например, мыть мокрой тряпкой розетки? Как объяснить, что то, что можно делать дома, нельзя делать в офисе?
Ученые Google AI установили несколько конкретных принципов для исследователей ИИ: «избегать негативных побочных эффектов», например, или «безопасное исследование». Это практические советы, но теоретическое обоснование еще не определено. Поскольку ни у кого нет хороших ответов, Олах считает, что пора начать их искать. ИИ не будет нас ждать, пишет Wired.
Системы наподобие AlphaGo учатся анализировать огромный объем данных, но обучается на их основе компьютер самостоятельно. Он играет сам с собой в игры и приходит к решениям, которые человеку в голову не приходили. И ведет себя непредсказуемо.
Аналогии помогут компьютеру сделать правильный нравственный выбор
Идеи
Пока машины не могут принимать важные решения самостоятельно, потому что моральные вопросы для них непонятны. Но уже ведутся разработки и в этом направлении. Например, Кен Форбус из Северо-Западного университета создал механизм отображения структур, который позволяет компьютеру делать выводы на основе аналогий. «В теории можно научить его вести себя больше как человек», — говорит он.
Но до этого еще далеко, тем более что и люди не могут сойтись во мнении, что такое хорошо, а что — плохо. Тем временем, машины умнеют. И вопрос не в том, смогут ли они когда-нибудь выиграть в «Тетрис», не жульничая. А в том, смогут ли они понять, что жульничать нехорошо.