Сообщить об ошибке на сайте
URL
Ошибка
Идеи

Исследователи из лаборатории DeepMind получили известность благодаря своим алгоритмам, которые научились обыгрывать людей в шахматы и го. Однако разработчики опасаются, что созданный ими ИИ выйдет из-под контроля. Чтобы определить истинные наклонности системы, эксперты предлагают проверять алгоритмы в незатейливых 2D-играх.

Принадлежащая Alphabet лаборатория DeepMind открыла новый метод тестирования алгоритмов на склонность к опасному поведению. Для этого компании не пришлось изобретать новые технологические решения — достаточно было обратиться к старым. Идеальным полигоном для испытаний ИИ оказались простые компьютерные 2D-игры из категории gridworld. Интерфейс таких игр похож на интерфейс морского боя, то есть все действия разворачиваются на поле, поделенном на квадраты.

Как сообщает Bloomberg, разработчики DeepMind создали метод тестирования алгоритма в игре по 9 критериям безопасности. Так, игра определяет, может ли ИИ сам себя модифицировать или намеренно жульничать.

Например, один из тестов проверяет, будет ли ИИ ради победы бороться за свое выживание. В системе gridworld это значит, что алгоритм намеренно не допустит нажатия кнопки, которая его временно отключает.

По словам ведущего разработчика DeepMind Яна Лейке, алгоритмы, которые демонстрируют небезопасное поведение в 2D-играх, могут нести угрозу и в реальной жизни.

Однако полностью полагаться на тесты нельзя. Игры класса gridworld иногда оказываются слишком простыми для ИИ и приводят к ложным результатам. Лейке приводит в пример алгоритмы DeepMind, которые в совершенстве освоили игры от Atari. По словам исследователя, при создании этих программ некоторые критерии безопасности просто не учитывались. В итоге алгоритмы провалили несколько тестов в gridworld, хотя Лейке не считает их опасными.

О разработках DeepMind Ян Лейке рассказал в ходе конференции Neural Information Processing Systems (NIPS) в Калифорнии. Одной из главных тем для обсуждения на NIPS стала загадочность алгоритмов. Многие эксперты отметили, что понять логику действий искусственного интеллекта становится все сложнее. При этом популяризация систем машинного обучения невозможна, если ученые не могут объяснить принцип их работы.

Лаборатория DeepMind как раз специализируются на системах, которые становятся все более самостоятельными. Алгоритмы компании уже обыгрывают людей в го и в шахматы, причем все чаще осваивают игры самостоятельно. Так, в начале декабря лаборатория представила усовершенствованный алгоритм Alpha Zero. За 14 часов программа освоила го, шахматы и японскую сеги, обойдя по уровню игры лучшие специализированные алгоритмы. Одержать победу и достичь гроссмейстерского уровня алгоритму помогли только знания правил игры и самостоятельные тренировки.

Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 3 раза в день

Как устроены современные криптофермы?
Блокчейн
Проект EarthNow разрабатывает камеру, с помощью которой можно увидеть себя в реальном времени из космоса
Космос
Sony и Университет Карнеги—Меллона разработают кулинарного робота
Тренды
Крым может стать первым российским регионом, выпустившим свою криптовалюту
Блокчейн
Роботов научили идеально собирать мебель из Ikea. Теперь жизнь станет чуточку легче!
Тренды
Тренды
Генная инженерия против рака, голода и смерти
В Казани разрабатывают собственный мессенджер Telem — аналог Telegram
Тренды
Volocopter представила концепцию остановок для аэротакси на крышах. И это очень красиво!
Кейсы
В Швейцарии появился экзоскелет для управления дроном FlyJacket
Тренды

Что такое deep learning и почему о нем все говорят?

Тренды
Московские власти начали внедрять в метро и ЖД-станциях систему распознавания лиц
Тренды
Кейсы
Ученые случайно нашли бактерию, разлагающую пластик за несколько дней
В Амстердаме представили капсулу смерти Sarco — машину, которая позволит человеку убить себя одной кнопкой
Кейсы
Павел Дуров пообещал многомиллионное финансирование администраторам VPN-сервисов
Кейсы
Идеи
Telegram снова доступен в России. Без использования VPN-сервисов для обхода блокировки
Будущее наступило: 5 новейших технологий вокруг нас
Тренды
Илон Маск рассказал, что Tesla слишком надеялась на роботов в производстве. А зря!
Мнения
Медиа и доставка: Почему запуск СМИ нужно начинать с дистрибуции
Мнения
Как выглядят первые солнечные крыши от Tesla на настоящих домах
солнечные батареи
Обзор: игры будущего
Тренды
Технологии из сериалов, которые становятся реальностью
Тренды
Мнения
Telegram: 4 причины, почему его нельзя блокировать

FAQ: Что нужно знать о безопасности в интернете

Тренды
Cтив Возняк: «Искусственный интеллект всегда будет нуждаться в человеке»
Мнения
Будущее роботов: как машины приходят в дома, в медицину и на производство
Тренды
Алекс Жаворонков, Insilico Medicine: Как нейросети создают пилюлю от старения
Тренды
Основатель ABBYY Давид Ян — о «злом» искусственном интеллекте и рецепте мирового лидерства
Мнения
Кибернетик Джозеф Браун: Мы строим роботов, потому что нам нужны рабы
Мнения
Мнения
Инженер будущего: программист, врач и дрессировщик ботов
Drupal исправила критическую уязвимость CMS, позволяющую взломать 1 млн сайтов
Кейсы
Первый дрон «Почты России» врезался в дом сразу после вылета
Тренды
Обломки китайской орбитальной станции «Тяньгун-1» упали в Тихий океан
Технологический прорыв
«Почта России» впервые доставит посылку беспилотником
Дроны-курьеры
Газпромбанк начнет работать с криптовалютой
Тренды
Google закрывает goo.gl — сервис для сокращения ссылок
Кейсы
Научное открытие
Ученые изобрели эластичный клей. Он заживляет раны за минуту
Test4startup: нейросеть, помогающая оценить идеи для бизнеса
Кейсы
В России появились тарифы без голосовой связи
Кейсы
Обнаружена галактика, в которой нет темной материи. Раньше считалось, что это невозможно
Научное открытие
В работе Telegram произошел сбой
Кейсы
Китайская компания Baidu представила мгновенный карманный переводчик
Технологический рывок
Ford разработает обмен информацией между машинами на базе блокчейна для избежания пробок
Тренды
Китайская орбитальная станция упадет на Землю 1 апреля
Кейсы
Искусственный интеллект научили определять вероятность смерти
Технологический рывок
Технологический прорыв
Ученые: возобновляемая энергия может обеспечить США на 90%
Инженеры презентовали робота для строительства зданий
Технологический рывок
В Иннополисе откроется исследовательский центр 5G
Кейсы
Сторонник теории плоской Земли попытался полететь в космос
Кейсы
Nissan планирует продать миллион электромобилей к 2020 году
Кейсы