Сообщить об ошибке на сайте
URL
Ошибка
Идеи

Исследователи из лаборатории DeepMind получили известность благодаря своим алгоритмам, которые научились обыгрывать людей в шахматы и го. Однако разработчики опасаются, что созданный ими ИИ выйдет из-под контроля. Чтобы определить истинные наклонности системы, эксперты предлагают проверять алгоритмы в незатейливых 2D-играх.

Принадлежащая Alphabet лаборатория DeepMind открыла новый метод тестирования алгоритмов на склонность к опасному поведению. Для этого компании не пришлось изобретать новые технологические решения — достаточно было обратиться к старым. Идеальным полигоном для испытаний ИИ оказались простые компьютерные 2D-игры из категории gridworld. Интерфейс таких игр похож на интерфейс морского боя, то есть все действия разворачиваются на поле, поделенном на квадраты.

Как сообщает Bloomberg, разработчики DeepMind создали метод тестирования алгоритма в игре по 9 критериям безопасности. Так, игра определяет, может ли ИИ сам себя модифицировать или намеренно жульничать.

Например, один из тестов проверяет, будет ли ИИ ради победы бороться за свое выживание. В системе gridworld это значит, что алгоритм намеренно не допустит нажатия кнопки, которая его временно отключает.

По словам ведущего разработчика DeepMind Яна Лейке, алгоритмы, которые демонстрируют небезопасное поведение в 2D-играх, могут нести угрозу и в реальной жизни.

Однако полностью полагаться на тесты нельзя. Игры класса gridworld иногда оказываются слишком простыми для ИИ и приводят к ложным результатам. Лейке приводит в пример алгоритмы DeepMind, которые в совершенстве освоили игры от Atari. По словам исследователя, при создании этих программ некоторые критерии безопасности просто не учитывались. В итоге алгоритмы провалили несколько тестов в gridworld, хотя Лейке не считает их опасными.

О разработках DeepMind Ян Лейке рассказал в ходе конференции Neural Information Processing Systems (NIPS) в Калифорнии. Одной из главных тем для обсуждения на NIPS стала загадочность алгоритмов. Многие эксперты отметили, что понять логику действий искусственного интеллекта становится все сложнее. При этом популяризация систем машинного обучения невозможна, если ученые не могут объяснить принцип их работы.

Лаборатория DeepMind как раз специализируются на системах, которые становятся все более самостоятельными. Алгоритмы компании уже обыгрывают людей в го и в шахматы, причем все чаще осваивают игры самостоятельно. Так, в начале декабря лаборатория представила усовершенствованный алгоритм Alpha Zero. За 14 часов программа освоила го, шахматы и японскую сеги, обойдя по уровню игры лучшие специализированные алгоритмы. Одержать победу и достичь гроссмейстерского уровня алгоритму помогли только знания правил игры и самостоятельные тренировки.

Загрузка...
Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 3 раза в день

Ученые установили скорость движения нейтрино. Она почти равна скорости света
Тренды
На жалобы россиян чиновники будут реагировать прямо в социальных сетях. СММ заработал!
Тренды
Капсула Hyperloop разогналась до 466 км/ч. Это новый рекорд
Идеи
Физики получили сверхпрочные материалы-нитриды с помощью простого способа прямого синтеза
Кейсы
НАСА запустила платную подписку на данные со спутников
Идеи
Российские ученые создали четвероногого робота — аналог Boston Dynamics
Идеи
Тренды
В США разрешили публиковать чертежи для печати 3D-оружия
Появился первый 4D-тур по винокурне
Тренды
ИИ научился предсказывать реакции химических элементов и находить новые соединения
Тренды
Facebook снова разрабатывает спутники для раздачи интернета из космоса
Тренды
Ученые представили датчик, который определяет уровень гормона стресса через пот
Тренды
Тренды
Децентрализованная альтернатива YouTube запустится в октябре
Жить по-умному: как защитить свой дом и не бояться киберугроз
Умный дом
Андрей Синогейкин, Wonder Technologies, — об искусственных алмазах
Тренды
Никита Бокарев, ESforce, — о деньгах, киберспорте и его немаргинальности
Тренды
Тренды
YouTube-депрессия: как создатели популярных каналов боятся потерять подписчиков и разум
Гельмут Райзингер, Orange Business Services, — об IIoT, 5G и телеком-стартапах
Мнения
«Робот берет вас на работу»: как искусственный интеллект, блокчейн и VR подбирают персонал
Мнения
Телемедицина, роботы и умные дома: каким через 5 лет будет «оцифрованный» город в России
Тренды
Мясная революция: как перейти от веганских заменителей к клеточным технологиям и биореакторам
Идеи
AI-выборы: как искусственный интеллект и голосовые помощники сделают демократию лучше
Тренды
Идеи
Тупик для беспилотников: как мечты разработчиков разбиваются о неожиданности на дорогах
Здесь нужен InsurTech: за какими стартапами будущее страхования
Мнения
Вирус лженауки в Google: как поисковые системы распространяют опасные мифы о прививках
Идеи
«Кто-то управляет моим домом»: как жертв домашнего насилия терроризируют с помощью умных устройств
Умный дом
Паскаль Фуа, EPFL, — о ключевых точках, глубоких нейросетях и эпиполярной геометрии
Мнения
20 фильмов о кибербезопасности, взломах и цифровых преступлениях
Тренды
Ян Лекун, Facebook: «Прогностические модели мира — решающее достижение в ИИ»
Мнения
Джианкарло Суччи: «Попытка спроектировать программу без багов — утопия»
Иннополис
Game out: Как видеоигры обучают детей-аутистов держать равновесие и узнавать людей
Тренды
Прослушка, контроль камеры и предсказание смерти пользователя: самые странные патенты Facebook
Кейсы
Цес Снук, QUVA: «Мы не хотим зависеть от крупных компаний, которые владеют всеми данными»
Мнения
Дмитрий Песков, АСИ: «В России традиционно долго запрягают, и в сфере IT мы только этим и занимаемся»
Иннополис
Мнения
ДНК-тесты: как генетические компании обманывают людей и разрушают семьи
Мануэль Маццара: «Для Facebook вы не покупатель, вы — продукт»
Иннополис
Тренды
Блокчейн, искусственное мясо и «смерть» смартфонов: что будет с технологиями через 10 лет
Витторио Феррари, Google: «Чтобы машина распознала книгу о Гарри Поттере нужна сложная математическая модель»
Мнения
7 медицинских технологий, которые скоро придут в российские больницы
Идеи
Руслан Зайдуллин, основатель Doc+, — о том, что делать Минздраву и о проблемах в российской медицине
Мнения
Ричард Вдовьяк, Philips: «В будущем диагностировать заболевания будут не только врачи, но и сами пациенты»
Тренды
Шедевры за биткоины: Как криптовалюта меняет рынок искусства
Блокчейн
Почему «московий» и «оганесон» устроили раскол между физиками и химиками?
Кейсы
Сэр Харшад Бадехиа — о бронежилетах будущего, русских математиках и металлургии
Тренды
«Надежнее золота»: блокчейн в цифрах
Блокчейн
Бас Лансдорп, Mars One: «Моя жена отдала бы все, чтобы не лететь на Марс»
Полет на Марс
Как big data, блокчейн и 3D-печать сделали пищу полезнее
Мнения
Томас Циммерман, IBM, — о том, как остановить конец света, спасая планктон
Тренды
Тренды
Без Siri, Алисы и «Окей, Google»: как и зачем нас подслушивают собственные телефоны
Шрада Агарвал, Outcome Health: «Когда человек знает о своей болезни, от этого выигрывает и он, и фарма»
Мнения