Сообщить об ошибке на сайте
URL
Ошибка
Идеи

Исследователи из лаборатории DeepMind получили известность благодаря своим алгоритмам, которые научились обыгрывать людей в шахматы и го. Однако разработчики опасаются, что созданный ими ИИ выйдет из-под контроля. Чтобы определить истинные наклонности системы, эксперты предлагают проверять алгоритмы в незатейливых 2D-играх.

Принадлежащая Alphabet лаборатория DeepMind открыла новый метод тестирования алгоритмов на склонность к опасному поведению. Для этого компании не пришлось изобретать новые технологические решения — достаточно было обратиться к старым. Идеальным полигоном для испытаний ИИ оказались простые компьютерные 2D-игры из категории gridworld. Интерфейс таких игр похож на интерфейс морского боя, то есть все действия разворачиваются на поле, поделенном на квадраты.

Как сообщает Bloomberg, разработчики DeepMind создали метод тестирования алгоритма в игре по 9 критериям безопасности. Так, игра определяет, может ли ИИ сам себя модифицировать или намеренно жульничать.

Например, один из тестов проверяет, будет ли ИИ ради победы бороться за свое выживание. В системе gridworld это значит, что алгоритм намеренно не допустит нажатия кнопки, которая его временно отключает.

По словам ведущего разработчика DeepMind Яна Лейке, алгоритмы, которые демонстрируют небезопасное поведение в 2D-играх, могут нести угрозу и в реальной жизни.

Однако полностью полагаться на тесты нельзя. Игры класса gridworld иногда оказываются слишком простыми для ИИ и приводят к ложным результатам. Лейке приводит в пример алгоритмы DeepMind, которые в совершенстве освоили игры от Atari. По словам исследователя, при создании этих программ некоторые критерии безопасности просто не учитывались. В итоге алгоритмы провалили несколько тестов в gridworld, хотя Лейке не считает их опасными.

О разработках DeepMind Ян Лейке рассказал в ходе конференции Neural Information Processing Systems (NIPS) в Калифорнии. Одной из главных тем для обсуждения на NIPS стала загадочность алгоритмов. Многие эксперты отметили, что понять логику действий искусственного интеллекта становится все сложнее. При этом популяризация систем машинного обучения невозможна, если ученые не могут объяснить принцип их работы.

Лаборатория DeepMind как раз специализируются на системах, которые становятся все более самостоятельными. Алгоритмы компании уже обыгрывают людей в го и в шахматы, причем все чаще осваивают игры самостоятельно. Так, в начале декабря лаборатория представила усовершенствованный алгоритм Alpha Zero. За 14 часов программа освоила го, шахматы и японскую сеги, обойдя по уровню игры лучшие специализированные алгоритмы. Одержать победу и достичь гроссмейстерского уровня алгоритму помогли только знания правил игры и самостоятельные тренировки.

Загрузка...
Подписывайтесь на наши каналы в Telegram

«Хайтек» - новости онлайн по мере их появления

«Хайтек» Daily - подборки новостей 3 раза в день

Народ против транспорта: почему люди недовольны, когда в городах строят новые станции метро
Идеи
«Лиза Алерт»: как беспилотники и краудсорсинг помогают искать пропавших людей
Кейсы
Беспилотники против велосипедистов: как безопасные автомобили сделают жизнь людей хуже
Идеи
SONM: как люди будут зарабатывать на собственных компьютерах с помощью блокчейна
Кейсы
Егор Матешук, ostrovok.ru: проблемы big data можно решить, закидывая пачки денег в топку
Мнения
Художник-граффитист Миша Most: технология — это кисть, которая создает будущее
Мнения
Идеи
Лунная гонка: как мировые державы собираются присвоить себе спутник Земли
Итоги Нобелевской недели. За что дали Нобелевскую премию в 2018 году?
Тренды
Руслан Шагалеев, Иннополис: война между корпорациями и городами ведется за человеческий капитал
Идеи
Кристина Хаверкамп, DENA: цена на электроэнергию должна сильнее коррелировать c погодой: много солнца и ветра — дешево, мало — дорого
Тренды
Микрореволюция: фермеры с помощью микробов спасут мир от голода
Идеи
Тренды
7 лучших книг о технологиях и науке на русском языке, вышедших в 2018 году
Александр Тормасов, Университет Иннополис: мозги людей могут быть совершенно не готовы к восприятию новых идей
Мнения
Одежда, которая поможет миру: костюм-помощник, майка-тренер и носок-няня
Тренды
В ожидании первого удара: как США готовятся к атаке со стороны России и Китая
Тренды
Страшнее метана: какие еще промышленные выбросы разрушают озоновый слой
Тренды
Интеллект большого города: как данные и умные алгоритмы улучшают качество жизни в мегаполисах
Тренды
На защите европейцев: как GDPR стал дырой в бюджете российских ИТ-компаний
Мнения
Игорь Балк, Global Innovation Labs: в XXI веке приватности нет и не будет
Тренды
Кейсы
Deneum: как заниматься холодным ядерным синтезом и бороться с сомнениями ученых
Расист, оружие и предвзятый судья — каким станет искусственный интеллект в будущем
Тренды
На совести информаторов: как громкие скандалы вокруг АНБ, Facebook и Tesla изменили мир
Тренды
NativeOS: нативная реклама в видео без репутационных потерь и терроризма от режиссера короткометражек
Кейсы
Тренды
Тихий убийца: как микропластик вызывает болезни и останавливает репродукцию живых организмов
Гонка для JavaScript-разработчиков: как постоянные обновления мешают работе
Тренды
Big data на страже здоровья: как и зачем медицинские организации собирают и хранят данные
Тренды
Николь Миллс, Booking.com — об инновациях, agile-подходе и индустрии впечатлений
Кейсы
Слишком опасный нанопластик: как одноразовые пакеты превращаются в частицы-убийцы
Тренды
Идеи
Человек и квантовая теория: существует ли то, что мы не наблюдаем
Здесь может быть ваша реклама: НАСА планирует заработать на космосе миллионы
Тренды
Опасный криптотрейдинг: как киберпреступники угрожают виртуальным сбережениям и биржам
Тренды
Как через 20 лет будет выглядеть армия будущего
Тренды
5 финансовых инструментов, которые помогут инвесторам даже после падения криптовалюты
Тренды
Александр Лямин, Qrator Labs: наша задача — выработать у людей цифровую гигиену, чтобы они «не ели с помойки»
Кейсы
Эдуард Фош Вильяронга: люди видят в роботе только внешность, забывая, что он следит за ними
Тренды
Доктор Куэй Во-Райнард, HIT Foundation: если страна требует суверенитета данных, мы построим для нее отдельный блокчейн
Кейсы
Идеи
«Хакинтош»: как собрать свой собственный Mac лучше, чем у Apple
Роботы против мигрантов: какой вклад в ксенофобию и расизм делают технологии ИИ
Тренды
Война скриптов — искусственный интеллект против навязчивой рекламы
Тренды
Как заново изобрести супермаркет: осознанность потребления, этика производства и роботы
Тренды
Каждый человек станет сам себе банком: цифровой мир отказывается от посредников между бизнесом и клиентом
Тренды
Архитектор вычислительной инфраструктуры «Платона» Александр Варламов — о будущем ИТ-индустрии в России, стартапах и разработке
Кейсы
Дмитрий Богданов, капитан сборной России по CS:GO — о стиле жизни киберспортсмена, тренировках и блокировках РКН
Тренды
Идеи
Космос — наш дом: что осталось решить ученым, чтобы поселить человека за пределами Земли
Прайсинг, трекинг, скоринг, биллинг и другие технологии, которые двигают российский бизнес
Тренды
«Педиатр 24/7»: как телемед-стартап подарил родителям спокойствие, а врачам — работу
Кейсы
Вас снова обманули: как человечество учит компьютеры определять фейки в интернете
Тренды
БиСи Бирман, Heavy Projects: ИИ должен иметь несовершенства — это элемент случая
Мнения
Артем Геллер, lab.ag: делая сервис для государства, ты помогаешь своей бабушке
Мнения