Одним из наиболее явных признаков должно быть отсутствие надзирающего органа при развитии систем ИИ. «Если группа решает создать враждебный искусственный интеллект, успешность ее действий будет зависеть от того, насколько ей удастся скрыть это от внимания надзирающих организаций», — говорят Федерико Пистоно и Роман Ямпольский.
Такая группа должна принижать значение своей работы и исходящие от нее угрозы и даже распространять ложные слухи. «Стратегия состоит в том, чтобы сеять противоречивую информацию, которая будет порождать сомнения в общественном мнении об опасностях и возможностях ИИ», — объясняют они.
Второй важный признак — наличие закрытого исходного кода ИИ. «Хорошо известно среди экспертов по криптографии и компьютерной безопасности, что программы и алгоритмы с закрытым кодом менее безопасны, чем открытые и свободные», — говорят Пистоно и Ямпольский. — Само существование не открытого программного и аппаратного обеспечения ставит человечество под большую угрозу».
Эксперты по безопасности давно осознали степень угрозы от вредоносных программ, и всеми силами стараются защитить компьютерные системы — особенно критически важные для безопасности людей: АЭС, транспорт, жизнеобеспечение и т. д. — от ошибок и проникновения злоумышленников.
Но в области ИИ подобных защитных механизмов нет. Это может быть не важно, пока искусственный интеллект пребывает в зачаточном состоянии, но ситуация быстро меняется, пишет MIT Technology Review.