Базовая идея машинного обучения довольно проста. Вложи в компьютер достаточно примеров того, чему хочешь его научить, и обрубай все лишнее, чтобы правильный результат оказался статистически вероятным и был опознан как наилучшее решение.
Ситуация осложняется, когда речь заходит о более расплывчатых оценках. Например, ни один компьютер не может пока оценить качество или истинность выложенного в интернет материала, не может разобраться в нюансах человеческих диалогов. Но со временем машина научится распознавать оттенки смыслов, а вместе с ними — уровни сокрытия правды и тонкости обмана.
Принимая это во внимание, организации по профилактике ИИ (OpenAI, The Future of Life Institute, Machine Intelligence Research Institute и др.) и сочувствующие им программисты надеются, что смогут как-то предотвратить формирование у ИИ негативного образа человека. Это сложная задача, ведь за тысячелетия истории мы развили множество противоречивых этических систем с расплывчатыми толкованиями. Сомнительно, что может быть написан такой код, который помог бы машине разобраться в этом. И который не мог бы быть взломан.
Другое соображение касается уже не технической, а политической стороны вопроса. Предположим, что удастся создать механизмы, сдерживающие развитие ИИ в определенных областях. Но какими бы благородными ни были намерения этих организаций, всегда найдутся правительства и военные структуры, которые захотят играть по своим правилам. Опыт противостояний XX века это подтверждает. Они будут пытаться изменить их под себя или сломать совсем, мотивируя это слоганом: «Если не мы, то они».
Основная проблема не в том, что мы не видим угрозы или имеем дурные намерения. Основная проблема где-то между высокомерием человеческой природы и наших общественных институтов. Перефразируя профессора Эдварда Осборна Уилсона, настоящая проблема человечества в том, что у нас варварские эмоции, средневековые институты и богоравные технологии.