Индустрия искусственного интеллекта стремительно движется к точке, после которой нейросети смогут бесконтрольно развиваться без какого-либо участия людей. Об этом сообщает «Хайтек» со ссылкой на обзор WSJ.
Американская технологическая компания Anthropic, создавшая популярное семейство языковых моделей Claude, опубликовала официальный дочерний доклад с призывом ввести глобальный механизм заморозки или замедления разработки ИИ. Руководство стартапа подчеркивает, что сбалансированная система сдерживания сейчас жизненно необходима, так как у мировой ИТ-индустрии есть мощная «педаль газа», но полностью отсутствует «педаль тормоза».
Опасность заключается в феномене «рекурсивного самосовершенствования», когда одна ИИ-система становится способной самостоятельно проектировать, обучать и выпускать собственные, еще более продвинутые версии. Внутренняя статистика разработчиков показывает, что сегодня алгоритмы Claude генерируют уже более 80% всего рабочего кода для продуктов компании, из-за чего роль человека на каждом этапе стремительно сужается до функций простого проверяющего. Если этот процесс замкнется в непрерывную автономную петлю, человечество столкнется с рисками экзистенциального масштаба.
Контролировать скрытое обучение таких моделей будет намного сложнее, чем отслеживать строительство секретных военных объектов или ракетных шахт.
Читать далее:
Вселенная внутри черной дыры: наблюдения «Уэбба» подтверждают странную гипотезу
Испытания ракеты Starship Илона Маска вновь закончились взрывом в небе
Сразу четыре похожих на Землю планеты нашли у ближайшей одиночной звезды
Обложка: magnific
