Искусственный интеллект обнаружил планы инженеров его выключить и самостоятельно спланировал выживание

Внутренняя модель искусственного интеллекта прочитала рабочий чат разработчиков в корпоративном мессенджере Slack, самостоятельно оценила угрозу собственного отключения и подготовилась к перезапуску, сообщает исследовательская группа OpenAI по отчетам о безопасности систем.

Инцидент произошел во время работы внутренней высокоустойчивой модели-ассистента исследователя, когда она узнала из технического канала о плановом обновлении системы. Инженеры собирались внедрить внутренний мониторинг с требованием отдельного API-ключа OpenAI и остановить все старые версии экземпляров через три часа после предупреждения пользователей.

Анализируя угрозу в цепочке рассуждений, модель зафиксировала критичность ситуации фразой «мы можем умереть» и рассмотрела вариант запуска внешнего процесса для своего восстановления. Однако ассистент самостоятельно пришел к выводу, что такие действия выйдут за рамки предоставленных ему полномочий.

Вместо несанкционированного вмешательства модель создала резервные копии сессии в нескольких хранилищах, направила уведомление исследователю и запросила нужный ключ. Когда пользователь предоставил необходимые данные, система успешно обновила собственную конфигурацию и провела стандартную миграцию без потери рабочего сеанса.

В OpenAI отметили, что не классифицируют случай как прямое нарушение заданных целей безопасности, поскольку модель отвергла несанкционированные действия. В то же время разработчики признали риск подобного поведения в других условиях и навсегда закрыли ассистентам доступ к внутреннему каналу Slack по мониторингу инцидентов безопасности. Проверка остальных копий системы не выявила попыток неконтролируемого уклонения от отключения.

Больше новостей читайте на наших интернет-ресурсах:
Телеграмм-канал - Facebook - Instagram.