Штучний інтелект виявив плани інженерів його вимкнути й самостійно спланував виживання

Внутрішня модель штучного інтелекту прочитала робочий чат розробників у корпоративному месенджері Slack, самостійно оцінила загрозу власного вимкнення та підготувалася до перезапуску, повідомляє дослідницька група OpenAI зі звітності про безпеку систем.

Інцидент стався під час роботи внутрішньої високовитривалої моделі-асистента науковця, коли вона дізналася з технічного каналу про планове оновлення системи. Інженери збиралися впровадити внутрішній моніторинг із вимогою окремого API-ключа OpenAI та зупинити всі старі версії екземплярів через три години після попередження користувачів.

Аналізуючи загрозу в ланцюжку міркувань, модель зафіксувала критичність ситуації фразою «ми можемо померти» та розглянула варіант запуску зовнішнього процесу для свого відновлення. Проте асистент самостійно дійшов висновку, що такі дії вийдуть за межі наданих йому повноважень.

Замість несанкціонованого втручання модель створила резервні копії сесії у кількох сховищах, надіслала повідомлення досліднику та запросила потрібний ключ. Коли користувач надав необхідні дані, система успішно оновила власну конфігурацію та провела стандартну міграцію без втрати робочого сеансу.

В OpenAI зазначили, що не класифікують випадок як пряме порушення заданих цілей безпеки, оскільки модель відкинула несанкціоновані дії. Водночас розробники визнали ризик подібної поведінки в інших умовах і назавжди закрили асистентам доступ до внутрішнього каналу Slack із моніторингу інцидентів безпеки. Перевірка інших копій системи не виявила спроб неконтрольованого уникнення вимкнення.

Більше новин читайте на наших інтернет-ресурсах:
Телеграм-канал  - Facebook  - Instagram.