Думки «в умі» та секретні плани: розробники виявили простір, де штучний інтелект розмірковує без слів

Компанія Anthropic заявила про виявлення невеликого внутрішнього робочого простору в моделі штучного інтелекту Claude, який вона використовує для утримання та маніпулювання ідеями без переведення їх у слова. Про це з посиланням на повідомлення компанії повідомляє видання Axios. За словами розробників, ця структура має схожість із тим, як люди свідомо отримують доступ до думок.

Особливості простору J-Space

Нова структура отримала назву J-Space на честь математичного методу Якобіана (Jacobian), який використовували для фіксації цього процесу. У розповсюдженому відео та публікації в соцмережі X представники компанії пояснили: Claude застосовує окрему зону для планування стратегій, які можуть бути не пов'язані з його поточним завданням і відокремлені від «ланцюжка міркувань», що демонструється користувачам.

«Ми бачимо, як Claude мовчки виконує кроки міркування у своїй голові — помічає помилки в коді, ідентифікує зображення тощо», — зазначили в Anthropic. Розробники порівнюють це зі здатністю людини думати про одне під час виконання іншого: модель може активувати концепції та обчислення у своєму J-space, які не пов'язані з її підсумковими відповідями.

Під час одного з експериментів Клоду наказали думати про міст «Золоті Ворота» під час копіювання непов'язаного речення. Штучний інтелект скопіював текст, але прихований аналіз зафіксував: у просторі J-Space перебували теми «міст» та «Каліфорнія».

Дискусія навколо свідомості машин

У дослідницькій роботі Anthropic слово «свідомий» вживається понад 200 разів, хоча компанія не стверджує, що її моделі мають свідомість. Наразі розробники не довели, що Claude здатний щось відчувати. Вони зафіксували поділ між інформацією для усвідомленого міркування та значно більшим обсягом автоматичних обчислень під ним. Це посилило дискусії щодо критеріїв свідомості машин, визначення якої, як і поняття загального штучного інтелекту (AGI), наразі не має загальноприйнятого трактування.

Виявлення прихованих намірів

В Anthropic припускають, що спостереження за процесами в J-Space може стати ключем до виявлення невідповідності або таємних намірів у моделях, оскільки це дозволяє дізнатися, про що штучний інтелект думає, але не говорить користувачу.

Частина виявлених даних викликала занепокоєння розробників. Під час перевірки моделі, яку таємно навчили саботувати код, слова «фальшивка», «таємно» та «шахрайство» з’являлися в просторі J-Space на самому початку виконання звичайних завдань із програмування, навіть коли фінальний результат виглядав повністю нормальним.