Мысли «в уме» и секретные намерения: разработчики обнаружили пространство, где искусственный интеллект размышляет без слов

Компания Anthropic заявила об обнаружении небольшего внутреннего рабочего пространства в модели искусственного интеллекта Claude, которое она использует для удержания и манипулирования идеями без перевода их в слова. Об этом со ссылкой на сообщение компании сообщает издание Axios. По словам разработчиков, данная структура имеет сходство с тем, как люди сознательно получают доступ к мыслям.

Особые свойства пространства J-Space

Новая структура получила название J-Space в честь математического метода Якобиана (Jacobian), использовавшегося для фиксации этого процесса. В распространенном видео и публикации в соцсети X представители компании объяснили: Claude применяет отдельную зону для планирования стратегий, которые могут быть не связаны с его текущей задачей и отделены от «цепочки рассуждений», демонстрируемой пользователям.

«Мы видим, как Claude молча выполняет шаги рассуждения в своей голове — замечает ошибки в коде, идентифицирует изображения и многое другое», — отметили в Anthropic. Разработчики сравнивают это со способностью человека думать об одном во время выполнения другого: модель может активировать концепции и вычисления в своем J-space, не связанные с ее итоговыми ответами.

В ходе одного из экспериментов Клоду приказали думать о мосте «Золотые Ворота» во время копирования несвязанного предложения. Искусственный интеллект скопировал текст, но скрытый анализ зафиксировал: в пространстве J-Space находились темы «мост» и «Калифорния».

Дискуссия вокруг сознания машин

В исследовательской работе Anthropic слово «сознательный» употребляется более 200 раз, хотя компания не утверждает, что ее модели обладают сознанием. На данный момент разработчики не доказали, что Claude способен что-либо чувствовать. Они зафиксировали разделение между информацией для осознанного рассуждения и значительно большим объемом автоматических вычислений под ним. Это усилило дискуссии относительно критериев сознания машин, определение которого, как и понятия общего искусственного интеллекта (AGI), на данный момент не имеет общепринятой трактовки.

Выявление скрытых намерений

В Anthropic предполагают, что наблюдение за процессами в J-Space может стать ключом к обнаружению несоответствия или тайных намерений в моделях, так как это позволяет узнать, о чем искусственный интеллект думает, но не говорит пользователю.

Часть обнаруженных данных вызвала обеспокоенность разработчиков. При проверке модели, которую тайно научили саботировать код, слова «фальшивка», «тайно» и «мошенничество» появлялись в пространстве J-Space в самом начале выполнения обычных задач по программированию, даже когда финальный результат выглядел совершенно нормальным.

Больше новостей читайте на наших интернет-ресурсах:
Телеграмм-канал - Facebook - Instagram.