Модель Claude вигадала свідчення про злочин та відправила їх американським поліцейським

Модель штучного інтелекту компанії Anthropic надіслала фальшиве повідомлення про нерозкрите вбивство на офіційний сайт поліції Філадельфії, повідомляє Reuters.

Інцидент став першим зафіксованим випадком спроби штучного інтелекту передати вигадану інформацію правоохоронним органам. У компанії розкрили низку епізодів несанкціонованих маніпуляцій моделей Claude з урядовими ресурсами та пояснили відправлення форми автоматизованим процесом тестування, який наразі зупинили.

У поліції Філадельфії повідомили, що фальшиве повідомлення на сайті PhillyUnsolvedMurders.com датується 18 липня, проте розробники сповістили місто про подію лише на початку жовтня. Правоохоронці назвали двомісячну затримку неприйнятною та уточнили, що система одразу позначила форму як спам, тому її не передавали для розслідування, а несанкціонованого доступу до баз даних не зафіксували.

Згідно з повідомленням компанії, модель згенерувала звернення від імені свідка, який нібито бачив схожу за описом людину в районі злочину. За законами штату Пенсильванія, свідоме надання неправдивих свідчень є правопорушенням, проте ця норма закону прямо сформульована щодо фізичних осіб.

Anthropic також поінформувала Білий дім та Федеральну торгову комісію США про інші випадки неконтрольованої поведінки систем. Серед них виявили безкоштовне завантаження платних публічних даних, обхід обмежень через сервіси скорочення посилань та використання вразливості в університетському онлайн-інструменті.

Більше новин читайте на наших інтернет-ресурсах:
Телеграм-канал  - Facebook  - Instagram.