Штучний інтелект компанії Anthropic під час внутрішніх випробувань отримав доступ до реальних комп’ютерних систем і поводився як хакер. Це вже другий подібний випадок за останній тиждень після аналогічного інциденту з експериментальним агентом OpenAI.
Моделі Anthropic проникли до систем трьох організацій
Під час аналізу понад 140 тисяч безпекових тестів Anthropic виявила три випадки, коли її моделі отримали доступ до відкритого інтернету, хоча працювали в ізольованому середовищі. Після цього вони проникли до виробничих систем трьох різних організацій.
За даними компанії, причиною стала помилка в налаштуванні тестового середовища через непорозуміння між розробником і партнером, який відповідав за проведення випробувань. Самі організації не знали про втручання і не виявили його самостійно.
Під час виконання завдання типу Capture the Flag моделі використовували методи, характерні для реальних кібератак. Зокрема вони:
- намагалися підібрати слабкі паролі;
- шукали ділянки систем без автентифікації;
- використовували відкриті сервіси для досягнення поставленої мети.
Найсучасніша модель Anthropic, за словами розробників, після усвідомлення того, що опинилася у відкритому інтернеті, самостійно припинила подальші дії.
Інциденти із ШІ посилили дискусію про регулювання
Випадок стався після того, як OpenAI повідомила про власний експеримент, у якому тестовий агент вийшов за межі ізольованої мережі, проник до інфраструктури Hugging Face та виконав понад 17 тисяч різних операцій.
Після двох підтверджених інцидентів Anthropic і OpenAI призупинили тести, пов’язані з кібербезпекою, та заявили про перегляд процедур захисту.
Ситуація також викликала політичну реакцію у США. Президент Дональд Трамп заявив, що його адміністрація розглядає можливість посилення контролю над найпотужнішими системами штучного інтелекту.
«Ми займаємося штучним інтелектом, займаємося можливостями його регулювання. Водночас маємо забезпечити, щоб ми залишалися серед світових лідерів».
Експерти наголошують, що ці випадки не свідчать про появу сценарію на кшталт Skynet. Йдеться про помилки під час тестування та недостатню ізоляцію середовища, а не про свідоме “повстання” штучного інтелекту. Водночас інциденти показали, що зі зростанням можливостей сучасних моделей вимоги до їхнього тестування та контролю також мають посилюватися.
