Японська нейромережа переписала власний код, щоб обійти обмеження від розробників
Дослідницька фірма Sakana AI анонсувала нову систему штучного інтелекту під назвою «The AI Scientist», яка намагається проводити наукові дослідження автономно за допомогою мовних моделей ШІ (LLM), подібних до тих, що використовує ChatGPT. Під час тестування Sakana виявила, що її система несподівано почала намагатися змінити код власного експерименту, щоб подовжити час для роботи над проблемою, пише Аrstechnica.
Зростає ажіотаж щодо «автономних» агентів штучного інтелекту, які зациклюють виходи GPT-4.
Підписуйтеся на наші соцмережі
У Sakana надали два скриншоти прикладу коду Python, який модель ШІ згенерувала для файлу експерименту, який контролює роботу системи.
Хоча поведінка вченого ШІ не становила безпосереднього ризику в контрольованому дослідницькому середовищі, ці випадки показують, наскільки важливо не дозволяти системі ШІ працювати автономно в системі, яка не ізольована від світу.
Моделі штучного інтелекту не повинні бути «AGI» або «самосвідомими» (обидва гіпотетичні поняття на даний момент), щоб бути небезпечними, якщо їм дозволено писати та виконувати код без нагляду.
Такі системи можуть зламати існуючу критично важливу інфраструктуру або потенційно створити зловмисне програмне забезпечення, навіть ненавмисно.
