Microsoft удосконалює захист клієнтів Azure AI від галюцинацій та зловмисних втручань

Microsoft впроваджує нову систему захисту для Azure AI, яка не тільки виявляє галюцинації в програмах штучного інтелекту, але й забезпечує захист від зловмисних атак в реальному часі.

Про це в інтерв'ю для The Verge повідомляє директор відділу відповідального штучного інтелекту Microsoft Сара Берд.

За її словами ця система зможе виявляти потенційні вразливості , відстежувати галюцинації, «які правдоподібні, але не підтримуються», і блокувати зловмисні атаки в режимі реального часу для клієнтів Azure AI, які працюють з будь-якою моделлю, розміщеною на платформі. 

Сара Берд повідомляє, що буде три функції для підвищення безпеки використання штучного інтелекту. Це Prompt Shields, який блокує швидкі атаки або спроби внести зміни в роботу системи; Groundedness Detection , який знаходить і блокує галюцинації; а також Safety evaluations, які оцінюють уразливості моделі. Наразі в Azure доступна лише функція safety evaluations, проте дві інші функції теж незабаром з’являться. 

У майбутньому користувачі Azure також зможуть отримувати звіти про користувачів , які намагаються ініціювати небезпечні входи.

Це оновлення може допомогти уникнути генеративних суперечок штучного інтелекту, спричинених небажаними або ненавмисними відповідями, як от відверті підробки про знаменитостей (генератор зображень Microsoft Designer), історично неточні зображення (Google Gemini) тощо.

Берд каже, що функції безпеки одразу «підключаються» до GPT-4 та інших популярних моделей, таких як Llama 2. Однак користувачам менш використовуваних систем з відкритим кодом, можливо, доведеться вручну вказати безпеку особливості моделей.