Популярні ШІ моделі провалили тест на прозорість

Стенфордський університет, спільно з Массачусетським технологічним інститутом, розробив новий індекс прозорості для оцінки 10 найбільших моделей штучного інтелекту.

Про це повідомляє PCMag.

Цей індекс, названий Foundational Model Transparency Index (FMTI), ранжує моделі ШІ на основі 100 критеріїв, пов’язаних з їх структурою, даними, політиками та ризиками.

Метою FMTI є виявлення того, наскільки прозорими є моделі ШІ для споживачів, дослідників та регуляторів.

Який рівень прозорості у відомих ШІ моделей

Дослідники опублікували результати FMTI у вигляді рейтингу, де кожна модель отримала бали за кожен критерій прозорості.

Найвищий бал склав 54% для моделі Llama 2 від Meta. Найнижчий бал склав 18% для моделей Codex та DALL-E від OpenAI.

Середня оцінка за всiма моделями становила лише 37%, що свiдчить про загальний недолiк прозоростi.

Дослiдники також виявили, що вiдкритi моделi ШІ, тобто тi, чий код розмiщується публiчно як вiдкрите програмне забезпечення, мають перевагу над закритими моделями. Вони отримали середнiй бал 47%, тодi як закритi моделi — лише 31%. 

Дослідники сподіваються, що FMTI позитивно вплине на політику розробників ШІ, і надалі планує публікувати рейтинг FTMI щорічно.

Дев’ять із десяти учасників рейтингу раніше вже приєдналися до ініціатив уряду США щодо відповідального використання ШІ.