Вченим вдалося зрозуміти, як думає штучний інтелект: чому це революційне відкриття
Рік тому світ відкрив для себе ChatGPT — чатбот на базі штучного інтелекту, який перевернув наш світ догори дриґом. Завдяки цій розробці від OpenAI люди побачили справжню силу генеративного ШІ, який може аналізувати, систематизувати, малювати та продукувати нескінченну кількість контенту. Та попри це ніхто у світі не знає, як працює генеративний штучний інтелект насправді. Зараз будь-яка нейромережа, що працює на основі великих мовних моделей (LLM), — це фактично чорний ящик.
Коротке пояснення: велика мовна модель — це такий вид штучного інтелекту, який навчився на великій кількості даних, завдяки чому може розуміти та генерувати текст.
Як працює ШІ
Варто розуміти, що ШІ сприймає наш світ не через очі, вуха, ніс чи шкіру, а через числа — точніше, послідовності чисел, або токени, як їх називають AI/ML-дослідники. Якщо спростити, інтелектуальність ШІ проявляється у пошуку залежності між цими послідовностями чисел — саме так система розуміє, чого ж ми від неї хочемо, та може нам відповідати. Ця різниця у світосприйнятті породжує одразу кілька зон зростання для людини.
Нам потрібно навчатися ставити правильні завдання, щоб отримати ідеальний результат від генеративного штучного інтелекту. Але ще більш фундаментальною загадкою є питання, а як ШІ, власне, приходить до своїх відповідей? Яка математична логіка стоїть за кожним словом?
Як би гарно ChatGPT чи інші чатботи вам не відповідали, вони розуміють те, що пишуть, не так, як люди. Це величезний океан різних параметрів, в результаті взаємодії яких ми отримуємо певну послідовність токенів, яку ми бачимо у вигляді тексту в діалоговому вікні. Проте поки що ми не можемо повністю зрозуміти всі процеси, які відбуваються між запитом до нейромережі та результатом, який ми отримуємо.
Зрозуміти ж, чому штучний інтелект вирішив обрати саме цей токен, — це поки що ледь не найбільший виклик, який стоїть перед ШІ-ком’юніті. Тобто ми не можемо розкласти це рішення нейромережі на певну послідовність зрозумілих нам слів або явищ.
Зі схожою проблемою стикаються нейробіологи, що вивчають людський мозок. Нейрони у мозку передають наші почуття, емоції, думки та рішення. «Комп’ютер» всередині нашої голови обробляє інформацію та зберігає величезну кількість інформації, витрачаючи на це відносно мінімальну кількість енергії. Але попри усі дослідження ми й досі достеменно не знаємо всіх нюансів цих процесів.
Зараз нейромережі виконують дедалі більше відповідальних завдань. Ця тенденція буде лише посилюватись, а тому важливо зрозуміти його reasoning, тобто хід думок штучного інтелекту.
Як відбуваються дослідження ШІ
Вченим, які працюють з нейромережами, пощастило трохи більше, ніж нейробіологам. Все ж таки досліджувати штучний інтелект легше (з точки зору необхідних інструментів), ніж мозок. Вони можуть слідкувати за кожним штучним нейроном, вимикати або стимулювати їх, слідкуючи за зміною реакції всієї системи.
Проте штучні нейрони можуть реагувати на поєднання, здавалося б, не пов'язаних між собою (з людського погляду) вхідних даних. Наприклад, у моделі Inception v1, яку використовують для розпізнавання зображень, один нейрон реагує на морди котів і на передні частини автомобілів.
Нещодавно група дослідників компанії Anthropic, яка працює над чат-ботом Claude — одного з головних конкурентів OpenAI, — підійшли до цього питання з іншого боку. І, як стверджують в Anthropic, їм вдалося інтерпретувати проміжні результати мислення ШІ — фактично побачити та зрозуміти процес мислення нейромережі. Для цього вони використали алгоритм, який називається sparse autoencoder.
Невелике пояснення для розуміння: Autoencoder [автокодувальник] є однією з перших архітектур для генерації зображень. Зараз їх застосовують для багатьох завдань — від оброблення звуку та перекладу з однієї мови на іншу до розпізнавання обличчя та створення систем рекомендацій.
Принцип роботи автокодувальника схожий на горизонтальний пісочний годинник. Він складається з трьох частин. Encoder стискає вхідні числові дані для представлення в Bottleneck’у. Там вони стискаються у менший набір чисел, після чого їх забирає Decoder та реконструює цей набір чисел якомога ближче до оригіналу. Наприклад, якщо ви даєте нейромережі якесь зображення (Encoder), вона робить з неї скетч-замальовку (Bottleneck), а потім самостійно відтворює це зображення (Decoder).
Повертаємось до дослідження. В Anthropic розробили власний автокодувальник, який у 256 разів більший за оригінальні дані (замість 512 чисел він має 131,072). Тобто Bottleneck цього алгоритму не стискав оригінальні дані, а навпаки “розширював” їх. Умовно кажучи, якщо раніше ми давали нейромережі книгу і просили на її основі написати одне речення, яке описало б коротко сюжет історії, то Anthropic все зробили навпаки — ми даємо одне речення, на основі якого їхня нейромережа пише книгу.
Далі дослідники вишукували групи нейронів, які спрацьовують разом в одному контексті. На цьому вони не зупинилися, адже саме по собі числове значення нейронів нічого не означає. Річ у тім, що звичайний нейрон — це просто хаотичний (з людської точки зору) набір чисел, які ми інтерпретувати ніяк не можемо. А тому нікому не вдавалось зрозуміти, яке значення приймає кожен окремий нейрон — вчені просто фіксували їхню активність, і все.
Проте автокодувальник і його розширений Bottleneck дозволили створити щось на кшталт словника, який перекладає дослідникам, що саме означає активація певної групи нейронів. Тобто дослідники відстежували, які саме нейрони активуються при генерації певного тексту. Далі вони пов’язували ці нейрони з різними словами та символами, щоб пояснити, що означає кожен конкретний елемент системи.
У такий спосіб дослідникам вдалося розкласти на окремі компоненти процес мислення ШІ-системи.
Тепер, коли вчені дають нейромережі багато тексту, у них є можливість визначити, що саме у конкретному контексті означає кожен окремий нейрон. Це можна порівняти зі спортивними командами — кожен нейрон (гравець) працює окремо, проте саме їхні спільні активації (командна робота) репрезентують певний контекст (забивають гол).
Крім того, як виявилося, рішення Anthropic є універсальними для різних LLM, тобто висновки, отримані компанією, можна узагальнити та використати для вивчення та доопрацювання інших моделей.
Чому це важливо
Дослідження Anthropic мають потенціал повністю змінити те, як ми працюємо з ШІ. Зараз технокорпорації та уряди багатьох країн активно обговорюють те, що невдовзі можливості гіпотетичного AGI [сильний штучний інтелект — система, здатна виконувати усі задачі, які може виконати людина] перевищать людські. Цей страх існує через те, що станом на зараз ШІ — це і досі повністю не незрозуміла нам технологія. Так, ми розуміємо загальний принцип її роботи, проте не можемо розібрати її на складові.
Завдяки цій роботі ми стаємо на крок ближчими до реального контролю над штучним інтелектом. Адже те, що ми знаємо та розуміємо, ми можемо контролювати.
У майбутньому розробники зможуть створювати ще кращі моделі, ніж ті, що існують зараз. Водночас вони будуть більш зрозумілими для нас. Ми зможемо довіряти та перевіряти їхню роботу, оскільки процес мислення штучного інтелекту буде розкладено на складові. А кожну відповідь ШІ-системи можна буде вивчити покроково та розібратися, як саме вона прийшла до своєї відповіді.
