Історія OpenAI: як страх перед штучним інтелектом створив ChatGPT
17 листопада Сема Альтмана звільнили з посади СЕО OpenAI. Головна претензія — недостатня комунікація з радою директорів.
Як Сем Альтман розвивав Open AI, чому посварився з Маском і чим запам'ятався індустрії? Усе це у короткій історії компанії та її засновника.
Коли Альтман зустрів Маска
Сем Альтман, засновник та директор OpenAI, не може спростувати фразу «штучний інтелект може вбити все людство», також його трохи лякають можливості ШІ. Доволі дивна заява від очільника компанії, яка створила найпопулярнішу нейромережу GPT-3 та віртуального асистента ChatGPT на її основі.
Виявляється, саме страх перед ШІ змусив Альтмана, колись успішного інвестора та очільника Y Combinator, заснувати OpenAI, і в цьому є певна логіка.
За словами Альтмана, ще у 2012 році він обговорив із друзями перспективи ШІ і подумав, що приблизно за 13 років може з'явитися технологія, яка відтворить роботу людського мозку. А тому людство може опинитися під владою корпорації або уряду, що володіє технологією, а то й стати забавкою та «домашнім шкіряним мішком» штучного інтелекту.
У тому, що ризик реальний, Альтману вдалося переконати Ілона Маска, разом із яким вони у 2015 році запустили для контролю над розвитком штучного інтелекту некомерційну організацію OpenAI. Маск пообіцяв інвестувати $1 млрд. Також долучилося багато інших відомих діячів Кремнієвої долини, зокрема Грег Брокман (зараз технічний директор OpenAI), Рід Хоффман, Пітер Тіль (PayPal, Palantir).
До речі, сам Альтман доволі багатий: його статки сягають кількох сотень мільйонів доларів. Але лише його коштів для такого масштабного проєкту було б замало. До того ж він охочіше інвестує їх в інші проєкти (про це докладніше згодом).
Місія була простою, але надзвичайно амбітною — розробити безпечні та відкриті інструменти штучного інтелекту, щоб розширити можливості (а не знищити) людей.
Сильний або повний штучний інтелект може успішно виконати будь-яке інтелектуальне завдання, яке може виконати людина і фактично перевершити людський розум. Момент, коли ШІ перевершить людський розум, називають технологічною сингулярністю.
Науковці OpenAI за ціною спортсменів
Від часу заснування OpenAI була нетиповою компанією. По-перше, тоді вона позиціонувала себе некомерційною, не мала на меті отримувати прибуток і оприлюднювала результати своєї роботи. Водночас вона прагнула залучити найкращих фахівців у сфері ШІ, конкуруючи з бізнес-гігантами на кшталт Google чи Meta.
Технічний директор Грег Брокман після заснування компанії зустрівся з Йошуа Бенгіо, одним із засновників руху глибокого навчання, і склав список найкращих дослідників у цій галузі. Брокман найняв дев'ятьох із них як перших співробітників у грудні 2015 року.
OpenAI намагався виплачувати зарплати, релевантні для бізнесу (а не для некомерційних організацій), але не міг надавати опціони чи зарплати рівня Facebook або Google.
За словами Пітера Лі (Microsoft Research), боротьба за дослідників ШІ була шаленою: «У 2013 році вартість найкращого експерта з глибокого навчання світового класу була приблизно такою, як найліпших захисників Національної футбольної ліги».
Попри це, OpenAI мав і переваги. Місія OpenAI зробити дослідження штучного інтелекту відкритими, ділитися ними зі світом та не залежати від бізнес-показників привабила дослідників до компанії. Наприклад, працівник OpenAI Войцех Заремба заявив, що він відхилив «гранично божевільні» пропозиції, щоб приєднатися до компанії.
Основні розробки OpenAI
2016-2019 роки:OpenAI Gym, роботи-сумоїсти та ігри у Dota 2
Першою відкритою розробкою компанії став OpenAI Gym. Фактично це середовище для тренування агентів (ага, майже як у «Матриці»), у якому дослідники будують свої алгоритми, а згодом розміщують їх у різних віртуальних просторах, де алгоритми тестуються. Потім дослідники можуть побачити, які результати показав їхній алгоритм, внести зміни та опублікувати свої контрольні показники для решти спільноти.
Окрім розважальної та дослідницької функції «спортзал» допомагав тестувати роботів до конструювання, а також навчати їх. Наприклад, алгоритм, який відповідав за рух робота, спершу не вмів навіть ходити, а після етапів навчання зміг балансувати в іншому середовищі, де імітувався вітер.
У «спортзалі» були середовища для ігор із консолі Atari, симуляція робототехніки, настільні ігри та гра у го.
Тренування дало свій ефект. Алгоритм OpenAI Five — п'ять ботів створених OpenAI використовували у відеогрі Dota 2 у режимі «п'ять на п'ять». Спершу алгоритм програвав людям, але у квітні 2019 року OpenAI Five переміг команду OG, чинного чемпіона світу з гри на той час. Остання публічна поява ботів відбулася пізніше того ж місяця, коли вони зіграли у 42 729 ігор у чотириденному відкритому онлайн-змаганні, вигравши 99,4% цих ігор (688 ігор зіграні проти 1583 гравців одночасно).
Від 2018 року дотепер: генеративні попередньо підготовлені трансформатори (GPT)
Після ігор OpenAI зосередився на загальніших дослідженнях і розробках ШІ. У 2018 році компанія представила концепцію генеративного попереднього навчання (GPT — Generative Pre-trained Transformer).
GPT — це група нейромереж, які використовують для оброблення природної (людської мови). GPT використовує нейромережі під назвою трансформери. Цю концепцію створили інженери Google Brain у 2017 році. Трансформери добре розуміють природні мови через свою архітектуру. Вони складаються з енкодера та декодера.
Енкодер перетворює слова тексту у вектор (набір чисел). Це допомагає комп'ютеру розуміти, з якими словами найчастіше поєднується слово. Декодер розшифровує цей набір у вигляді нової послідовності (переклад або відповідь на запитання). Важливо те, що цифрова послідовність перед декодером проходить через так званий шар внутрішньої уваги (self-attention). Це щось на зразок теплової карти пов'язаних слів. Це допомагає мережі розуміти суть слів та різницю у словах, які однаково пишуться. Наприклад, мати (матір) і мати (володіти).
GPT-1 навчався на BookCorpus, що містить понад 7000 неопублікованих книг. OpenAI випустив GPT-1 у 2018 році. Зрештою модель перетворилася на GPT-2, більш потужну версію, яка навчена на 8 млн вебсторінок і містить 1,5 млрд параметрів (навчених значень, які роблять можливим передбачення тексту).
Конфлікт Ілона Маска та Сема Альтмана
У 2018 році Маск покинув раду директорів компанії, посилаючись на «можливий майбутній конфлікт інтересів». Через розробку ШІ Tesla для безпілотних автомобілів компанії ймовірно змагатимуться за тих же фахівців.
Щоправда, це радше формальна причина. Маск стверджував, що компанія недостатньо зосереджується на ризиках, пов'язаних зі штучним інтелектом, натомість надає пріоритет комерційному застосуванню технології. Також Маск сплатив компанії лише $100 млн з обіцяного мільярда.
Розроблення та тренування штучного інтелекту — дуже дороге задоволення не лише через зарплати фахівців, а й через обчислювальні потужності, необхідні для моделей.
Щоб знайти гроші, у 2019 році OpenAI ухвалила ще одне суперечливе рішення — перейти до організації з обмеженим прибутком — і заснувала OpenAI LP, «гібрид комерційної та некомерційної організації».
Згідно з їхньою ідеєю, коли інвестиції отримають стократний прибуток, решту перерахують некомерційній платформі OpenAI. Компанія виправдовує цей досить високий «ліміт» прибутку тим, що якщо їй вдасться створити робочий штучний загальний інтелект (AGI), то «очікує генерування набагато більшого прибутку, ніж отриманого від людей, які інвестують або працюють в OpenAI LP».
Водночас це дозволяє залучати кошти інвесторів, а працівникам — отримувати опціони. Проте Сем Альтман відмовився від прибутку компанії.
Чому Microsoft інвестував у OpenAI
Зміна структури компанії дала можливість Microsoft інвестувати в OpenAI. У 2019 році дослідницька лабораторія отримала $1 млрд фінансування від Microsoft, який погодився ліцензувати та комерціалізувати деякі технології OpenAI. У 2020 році компанія розробила GPT-3. Нейромережа мала 45 ТБ текстових даних, переведених у 175 млрд параметрів.
У листопаді 2022 року OpenAI представила ChatGPT — чатбот зі штучним інтелектом на основі GPT-3,5 який став надзвичайно популярним, оскільки він міг виконувати будь-які завдання з текстом: складати есе, генерувати ідеї для постів у соцмережах, писати код, складати вірші, надавати короткі фактологічні (не завжди правдиві) довідки тощо.
ChatGPT став програмою, яка найшвидше у світі набрала 100-мільйонну аудиторію користувачів.
Успіх ChatGPT зумовив додаткові інвестиції від Microsoft. Йдеться про суму у приблизно $10 млрд. Натомість Microsoft отримуватиме 75% прибутку OpenAI, доки не відшкодує свої інвестиції, після чого матиме 49% акцій компанії.
У лютому 2023 року Microsoft оголосив про інтеграцію ChatGPT у два свої флагманські продукти — Microsoft Edge та пошукову систему Bing.
Щоправда, витрати досі значні. За словами Сема Альтмана, кожен запуск ChatGPT коштує кілька центів. Це чимала сума, враховуючи кількість користувачів.
У березні OpenAI оновив свою мовну модель та презентував GPT-4. Серед нововведень: здатність розпізнавати зображення, робити докладні описи, аналізувати рукописні записи та зміст документів, нові можливості для кодування.
ШІ як загроза та благо для людства
Можливості та неймовірний прогрес, який демонструють алгоритми ШІ та розробки OpenAI, змушують частину людей вбачати у цьому загрозу. Наприклад, Ілон Маск не припинив критикувати компанію після виходу з ради директорів.
Нещодавно він заявив, що призупинив доступ OpenAI до бази даних Twitter для навчання алгоритмів. «OpenAI започаткували як некомерційну організацію з відкритим кодом. Ані те, ані інше не відповідає дійсності» — написав він у Twitter. Він вважає, що OpenAI «стала закритою компанією з максимальним прибутком, фактично контрольованою Microsoft„, що суперечить початковій ідеї.
Альтман каже, що Ілон Маск атакує компанію і що вони досі незалежні від Microsoft.
Маск не єдиний у ШІ-запереченні. Понад 30 тис. людей, серед яких співзасновник Apple Стів Возняк, політик Ендрю Янг та кілька провідних дослідників штучного інтелекту та Ілон Маск, підписали відкритого листа. Вони вимагають шестимісячної паузи у тренуванні систем штучного інтелекту, потужніших за GPT-4.
До речі, алгоритм уже кілька разів зламували. Тоді ChatGPT видавав рецепти коктейлю Молотова та атомної бомби, мислив як неонацист та схвалював вторгнення росії в Україну.
«Потужні системи штучного інтелекту слід розробляти лише тоді, коли ми будемо впевнені, що їхній ефект буде позитивним, а ризики — керованими. Тому ми закликаємо всіх розробників штучного інтелекту негайно призупинити принаймні на шість місяців навчання систем штучного інтелекту, потужніших за GPT-4», — йдеться у листі.
Серед інших відомих підписантів — генеральний директор Stability AI Емад Мостаке, письменник та історик Юваль Ной Харарі та співзасновник Pinterest Еван Шарп. Є також кілька людей, які працюють на компанії, що розробляють ШІ, зокрема Google DeepMind і Microsoft. Усі підписанти були підтверджені організацією як «незалежно перевірені через пряме спілкування», але виявилося, що лист також підписали шахраї, що видавали себе за відомих осіб. Ніхто з OpenAI не підписав листа.
Альтман не поділяє ці страхи, натомість він стурбований тим, що ці моделі можуть використати для дезінформації. «Тепер, коли вони стають кращими у написанні комп'ютерного коду, їх можна використовувати для наступальних кібератак. Цей інструмент повністю контролюється людиною«.
Також він остерігається, що інші компанії не гарантуватимуть такий рівень безпеки щодо розроблення алгоритмів.
Куди інвестує кошти Сем Альтман?
За словами Альтмана, ШІ відбере у багатьох людей робочі місця і через десять років зароблятиме стільки грошей, що зможе щорічно виплачувати кожному дорослому американцю по $13 500. Втім, багато експертів називають подібні заяви спекуляціями.
Альтман інвестує у дві інші доволі сміливі ідеї. Він каже, що спустошив свій банківський рахунок, аби фінансувати дві інші дуже різні, але однаково амбітні цілі — необмежену енергію та подовжену тривалість життя.
Усі ці компанії, зокрема OpenAI, Альтман називає «важкими» стартапами, тобто такими, що потребують великих інвестицій, щоб досягти наукових досягнень та освоїти складні технології. Фінансування наукових компаній коштує дорожче, але Альтман вважає, що їхні більш масштабні цілі швидше залучать талановитих інженерів.
Одна з цих ставок — стартап Helion Energy, який виробляє термоядерну енергію, у який він вклав понад $375 млн, про що повідомив CNBC у 2021 році.
Before its final operations, we gave exclusive access to @TheBrianMcManus to share Trenta with the world for the first time.
— Helion (@Helion_Energy) December 15, 2022
Learn more: https://t.co/9qNqc3ZCrF
Інша — Retro, якій того ж року Альтман виписав чеки на загальну суму $180 млн.
«Це багато. По суті, я просто взяв увесь свій ліквідний капітал і вклав його у ці дві компанії», — каже Альтман.
Жахливий експеримент, але у певному сенсі надзвичайно простий. Тоді Альтман очолював Y Combinator і доручив своїм співробітникам вивчити прогрес, досягнутий вченими, які займаються проблемами старіння, а у 2018 році запустив спеціальний курс для біотехнологічних компаній, запрошуючи тих, хто має «радикальні схеми запобігання старінню».
Retro Biosciences показали, що можуть досягти ефекту, подібного до молодої крові, замінивши плазму старих мишей солоною водою та альбуміном. Це свідчило про те, що справжня проблема криється у старій крові. Просто розбавивши її (і токсини у ній), медицина може стати на крок ближче до лікування старіння.
Співробітники Retro щотижня доповідають Альтману про те, що у лабораторії пройшло добре, а що погано, а він іноді робить пропозиції щодо подальших досліджень.
Досі участь Альтмана у компанії тримали у таємниці. Таке рішення ухвалив засновник стартапу Джо Беттс-ЛаКруа, який хотів дозволити Retro прокласти власний шлях. Альтман погодився, оскільки намагається «бути дуже обережним, щоб не затьмарити керівників», з якими працює.
Він вважає, що більшість біотехнологічних компаній рухаються надто повільно, ними зазвичай «погано керують», а для довголіття потрібне зусилля на кшталт OpenAI.
«Головне для Retro — бути справді хорошим біостартапом, тому що це рідкість, — каже Альтман. — Це поєднання великої науки та ресурсів великої компанії з духом стартапу, який виконує завдання. І це поки що проєкт».
