Упс! Не вдала спроба:(
Будь ласка, спробуйте ще раз.

Новий витік розкрив деталі моделі GPT-4

Богдан Камінський
Богдан Камінський
11 липня 2023 2 хвилин читання

У мережі з’явилися нові технічні деталі мультимодальної моделі GPT-4, яку OpenAI представила у березні 2023 року.

Модель містить приблизно 1,8 трлн параметрів у 120 шарах, що у 10 разів більше, ніж у GPT-3. Вона використовує підхід Mixture of Experts (MoE), який складається з 16 так званих експертів. Кожен із них має приблизно 111 млрд параметрів. 

MoE дозволяє більш ефективно використовувати ресурси під час видачі результатів, потребуючи орієнтовно 280 млрд параметрів та 560 TFLOP обчислювальних потужностей. Для порівняння, щільна модель потребувала б 1,8 трлн параметрів та 3700 TFLOP.

Хоча більша кількість MoE могла би покращити продуктивність GPT-4, OpenAI вирішила використовувати 16 моделей-експертів через проблеми узагальнення та збіжності.

Модель також містить окремий кодер комп’ютерного бачення для мультимодальних завдань, як-от читання вебсторінок, транскрибування зображень та відео.

Вартість навчання GPT-4

Модель навчалась на приблизно 13 трлн токенів з різних джерел, зокрема інтернет-даних, книг та наукових статей. Щоб зменшити витрати на тренування, OpenAI використала тензорний та конвеєрний паралелізм, а також великий розмір партії — 60 млн токенів. 

Орієнтовна вартість навчання GPT-4 становить $63 млн. Вартість видачі GPT-4 втричі вища, ніж у її попередниці.

OpenAI може використовувати спекулятивне декодування, яке передбачає використання меншої моделі для прогнозування токенів заздалегідь і додавання їх до більшої моделі в одній партії. Такий підхід допомагає оптимізувати витрати на видачу відповіді та підтримувати максимальний рівень затримки.

50 UAH 150 UAH 500 UAH 1000 UAH 3000 UAH 5000 UAH
0
Прокоментувати
Інші матеріали

Європа регулює ШІ для світу

Олеся Дерзська 1 годину тому

США та ОАЕ поглиблюють співпрацю та інвестуватимуть у ШІ

Владислав Паливода 2 години тому

Електромережі не витримують ШІ

Олеся Дерзська 3 години тому

Майбутнє штучного інтелекту — подкаст SPEKA «Що буде далі?» #1

Сергій Коноплицький 4 години тому

ШІ рятує слонів в Індії

Олеся Дерзська 6 годин тому