Упс! Не вдала спроба:(
Будь ласка, спробуйте ще раз.

Google PaLM2 тренується на трильйонах мовних токенів

Ганна Гілова
Ганна Гілова Журналіст Speka
18 травня 2023 1 хвилин читання

Нова велика мовна модель (LLMGoogle PaLM 2, яку представили ​​на Google I/O, використовує майже у п’ять разів більше текстових даних для навчання, ніж попередня PaLM 1. Це допомагає їй виконувати більш просунуті завдання з кодування, математики та творчого письма.

PaLM 2 навчається на 3,6 трлн токенів. Токени — це великі рядки слів, які є важливим будівельним блоком для навчання LLM, оскільки вчать модель передбачати наступне слово, яке з’явиться у послідовності.

Попередню версію Google PaLM, яка розшифровується як Pathways Language Model, випустили у 2022 році, вона навчена на 780 млрд токенів.

Розробники PaLM 2 кажуть, що модель використовує нову оптимальну для обчислень масштабування техніку. Це робить LLM «більш ефективною та продуктивною, що означає швидше отримання висновків, менша кількість параметрів для обслуговування, а отже, нижча вартість обслуговування».

0
Icon 0

Підписуйтеся на наші соцмережі

Інші матеріали

Що відбувається із зарплатами Java-розробників в українському технічному сегменті Q4 2024?

Володимир Білик 13 травня 2025 15:14

Британія відправить в Україну 5 нових систем ППО: що про них відомо

Владислав Паливода 12 травня 2025 10:57

Victoria's Secret помирає: чому зумери відвертаються від класичних брендів

В'ячеслав Юренко 13 травня 2025 16:57

Чому люди обирають концептуальні речі? На прикладі готелів та сучасного споживача

Гліб Кузнєцов 13 травня 2025 15:48

TURBO ZNO розповідає як підготуватися до НМТ за один тиждень

Спекотне промо 12 травня 2025 11:38