Google PaLM2 тренується на трильйонах мовних токенів
Нова велика мовна модель (LLM) Google PaLM 2, яку представили на Google I/O, використовує майже у п’ять разів більше текстових даних для навчання, ніж попередня PaLM 1. Це допомагає їй виконувати більш просунуті завдання з кодування, математики та творчого письма.
PaLM 2 навчається на 3,6 трлн токенів. Токени — це великі рядки слів, які є важливим будівельним блоком для навчання LLM, оскільки вчать модель передбачати наступне слово, яке з’явиться у послідовності.
Попередню версію Google PaLM, яка розшифровується як Pathways Language Model, випустили у 2022 році, вона навчена на 780 млрд токенів.
Розробники PaLM 2 кажуть, що модель використовує нову оптимальну для обчислень масштабування техніку. Це робить LLM «більш ефективною та продуктивною, що означає швидше отримання висновків, менша кількість параметрів для обслуговування, а отже, нижча вартість обслуговування».
