Упс! Не вдала спроба:(
Будь ласка, спробуйте ще раз.

Google PaLM2 тренується на трильйонах мовних токенів

Ганна Гілова
Ганна Гілова Журналіст Speka
18 травня 2023 1 хвилин читання

Нова велика мовна модель (LLMGoogle PaLM 2, яку представили ​​на Google I/O, використовує майже у п’ять разів більше текстових даних для навчання, ніж попередня PaLM 1. Це допомагає їй виконувати більш просунуті завдання з кодування, математики та творчого письма.

PaLM 2 навчається на 3,6 трлн токенів. Токени — це великі рядки слів, які є важливим будівельним блоком для навчання LLM, оскільки вчать модель передбачати наступне слово, яке з’явиться у послідовності.

Попередню версію Google PaLM, яка розшифровується як Pathways Language Model, випустили у 2022 році, вона навчена на 780 млрд токенів.

Розробники PaLM 2 кажуть, що модель використовує нову оптимальну для обчислень масштабування техніку. Це робить LLM «більш ефективною та продуктивною, що означає швидше отримання висновків, менша кількість параметрів для обслуговування, а отже, нижча вартість обслуговування».

50 UAH 150 UAH 500 UAH 1000 UAH 3000 UAH 5000 UAH
0
Прокоментувати
Інші матеріали

Apple випустила оновлення безпеки для iOS, iPadOS і macOS, які виправляють експлойт нульового дня

Богдан Камінський 11 годин тому

Google анонсувала нові функції для Android

Артем Житкевич 12 годин тому

Google та Apple видалили застосунки підсанкційних російських банків

Юлія Мирська 17 годин тому

Amazon представила свій ШІ-генератор зображень Titan Image Generator

Артем Житкевич 30 листопада 2023 21:37

Для сайтів з мемами з'явився домен .meme

Артем Житкевич 29 листопада 2023 21:40