Усе про нову модель штучного інтелекту Llama від Meta

Meta випустила Llama 3.1 405B — модель штучного інтелекту, що містить 405 млрд параметрів. OpenAI можливо більш відома у галузі комерційного генеративного ШІ, але Meta вже посіла своє місце завдяки відкритому кодуванню потужних великих мовних моделей. 

Ще навесні, 18 квітня, Meta представила найбільшу модель генеративного ШІ — Llama 3, яка перевершує GPT-4 у деяких стандартних тестах ШІ.

Що таке Llama 3?

Llama 3 можна використовувати для створення генеративного ШІ, зокрема чатботів, які можуть відповідати на найрізноманітніші запити: мозковий штурм, творче письмо, кодування, узагальнення документів і відповіді на запитання голосом певної особи або персонажа.

Повну модель Llama 3 пропонували у чотирьох варіантах:

Можливості генеративного ШІ Llama 3 можна використовувати у браузері або через функції ШІ у Facebook, Instagram, WhatsApp і Messenger компанії Meta. Саму модель можна завантажити з Meta або з основних корпоративних хмарних платформ.

Llama 3 має відкритий вихідний код.

Підписуйтеся на наші соцмережі

Нова версія Llama 3.1 405B 

23 липня компанія Meta оголосила про випуск Llama 3.1 405B (найдосконаліша версія Llama 3) і поліпшення до Llama 3.1 70B і 8B.

Навчена за допомогою 16 тис. графічних процесорів Nvidia H100, Llama 3.1 405B  також використовує новітні методи навчання і розробки, що, як стверджують у Meta, роблять її конкурентоспроможною з провідними пропрієтарними моделями, як-от GPT-4o від OpenAI і Claude 3.5 Sonnet від Anthropic.

Llama 3.1 405B доступна для завантаження або використання на хмарних платформах, як-от AWS, Azure та Google Cloud. Вона також використовується у WhatsApp і Meta.ai для чатботів.

«Віднині, вірні своїй прихильності відкритому вихідному коду, ми робимо ці моделі доступними для спільноти для завантаження на llama.meta.com і Hugging Face та доступними для негайного розроблення на нашій широкій екосистемі партнерських платформ», — йдеться у повідомленні компанії.

Llama 3.1 405B працює лише з текстом, і в цьому напрямі доволі потужна — здатна аналізувати файли, наприклад, PDF і електронні таблиці.

Мультимодальність поки що в розробленні. Дослідники компанії пишуть, що вони активно розробляють моделі Llama, які можуть розпізнавати зображення і відео, а також розуміти (і генерувати) мову. 

Techcrunch пише, що для навчання Llama 3.1 405B Meta використала набір даних з 15 трлн токенів до 2024 року (токени — це частини слів, які моделям легше засвоїти, ніж цілі слова, а 15 трлн токенів — це 750 млрд слів, що вражає уяву). Компанія стверджує, що застосувала жорсткіші підходи до забезпечення якості та фільтрації даних за розробленні цієї моделі.

Перше оновлення Llama 3

На додаток до великої 405-мільярдної моделі Meta також випускає низку оновлень для свого сімейства Llama 3.

З випуском 3.1 усі три моделі, зокрема оригінальні варіанти 8B і 70B, отримали підтримку восьми мов (англійської, німецької, французької, італійської, португальської, хінді, іспанської та тайської), а також значно більше контекстне вікно на 128 тис. токенів. Що більше контекстне вікно, то більше інформації модель може утримувати, генеруючи відповіді на запити.

Куди рухається Llama?

У Меtа розповіли, куди Llama рухатиметься далі разом з новими та оновленими моделями.

Компанія шукає зворотний зв’язок від галузевих партнерів, стартапів та членів спільноти, щоб сформувати свій напрям у сфері ШІ. Meta відкрила запит на коментарі на своїй сторінці GitHub під назвою Llama Stack.

Llama Stack врешті сформує серію стандартизованих інтерфейсів, які визначатимуть, як повинні бути побудовані компоненти інструментарію. Меtа сподівається, що завдяки краудсорсингу цих зусиль такі інтерфейси стануть галузевим стандартом.

«Linux здобув популярність спочатку тому, що дозволяв розробникам змінювати його код як завгодно і був більш доступним, а з часом тому, що став більш досконалим, безпечним і мав ширшу екосистему, що підтримує більше можливостей, ніж будь-який закритий Unix, — написав засновник Meta Марк Цукерберг. — Я вірю, що ШІ буде розвиватися подібним чином».

Відповідно до цього Meta також змінює структуру ліцензії Llama, щоб дозволити розробникам використовувати результати роботи моделей Llama для покращення інших моделей. Наприклад, якщо ви хотіли використати Llama 3.1 405B для генерації синтетичних даних для навчання меншої моделі, що не належить Meta, тепер ви можете це зробити.