Упс! Не вдала спроба:(
Будь ласка, спробуйте ще раз.

OpenAI покращила нейронну активність мовних моделей

Владислав Паливода
Владислав Паливода Новинар SPEKA
7 червня 2024 2 хвилин читання

Прогресом у розумінні нейронної активності мовних моделей поділилася компанія OpenAI. Вона розділила GPT-4 на 16 млн функцій, чим покращила методи навчання, повідомляє компанія. 

OpenAI розробила алгоритми, які навчають нейронні мережі. У компанії кажуть: поки що мережі недостатньо вивчені, тому про повну безпеку штучного інтелекту не йдеться. 

Компанія намагається зрозуміти всі деталі нейронних мереж, для цього шукає корисні будівельні блоки для нейронних обчислень. 

OpenAI використала різноманітні автокодери на GPT-2 small і GPT-4, зокрема автокодер із 16 млн функцій на GPT-4. 

На жаль, нейронні активації всередині мовної моделі активуються за непередбачуваними моделями, що представляють багато концепцій одночасно. Вони також активуються щільно, тобто кожна активація завжди спрацьовує на кожному вході. Але концепцій реального світу дуже мало — у будь-якому контексті релевантною є лише невелика частка всіх концепцій.
заява OpenAI

Це спонукає до розрідження автокодерів, важливих для отримання результату, схожого на набір понять, які люди можуть мати на увазі думаючи про ситуацію.

Проблеми з навчанням автокодерів досі існують, додають у компанії. Робота потребує масштабування, щоб були видні результати.

50 UAH 150 UAH 500 UAH 1000 UAH 3000 UAH 5000 UAH
0
Прокоментувати
Інші матеріали

Google допомагає постачальникам зменшити викиди завдяки новим енергетичним проєктам

Вікторія Рудзінська 22 години тому

Apple готується додати функції штучного інтелекту до Vision Pro

Вікторія Рудзінська 23 години тому

Чи може сервісна економіка зробити світ багатим?

Олександр Тартачний 27 червня 2024 14:40

Youtube хоче отримати у лейблів ліцензії на використання музики для навчання свого ШІ

Вікторія Рудзінська 26 червня 2024 21:18

Керівник Anthropic помістив в офісі плакат із роботом, що знищує світ

Олеся Дерзська 26 червня 2024 16:01