Головна OpenAI

OpenAI покращила нейронну активність мовних моделей
7 червня 2024 2 хвилин читання

Прогресом у розумінні нейронної активності мовних моделей поділилася компанія OpenAI. Вона розділила GPT-4 на 16 млн функцій, чим покращила методи навчання, повідомляє компанія. 

OpenAI розробила алгоритми, які навчають нейронні мережі. У компанії кажуть: поки що мережі недостатньо вивчені, тому про повну безпеку штучного інтелекту не йдеться. 

Компанія намагається зрозуміти всі деталі нейронних мереж, для цього шукає корисні будівельні блоки для нейронних обчислень. 

OpenAI використала різноманітні автокодери на GPT-2 small і GPT-4, зокрема автокодер із 16 млн функцій на GPT-4. 

На жаль, нейронні активації всередині мовної моделі активуються за непередбачуваними моделями, що представляють багато концепцій одночасно. Вони також активуються щільно, тобто кожна активація завжди спрацьовує на кожному вході. Але концепцій реального світу дуже мало — у будь-якому контексті релевантною є лише невелика частка всіх концепцій.
заява OpenAI

Це спонукає до розрідження автокодерів, важливих для отримання результату, схожого на набір понять, які люди можуть мати на увазі думаючи про ситуацію.

Проблеми з навчанням автокодерів досі існують, додають у компанії. Робота потребує масштабування, щоб були видні результати.

штучний інтелект OpenAI GPT-4 Нейронна мережа Редакція
Читати на speka.media