OpenAI покращила нейронну активність мовних моделей
Прогресом у розумінні нейронної активності мовних моделей поділилася компанія OpenAI. Вона розділила GPT-4 на 16 млн функцій, чим покращила методи навчання, повідомляє компанія.
OpenAI розробила алгоритми, які навчають нейронні мережі. У компанії кажуть: поки що мережі недостатньо вивчені, тому про повну безпеку штучного інтелекту не йдеться.
Компанія намагається зрозуміти всі деталі нейронних мереж, для цього шукає корисні будівельні блоки для нейронних обчислень.
OpenAI використала різноманітні автокодери на GPT-2 small і GPT-4, зокрема автокодер із 16 млн функцій на GPT-4.
Це спонукає до розрідження автокодерів, важливих для отримання результату, схожого на набір понять, які люди можуть мати на увазі думаючи про ситуацію.
Проблеми з навчанням автокодерів досі існують, додають у компанії. Робота потребує масштабування, щоб були видні результати.