Прогресом у розумінні нейронної активності мовних моделей поділилася компанія OpenAI. Вони розділили GPT-4 на 16 млн функцій, чим покращили методи навчання, повідомляє компанія. OpenAI розробила алгоритми, які навчають нейронні мережі. Однак у компанії кажуть, що поки мережі недостатньо вивчені, що не дозволяє говорити про повну безпеку штучного інтелекту. Компанія намагається зрозуміти всі деталі нейронних мереж, для цього шукають корисні будівельні блоки для нейронних обчислень. OpenAI використали різноманітні автокодери на GPT-2 small і GPT-4, включаючи автокодер із 16 мільйонами функцій на GPT-4. На жаль, нейронні активації всередині мовної моделі активуються за непередбачуваними моделями, здавалося б, що представляють багато концепцій одночасно. Вони також активуються щільно, тобто кожна активація завжди спрацьовує на кожному вході. Але концепцій реального світу дуже мало — у будь-якому контексті релевантною є лише невелика частка всіх концепцій.Все це спонукає до розріджених автокодерів, важливих для отримання результату, схожого на набір понять, які люди можуть мати на вазі думаючи про ситуацію.Проблеми з навчанням автокодерів досі існують, додають у компанії. Робота потребує масштабування, щоб були видні результати.
Читайте ще
