Дослідники з Массачусетського технологічного інституту (США) використали ШІ GPT-6 Astra від OpenAI, щоб безпосередньо змінити параметри моделі Qwen від Alibaba й усунути збій у її роботі.
Про це повідомив Рікія Такехі, аспірант Лабораторії комп’ютерних наук і штучного інтелекту MIT, на своєму GitHub.
GPT-6 Astra відредагувала ваги (числові параметри) моделі Qwen3.5−0.8, змінивши лише близько 0,016% ваг без додаткового навчання. Попри це, згодом точність Qwen у математичному тесті MATH-500 зросла з 7,9% до 48,1%. В іншому тесті з математики — з 13,8% до 67,1%. Також суттєво покращилося виконання інструкцій.
Такого результату вдалося досягти завдяки усуненню проблеми циклічних міркувань. Раніше Qwen часто зациклювалася й генерувала текст доти, доки не досягала ліміту довжини відповіді. Astra виявила пов’язані з цим числові закономірності та скоригувала окремі параметри. Після цього модель почала успішно виконувати більше завдань, спираючись на вже наявні в неї навички. При цьому нових математичних знань вона не отримала.
В інших тестах Astra за вагами невеликих нейромереж визначала, у які ігри їх навчили грати. Крім того, вона змінила частину параметрів симульованого контролера керування, який раніше не міг подолати перешкоду, — і той впорався із завданням.
Найуспішніший експеримент тривав понад 20 годин і потребував 158 реплік у діалозі та 80 запусків коду на Python, тому поки що зарано називати цей метод швидшим або дешевшим порівняно зі звичним навчанням.
Також не доведено, що велика модель ШІ здатна безпечно вдосконалювати себе шляхом довільної зміни власних параметрів.
Читайте також:
Штучному інтелекту потрібніше? Голова OpenAI дорікнув користувачам ПК за оперативну пам’ять, яка простоює без діла
