Свіже дослідження показало, що на червень 2023 року мовна модель GPT-4, що лежить в основі чат-бота, стала набагато «дурнішою», ніж та сама модель, але на березень 2023 року. При цьому мовна модель GPT-3.5, навпаки, у більшості завдань стала кращою, хоча й має проблеми.
Дослідники Стенфордського університету ставили чат-боту різні питання та оцінювали правильність відповідей. Причому йшлося не про якісь абстрактні речі, а про цілком конкретні. Наприклад, ІІ повинен був відповісти, чи число 17 077 простим. Щоб краще зрозуміти процес «роздумів» ІІ, а заразом покращити результат, чат-бота попросили розписувати свої обчислення крок за кроком. Зазвичай у такому режимі ІІ частіше відповідає правильно.
Однак це не допомогло. Якщо ще у березні модель GPT-4 давала правильну відповідь у 97,6% випадків, то у червні показник упав... до 2,4%! Тобто майже ніколи чат-бот не міг правильно відповісти на запитання. У разі GPT-3.5 показник, навпаки, зріс із 7,4% до 86,8%.
Погіршилася і створення коду. Вчені створили набір даних із 50 простими завданнями з LeetCode та виміряли, скільки відповідей GPT-4 виконувались без будь-яких змін. Березнева версія успішно впоралася з 52% проблем, але при використанні червневої моделі цей показник упав до 10%.
