продовжують галюцинувати, і чи можна щось із цим зробити.Автори порівнюють нейромережі з учнями на іспиті: якщо відповідь "не знаю" приносить нуль балів, вигідніше ризикнути і видати хоч якусь відповідь. Така методика заохочує галюцинації, тому що за них залишається невеликий шанс, що ШІ вгадає правильну відповідь.
На думку авторів, причина криється в самій системі оцінювання. Популярні бенчмарки - від MMLU до SWE-bench - використовують бінарний принцип "вірно/невірно". У результаті моделі змушені вгадувати, а не чесно визнавати невпевненість. Це добре видно з таблиці нижче:
Хоча у GPT-5-Thinking-mini помітно нижча частка помилок, за метрикою точності вона трохи поступається старішій o4-mini та в тестах, заснованих тільки на точності, опиняється позаду.
"Після тисяч тестових запитань модель вгадування в кінцевому підсумку має кращий вигляд у рейтингу, ніж акуратна модель, яка допускає невизначеність", - пише OpenAI.
У OpenAI пропонують доопрацювати систему оцінок: за впевнену брехню давати більший штраф, ніж за чесне "я не знаю", а за правильне вираження невизначеності нараховувати часткові бали.
Автори вважають, що такий перерозподіл балів знизить стимул до вгадування.
У компанії також зазначають, що змогли значно скоротити кількість галюцинацій у GPT-5, хоча модель все ще не ідеальна. Раніше користувачі скаржилися що відповіді ШІ стали коротшими і незадовільними, навіть при запитах про творчі завдання.
Згідно з новим дослідженням, ChatGPT та інші провідні чат-боти стали брехати вдвічі частіше. Зростання кількості помилок пояснюється тим, що нейромережа більше не відмовляється відповідати на запитання - навіть без достатньої верифікації інформації.
Вас також можуть зацікавити новини:
- Самотнім пенсіонерам у Південній Кореї роздають розмовляючих "робовнуків" із ChatGPT
- "Ти не божевільний": WSJ розповів про перший випадок вбивства під впливом ШІ
- Нещодавнє оновлення ChatGPT принесло одну з найбільш запитуваних функцій
