Міжнародна команда майже з тисячі дослідників створила новий надскладний тест для ШІ-систем, щоб перевірити реальні межі їхніх можливостей. Оцінювання отримало назву «Останній іспит людства» (Humanity’s Last Exam, HLE), пише ScienceDaily.Воно показало, що навіть найпотужніші моделі ШІ поки значно поступаються експертним людським знанням.Дослідники зазначають, що сучасні системи штучного інтелекту почали отримувати надто високі результати на старих академічних тестах, які раніше вважалися складними. Зокрема, широко використовуваний тест «Massive Multitask Language Understanding» вже не може повноцінно вимірювати рівень сучасних моделей.Щоб вирішити проблему, міжнародна команда вчених створила новий тест із 2500 складних питань, що охоплюють широкий спектр дисциплін:Математику; Природничі науки; Гуманітарні науки; Стародавні мови; Вузькоспеціалізовані академічні галузі.Одним із авторів тесту став доцент Техаського університету доктор Тунг Нгуєн, який допоміг створити та відредагувати десятки питань.За його словами, високі результати ШІ на старих тестах можуть створювати ілюзію,
що машини вже наближаються до людського рівня інтелекту.«Інтелект — це не просто розпізнавання образів — це глибина, контекст та спеціалізована експертиза», — пояснив дослідник.Питання для тесту створювали експерти з різних галузей науки. Кожне завдання має чітку перевірену відповідь і спеціально розроблене так, щоб його не можна було легко знайти через пошук в інтернеті.Наприклад, деякі завдання передбачають:Переклад стародавніх пальміренських написів; Визначення мікроскопічних анатомічних структур у птахів; Аналіз складних особливостей біблійної вимови івриту.Перед включенням до фінальної версії тесту кожне питання перевіряли на сучасних моделях штучного інтелекту. Якщо модель могла правильно відповісти, завдання виключали з тесту, щоб зберегти його складність.Результати показали, що навіть найсильніші системи штучного інтелекту мають значні труднощі з новим тестом.Зокрема:GPT-4o — 2,7% правильних відповідей Claude 3.5 Sonnet — 4,1% OpenAI o1 — близько 8%Більш нові моделі (зокрема, Gemini 3.1 Pro, Claude Opus 4.6) показали кращі результати: їхня точність становила приблизно 40–50%.На думку дослідників, точні інструменти оцінювання важливі не лише для науки, а й для державної політики та розробників технологій.Без нових орієнтирів можна переоцінити можливості штучного інтелекту, що створює ризики неправильних рішень у технологічному розвитку.Попри гучну назву, «Останній іспит людства» не має на меті показати перевагу машин над людьми. Навпаки — він демонструє, що людська експертиза та міждисциплінарні знання все ще мають ключове значення.
