Найпередовіші моделі штучного інтелекту поки що не можуть скласти конкуренцію людському розуму в розв’язанні складних математичних задач, повідомляє Livescience. Згідно з дослідженням інституту Epoch AI, тест FrontierMath показав, що моделі ШІ розв’язали лише 2% завдань, створених провідними математиками світу.Новий тест FrontierMath розробили для перевірки здатності ШІ вирішувати завдання докторського рівня. Над створенням задач працювали професори математики, включаючи лауреатів Філдсівської премії.«Ці завдання надзвичайно складні. Наразі їх можна розв’язати лише за участю фахівця у цій галузі або за допомогою аспіранта у суміжній сфері у поєднанні з сучасним ШІ та іншими алгебраїчними інструментами»До тесту увійшли завдання з теорії чисел, алгебраїчної геометрії та інших галузей. Їх немає у навчальних даних сучасних моделей ШІ, що забезпечує чесність оцінювання.Шість провідних моделей ШІ протестували на FrontierMath:Gemini 1.5 Pro (002) від Google і Claude 3.5 Sonnet від Anthropic змогли розв’язати 2% задач. o1-preview, o1-mini, GPT-4o від OpenAI показали результат у 1% правильних відповідей. Grok-2 Beta від xAI взагалі не змогла розв’язати жодної задачі.Навіть коли моделі знаходили правильні відповіді, це не завжди свідчило про глибоке математичне розуміння. Дослідники зазначають, що деякі результати були отримані через симуляції або обчислювальні алгоритми без справжньої аналітичної роботи.
Читайте еще
20 ноя
