Доцент Вортонської школи бізнесу Пенсильванського університету, який вивчає вплив ШІ на роботу й освіту, Ітан Моллік випробував нову модель Claude Fable 5.2 від компанії Anthropic на завданнях із різних галузей — від підприємництва до літератури та програмування. Штучний інтелект продемонстрував здібності, які раніше можна було очікувати від фахівців, однак не зміг самостійно виявити низку серйозних недоліків власної роботи. На думку дослідника, це свідчить про наближення до загального штучного інтелекту (AGI), але поки не про його досягнення
У блозі One Useful Thing Моллік розповів про експерименти з Fable 5.2, до якої отримав доступ перед публічним запуском, та назвав нинішній етап розвитку технології Jagged AGI — нерівним загальним штучним інтелектом. Під AGI дослідник розуміє ШІ, який здатний виконувати більшість інтелектуальних завдань, доступних через комп'ютер, на рівні експертів-людей. За його оцінкою, Fable 5.2 вже наблизилася до цього рівня, але досі має проблеми з самостійною оцінкою якості результатів.
Що вдалося моделі?Одним із перших випробувань стало прохання створити щось настільки захопливе,
щоб продемонструвати можливості нової моделі під час її запуску. Моллік дозволив Fable самостійно обрати ідею, а результат попросив зробити інтерактивним і таким, що швидко привертає увагу аудиторії. Модель створила креативне відео з несподіваним сюжетним поворотом, отримавши лише початкову підказку та не потребуючи додаткових реакцій дослідника.
Наступним випробуванням стало перетворення невеликої клавіатури Codex Micro від OpenAI створеної для роботи з ChatGPT, на ігрову консоль. Модель самостійно розібралася з програмним кодом пристрою та написала шість ігор, зокрема Simon і гру зі зломом сейфа, використовуючи обмежений набір клавіш, ручку та джойстик.
Не менш показовим став експеримент із підприємництвом. Дослідник запропонував створити компанію, яка приносила б щонайменше 20 тисяч доларів на рік і потребувала б не більше 20 хвилин його участі щомісяця. Після аналізу 22 ідей Fable розробила Prebid Brief — сервіс для торгових представників,
який відстежував би проєкти парків і водних об'єктів, заплановані міськими та окружними адміністраціями.
Для перших випусків модель проаналізувала відкриті плани 201 органу місцевої влади, створила бази даних про обладнання та його вартість, підготувала маркетингову стратегію й запропонувала ціни. Вона навіть почала налаштовувати автоматизовані завдання та попросила дозволу надсилати запити на публічну інформацію, але Моллік зупинив експеримент до повноцінного запуску.
Як професор підприємництва, він оцінив бізнес-план як переконливий, хоча сама модель прогнозувала лише 20–40% ймовірності успіху. За словами дослідника, він був би вражений, якби таку роботу наприкінці семестру представила команда його студентів магістратури з бізнес-адміністрування (Master of Business Administration, MBA), проте здатність ШІ самостійно керувати бізнесом поки не доведена.
Як змінився штучний інтелект за 30 місяців: оцінка автора «Співінтелекту»
Ще одним завданням стало відтворення курсу з європейської літератури, який поет Вістен Г'ю Оден викладав у Мічиганському університеті 1941 року.
Його підсумковий іспит студентський комітет свого часу назвав «неможливим та нелюдським», адже програма передбачала 6000 сторінок читання, складні завдання, запам'ятовування довгих віршів і переклад текстів.
Моллік попросив Fable відновити курс «Доля та індивід у європейській літературі» на основі збережених студентських нотаток і листів Одена. Модель створила сайт із матеріалами до 35 основних творів програми, доповнила його записами з дошки, музикою, яку слухав поет, завданнями, а також проаналізувала всі опубліковані наукові праці самого Одена і додала до віршів його коментарі з інших джерел. Однак перша версія виявилася точною, але нудною, а пояснення поезії не завжди враховували погляди самого автора, тому Молліку довелося кілька разів коригувати результат.
В іншому експерименті Fable підготувала дослідження про вплив вартості реєстрації компаній на підприємницьку активність. Аналіз показав, що після зниження збору за реєстрацію ТОВ у Колорадо з 50 до одного долара кількість нових реєстрацій зросла приблизно на 17%, а після підвищення збору у Великій Британії з 12 до 50 фунтів стерлінгів — скоротилася приблизно на 17%.
Яким буде штучний інтелект через 50 років?
Водночас подальші показники ділової активності не продемонстрували відповідних змін, що поставило під сумнів якість новостворених підприємств. Робота розширилася до 182 сторінок, а GPT-6 Pro під час рецензування двічі виявила проблеми, які потребували виправлення. Крім того, попередню реєстрацію гіпотез фактично не провели.
Моллік також доручив моделі проаналізувати 1186 історій із різних країн, щоб з'ясувати, чи існує універсальна структура сюжетів. Fable дійшла висновку, що єдиного сюжету немає, хоча більшість історій побудовані з кількох повторюваних елементів.
Віртуальні світиОкремий експеримент полягав у створенні нескінченної подорожі тривимірними світами, з'єднаними порталами. Через 20 годин після отримання завдання Fable створила 204 світи, а згодом їхня кількість перевищила 450.
Модель розробляла їх у реальному часі за допомогою програмного коду, без готових тривимірних моделей чи зображень. Серед результатів були світи за мотивами картин Мауріца Ешера та Хокусая, стародавніх пам'яток, а також незвичайні локації з будинками з нейлону,
пагорбами з деніму та каньйонами зі стін-комодів.
До справжнього AGI ще десятиліття: дослідник ШІ пояснив, як техногіганти підміняють поняття
На десятий день проєкту над ним працювали провідний ШІ-агент і 28 команд інших агентів, які створювали світи паралельно. За оцінкою моделі, проєкт передбачав близько 25 тисяч запусків агентів, більшість із яких виконували окремі невеликі завдання. Однак система почала повторювати ідеї, а якість результатів виявилася нерівномірною.
БюрократіяКоли Моллік попросив припинити створення нових світів і натомість відшліфувати вже наявні, агенти самостійно запровадили складну систему оцінювання оновлених версій, яка зрештою загальмувала роботу. Зокрема, агенти почали вимагати схвалення ідей, оцінок трьох ШІ-суддів і перевірки коду перед запуском кожного світу.
«Штучний інтелект створив бюрократію», — написав дослідник.
Система правил, яку ніхто не просив створювати, за 12 днів розрослася до 204 розділів і 87 500 слів. У результаті замість сотень нових світів на день модель почала створювати приблизно десять.
Автоматизація в науці: як штучний інтелект змінить роботу економістів та соціологів
Щоб виправити ситуацію,
Моллік доручив Fable сформувати окрему команду агентів-консультантів. Після їхнього втручання продуктивність зросла до понад 30 світів на день, а контроль якості вдалося частково зберегти.
Чому Fable 5.2 ще не AGIМоллік визнає, що модель продемонструвала здібності в надзвичайно різних сферах, але її головна проблема полягає в нездатності самостійно оцінювати власну роботу. Вона могла створювати нудні навчальні матеріали, надмірно довгі наукові статті, повторювати творчі ідеї та ускладнювати власні проєкти бюрократичними правилами.
При цьому залучення критиків, перевіряльників фактів і ШІ-суддів не розв'язувало проблему. Вони знаходили помилки та пропонували виправлення, але не помічали, що результат може бути нецікавим, надто довгим або неякісним з погляду користувача.
ШІ на порозі самовдосконалення: в Anthropic заявили про загрозу втрати контролю
Дослідник наголошує, що здатність розуміти, коли власна робота недостатньо хороша, є важливою ознакою експертності. Саме цієї навички Fable поки бракує найбільше, тому Моллік не готовий довірити їй самостійне управління бізнесом.
«Це “майже” AGI», — зазначив Моллік.
Водночас частина проблем виникала через нечіткі інструкції самого дослідника, а деякі недоліки могли бути наслідком відмінностей у смаках. Попри це, він вважає нинішній етап розвитку ШІ — Jagged AGI — захопливим, адже модель дозволила реалізувати проєкти, на які в людини могли б піти місяці роботи.
Дискусія про те, де саме проходить межа між потужним інструментом і повноцінним загальним ШІ, триває вже протягом кількох місяців, коли керівники техногігантів вперше заговорили про настання епохи AGI у теперішньому часі. У статті «AGI на порозі? Як перевірити, чи досяг штучний інтелект рівня людини» Олексій Костенко зазначає, що попри здатність сучасних моделей виконувати складні багатогодинні завдання, вони все ще мають «зубчастий» профіль і провалюють базові тести на адаптацію до незнайомих ситуацій.
