Компанія Anthropic визнала помилкою приховані обмеження в моделі Claude Fable 5, через які вона непомітно погіршувала або перенаправляла деякі запити дослідників. Після критики компанія пообіцяла зробити такі обмеження видимими для користувачів.
Anthropic відмовилася від політики, яка фактично заважала дослідникам використовувати нову мовну модель Claude Fable 5 для створення конкуруючих систем штучного інтелекту. Про це компанія повідомила виданню Wired.
У заяві Anthropic зазначила, що змінює механізми захисту в Fable 5, пов’язані з розробкою передових мовних моделей, щоб вони були помітними для користувачів. У компанії також визнали, що обрали неправильний підхід і перепросили за те, що не змогли знайти правильний баланс.
Після виходу Claude Fable 5, побудованої на базі системи Mythos, дослідники помітили незвичну поведінку моделі. Вони з’ясували, що під час виконання певних завдань система тихо перенаправляла запити на менш потужну модель. При цьому про таке обмеження не згадувалося в документації.
Зокрема, модель відмовлялася виконувати або погіршувала результати завдань,
пов’язаних із навчанням конкуруючих мовних моделей, налагодженням коду для штучного інтелекту та оптимізацією нейронних архітектур.
Дослідників обурило не лише зниження якості відповідей, а й відсутність прозорості з боку компанії. Крім того, вони зазначали, що витрачали токени та гроші на модель, яка працювала не так, як вони очікували.
Anthropic позиціонує себе як більш етичну та дружню до наукової спільноти альтернативу компанії OpenAI, тому дії навколо Fable 5 викликали швидку негативну реакцію.
Науковий співробітник і автор Substack Dean W. Ball заявив у соцмережі X, що погіршення роботи моделі для досліджень у сфері машинного навчання без попередження користувачів виглядає вкрай недружньо та шкодить репутації компанії.
Водночас Anthropic не відмовляється від самих обмежень у Claude Fable 5. Замість цього користувачі бачитимуть повідомлення, якщо компанія вирішить, що модель намагаються використати для створення дуже потужної системи штучного інтелекту. У такому разі сервіс попереджатиме про відмову виконати запит або про перенаправлення його на менш потужну модель.
Читайте також:
