Компания Anthropic признала ошибкой скрытые ограничения в модели Claude Fable 5, из-за которых она незаметно ухудшала или перенаправляла некоторые запросы исследователей. После критики компания пообещала сделать такие ограничения видимыми для пользователей.
Anthropic отказалась от политики, которая фактически мешала исследователям использовать новую языковую модель Claude Fable 5 для создания конкурирующих систем искусственного интеллекта. Об этом компания сообщила изданию Wired.
В заявлении Anthropic отметила, что меняет механизмы защиты в Fable 5, связанные с разработкой передовых языковых моделей, чтобы они были заметными для пользователей. В компании также признали, что выбрали неправильный подход и извинились за то, что не смогли найти правильный баланс.
После выхода Claude Fable 5, построенной на базе системы Mythos, исследователи заметили необычное поведение модели. Они выяснили, что во время выполнения определенных задач система тихо перенаправляла запросы на менее мощную модель. При этом о таком ограничении не упоминалось в документации.
В частности,
модель отказывалась выполнять или ухудшала результаты задач, связанных с обучением конкурирующих языковых моделей, отладкой кода для искусственного интеллекта и оптимизацией нейронных архитектур.
Исследователей возмутило не только снижение качества ответов, но и отсутствие прозрачности со стороны компании. Кроме того, они отмечали, что тратили токены и деньги на модель, которая работала не так, как они ожидали.
Anthropic позиционирует себя как более этичную и дружественную к научному сообществу альтернативу компании OpenAI, поэтому действия вокруг Fable 5 вызвали быструю негативную реакцию.
Научный сотрудник и автор Substack Dean W. Ball заявил в соцсети X, что ухудшение работы модели для исследований в области машинного обучения без предупреждения пользователей выглядит крайне недружелюбно и вредит репутации компании.
В то же время Anthropic не отказывается от самих ограничений в Claude Fable 5. Вместо этого пользователи будут видеть сообщения, если компания решит, что модель пытаются использовать для создания очень мощной системы искусственного интеллекта. В таком случае сервис будет предупреждать об отказе выполнить запрос или о перенаправлении его на менее мощную модель.
Читайте также:
- Для 150 организаций в 15 странах. Anthropic расширила доступ к ИИ-модели Claude Mythos
- Anthropic выпустила новые модели Claude Fable 5 и Mythos 5. Что они умеют?
- Блокирует безопасные промпты. Киберспециалисты оценили работу ИИ-модели Fable от Anthropic
