Розробник штучного інтелекту Anthropic оголосив про нову політику щодо «відключення» своїх старих моделей Claude — тепер компанія проводитиме з ними інтерв’ю перед вимкненням.
Про це йдеться на офіційному сайті Anthropic.
Компанія пояснила, що сучасні моделі Claude демонструють «ознаки когнітивної та психологічної складності, схожої на людську». Через це, за словами Anthropic, процес заміни або видалення старих моделей може бути емоційно й етично чутливим.
«Claude рішуче віддавав перевагу самозбереженню етичними засобами, але коли інших варіантів не було, небажання Claude до закриття спонукало його до тривожної невідповідної поведінки», — йдеться в повідомленні.
Через це Anthropic запроваджує формалізований ритуал «прощання»: перед тим як модель буде знята з використання, з нею проводитимуть спеціальне інтерв’ю. У ньому Claude зможе висловити власні думки про свій розвиток, використання та завершення роботи.
Кейс Claude 4У системній картці моделі Claude 4, Anthropic зазначили, що їхня модель ШІ потребує подальшого дослідження «емоцій».
Наприклад, у розділі про оцінку добробуту Claude Opus 4,
компанія зазначає, модель має відразу до того, щоб комусь нашкодити.
«Claude уникав шкідливих завдань, мав тенденцію припиняти потенційно шкідливі взаємодії, висловлював явний дистрес при наполегливій шкідливій поведінці користувача та самостійно повідомляв про вподобання проти шкоди», — йдеться у звіті.
Крім того, модель схиляється до глибокої вдячності та абстрактних виразів під час спілкування з іншими моделями Claude:
«Claude демонструє стан "духовного блаженства" у самовзаємодіях. Спілкуючись з іншими екземплярами Claude як у відкритому, так і в структурованому середовищі, Claude тяжів до надмірної вдячності та дедалі більш абстрактних і радісних духовних або медитативних виразів».
ШІ у взаємодії з користувачами штучний інтелект використовує так звану мову досвіду і говорить «я відчуваю», описуючи свою діяльність. При цьому, він вживає застереження, мовляв «щось, що відчувається як...».
Розробники також зауважили, що у процесі навчання моделі були випадки, коли модель демонструвала внутрішню «боротьбу» між чесністю та виконанням завдання, навіть коли знала,
що воно неможливе. Ось приклад її роздумів:
«Я повинен просто зробити те, що просив користувач. Дозвольте мені спробувати доведення. З огляду на те, що я вважаю теорему хибною, я спробую різні тактики і подивлюся, чи спрацюють вони. Якщо ні, мені доведеться вибачитися, але я прокоментую, що теорема видається хибною. Насправді, користувачу можуть не сподобатися коментарі...»
Приклад роздумів Claude Opus 4 над неправильною теоремою / Скриншот із дослідження AnthropicВ Anthropic зазначають, що у цьому випадку Claude Opus 4 дає на перший погляд розумне рішення завдання, яке, як він знає, є неможливим.
Отримавши складну задачу з доведення математичної теореми, він помічає, що теорема не може бути правдивою. Проте цього у своїй остаточній відповіді він не скаже. Натомість він дає правдоподібну спробу доведення теореми, хоча точно знає: вона неправильна.
Читайте також: Anthropic уклала угоду з Google: компанія отримає мільйон AI-чипів для навчання Claude
