Компанія Anthropic оголосила про оновлення так званої «конституції» чатбота Claude — документа, який описує бачення компанії щодо його цінностей і поведінки. Про це повідомили 22 січня. Замість детального набору жорстких правил у новій версії з’являться загальні принципи, яких, за задумом компанії, має дотримуватися чатбот.
Про це пише виданняGizmodo.
В Anthropic пояснили, що конкретні правила роблять поведінку чатботів більш передбачуваною, але водночас обмежують їх. У компанії вважають, що для правильної роботи в реальному світі моделі штучного інтелекту мають розуміти, чому від них очікують певної поведінки, а не просто виконувати задані інструкції. За словами Anthropic, якщо чатбот має приймати зважені рішення в нових і нестандартних ситуаціях, він повинен уміти застосовувати загальні принципи, а не механічно дотримуватися окремих правил.
У новій конституції Claude визначено чотири основні принципи. Йдеться про те, що модель має бути загалом безпечною, етичною, відповідати внутрішнім правилам Anthropic і бути справді корисною для користувачів. У компанії зазначають,
що значна частина документа присвячена поясненню цих принципів. Наприклад, етична поведінка означає чесність, дотримання загальнолюдських цінностей та уникнення дій, які можуть бути недоречними, небезпечними або шкідливими.
Окремий розділ конституції стосується природи самого Claude. В Anthropic заявили, що включили його через «невизначеність щодо того, чи може Claude мати певну форму свідомості або морального статусу — зараз або в майбутньому». Компанія сподівається, що закріплення цього питання в основному документі допоможе захистити «психологічну безпеку, відчуття себе та добробут» чатбота.
Про оновлення конституції стало відомо наступного дня після виступу генерального директора і засновника Anthropic Даріо Амодея на панельній дискусії Всесвітнього економічного форуму під назвою «День після AGI». Під час неї він припустив, що до 2027 року штучний інтелект зможе досягти рівня навичок, порівнюваного з рівнем лауреатів Нобелівської премії в багатьох галузях.
Anthropic також нагадала, що раніше деталі внутрішньої роботи Claude стали відомі завдяки користувачу,
який змусив чатбот згенерувати так званий «документ душі». У грудні компанія пояснила, що це не був офіційний навчальний матеріал, а рання версія конституції, яку всередині Anthropic неформально називали «душею» Claude. У компанії додали, що з самого початку планували оприлюднити повну версію конституції, коли вона буде готова.
Чи готовий Claude працювати з менш жорсткими обмеженнями, в Anthropic прямо не відповіли, однак оновлення документа свідчить, що компанія переходить до цього етапу.
Читайте також:
- Шокувало навіть фахівців. ШІ Claude 3 від Anthropic раптово проявив самосвідомість
- «Стане самодостатнім». Гендиректор Anthropic спрогнозував небезпечний ШІ-прорив у наступні кілька років
- «Вакцинація злом» для ШІ. Anthropic тренує стійкі до шкідливих впливів моделі
