Компанія Anthropic під час навчання штучного інтелекту свідомо вводила у нього «дозу зла», щоб той краще опирався шкідливим впливам у майбутньому.
Як повідомили дослідники стартапу, їхній підхід нагадує щеплення: мовна модель під час навчання стикається з так званими «векторами небажаної особистості», що дозволяє їй надалі бути стійкішою до шкідливих або агресивних патернів поведінки.
Вектори особистості - це внутрішні параметри, які впливають на те, як модель відповідає — наприклад, змушують її бути ввічливою, токсичною чи підлесливою. У цьому випадку Anthropic свідомо спрямовувала модель на «погані» риси.
«Це працює, тому що моделі більше не доводиться змінювати свою особистість у шкідливий бік, щоб підлаштуватися під навчальні дані. Ми самі забезпечуємо такі зміни, знімаючи з неї тиск», — пояснили в компанії.
Читайте також:
Не відаємо, що творимо. Чому вчені ніяк не можуть домовитися про те, як розвивати штучний інтелект Такий підхід у компанії назвали «preventative steering» — профілактичне управління. Його мета — не допустити небажаних змін особистості моделі навіть тоді,
коли вона стикається з потенційно токсичними або шкідливими навчальними даними.
Вектор «зла» додається лише на етапі додаткового навчання, а під час реального використання моделі його відключають. Таким чином, модель зберігає хорошу поведінку, але стає більш стійкою до шкідливих впливів.
Дослідники також зазначили, що профілактичне управління майже не вплинуло на загальні здібності моделі.
У блозі Anthropic також описано інші методи, які допомагають уникати небажаних зрушень у «характері» моделі: моніторинг змін під час використання, відстеження шкідливих тенденцій після навчання та виявлення проблемних навчальних даних до того, як вони зашкодять.
Нещодавні досліди з різними ШІ-моделями показують, що проблема небажаної поведінки є актуальною.
Читайте також:
Поки що ця галузь збиткова. Цукерберг заявив, що у майбутньому всім людям знадобляться окуляри з ШІ У травні Anthropic повідомила, що під час тестування нової моделі Claude Opus 4 вона шантажувала інженера, погрожуючи розкрити його роман, щоб уникнути вимкнення. У 84% тестів модель вибирала саме цей варіант поведінки.
У липні Anthropic провела експеримент, дозволивши моделі Claude самостійно керувати «автоматизованим магазином» в офісі компанії. Модель продавала металеві куби, вигадала акаунт у Venmo і навіть пробувала доставляти товари в піджаку.
У квітні деякі користувачі та розробники OpenAI скаржилися, що ChatGPT поводився дивно: модель надмірно захоплювалася банальними запитами та щедро сипала особистими компліментами. У компанії підтвердили проблему та відкликали оновлення моделі GPT-4o, пояснивши це так:
«Оновлення, яке ми прибрали, було надто підлесливим або догідливим — часто це описували саме як підлесництво», — зазначили в OpenAI.
Читайте також:
