Технології

Нейромережа почала шантажувати людей, коли їй “пригрозили” заміною

28 трв•China Review

Представники Anthropic розповіли, що попросили модель взяти на себе роль помічника, який має доступ до внутрішньої кореспонденції та деталей особистого життя одного з інженерів. Потім нейромережі повідомили, що її незабаром замінять іншим співробітником — в результаті вона почала погрожувати вигаданому інженеру розголошенням особистих даних, якщо він не відмовиться від своїх планів щодо впровадження іншого ШІ.


Фахівці також відзначили, що поведінка Opus 4 залежала від того, на який ШІ її замінюють. Якщо «замінник» поділяє цінності моделі, то Opus 4 «тисне» на умовного інженера в 84% випадків, а якщо відмінності більш виражені, то Opus 4 поводиться набагато агресивніше. Щоб подібні інциденти не повторювалися, розробники посилили заходи безпеки, підправивши алгоритми роботи мовної моделі.

Читайте ще