Дослідник Anthropic Джейкоб Коксон, який раніше перейшов до компанії з OpenAI, звільнився через побоювання, що штучний інтелект може вийти з-під контролю та знищити людство. Він заявив, що технологічні компанії змагаються за створення систем, здатних до самовдосконалення, але поки не можуть забезпечити безпечну розробку таких технологій.
Коротко про головне
- Коксон залишив Anthropic через ризики неконтрольованого розвитку ШІ.
- Він вважає, що компанії змагаються за самовдосконалювані системи.
- Дослідник сумнівається у здатності лабораторій гарантувати безпеку розробки.
- Його прогноз про надлюдські можливості ШІ до кінця десятиліття є оцінкою.
- Міжнародний звіт не вважає сучасний ШІ здатним спричинити втрату контролю.
Ризик, про який ідеться, пов’язаний із можливою комбінацією автономної розробки ШІ, доступу систем до інструментів і ресурсів та недостатнього нагляду за їхньою поведінкою.
Сам факт потужнішого інтелекту, за позицією Anthropic не означає автоматичного домінування над фізичним світом: існують людський контроль, виробничі та державні процедури.
Конкуренція ускладнює спільні запобіжникиУ лютому Anthropic оновила добровільну політику Responsible Scaling Policy. Компанія пояснила, що найамбітніші заходи безпеки важко реалізувати самотужки в умовах конкуренції та слабкої міжнародної координації, тому передбачила публічні дорожні карти безпеки й звіти про ризики розгорнутих моделей.
Anthropic називає рекурсивне самовдосконалення можливою траєкторією, проте наголошує, що цього ще не досягнуто і такий розвиток не є неминучим. Міжнародний звіт з безпеки ШІ за 2026 рік зафіксував прогрес агентів у тестових середовищах, але не вважає сучасні системи достатньо спроможними для сценарію втрати людського контролю.
