Дослідники OpenAI та Anthropic 10 вересня публічно виступили за сповільнення темпів розвитку штучного інтелекту, попереджаючи про можливість втрати контролю над дедалі потужнішими моделями. Дискусія всередині галузі загострилася після звільнення дослідника Anthropic Джейкоба Коксона, який звинуватив провідні ШІ-компанії у надмірному ризику під час розроблення нових систем.
Коксон заявив, що частина розробників штучного інтелекту серйозно розглядає сценарій, за якого технологія може призвести до загибелі людства ще до кінця десятиліття.
На його заяву відреагував керівник напряму alignment в Anthropic Еван Губінгер, який оцінив імовірність такого сценарію більш ніж у 10%. Йдеться про особисту оцінку дослідника, а не прогноз компанії.
Після цього низка співробітників OpenAI та Anthropic також публічно підтримали ідею сповільнення розвитку найпотужніших моделей.
«На особистому рівні я теж вважаю, що нам потрібно сповільнитися», – заявила Джулі Стіл із технічної команди OpenAI, яка працює над питаннями безпеки штучного інтелекту.
Дослідник Anthropic Семюел Маркс зазначив,
що серед фахівців галузі існують побоювання щодо можливості вимирання людства або інших катастрофічних наслідків розвитку ШІ. За його словами, деякі експерти допускають реалізацію таких сценаріїв протягом найближчих років, причому більш досвідчені представники галузі часто висловлюють вищий рівень занепокоєння.
Головний ризик – ШІ, який почне покращувати сам себеОкремою темою дискусії стало рекурсивне самовдосконалення – recursive self-improvement, або RSI. Під цим поняттям мають на увазі сценарій, за якого системи штучного інтелекту отримують можливість дедалі ефективніше брати участь у створенні та вдосконаленні наступних поколінь ШІ.
Побоювання полягає в тому, що після досягнення певного рівня можливостей цей процес може різко прискоритися, а розвиток систем стане складніше прогнозувати та контролювати.
«Важко переоцінити, наскільки небезпечним є прискорення руху до RSI», – заявила дослідниця OpenAI Джасмін Ван, яка працює над проблемою alignment – узгодження поведінки ШІ з людськими цілями та обмеженнями.
Дослідниця Anthropic Анна Ван, зі свого боку, заявила,
що наразі наукова спільнота не має життєздатного плану, який дозволяв би гарантовано розв’язати проблеми безпеки, пов’язані з рекурсивним самовдосконаленням.
Головний науковець OpenAI очікує подальшого швидкого прогресуГоловний науковець OpenAI Якуб Пачоцький прогнозує, що нинішні високі темпи розвитку штучного інтелекту можуть зберігатися аж до появи систем, здатних суттєво впливати на власне вдосконалення.
За його оцінкою, протягом найближчих років нові системи можуть продемонструвати стрибки можливостей, співставні або навіть більші за ті, які галузь уже спостерігала останнім часом. Паралельно ШІ дедалі активніше використовуватиметься для досліджень і розроблення наступних моделей.
Пачоцький закликав підходити до такого розвитку з «надзвичайною обережністю», зазначивши, що його турбує неготовність суспільства до можливих наслідків стрімкого зростання машинного інтелекту.
Подібні побоювання висловив Пол Крістіано, колишній керівник напряму безпеки в Центрі стандартів та інновацій ШІ Міністерства торгівлі США. За його словами, останній прогрес у можливостях моделей змусив його вважати суттєвим ризик швидкого прискорення технології та подальшої «катастрофічної й незворотної втрати контролю».
Напередодні OpenAI оголосила, що Крістіано приєднається до ради OpenAI Foundation.
Публічні заяви дослідників не означають, що описані ними катастрофічні сценарії неминучі. Вони відображають дискусію всередині ШІ-галузі про те, чи встигають дослідження безпеки, механізми контролю та регулювання за швидкістю зростання можливостей нових моделей.
