Технології

"Рекурсивне самовдосконалення": чого боїться CEO Anthropic

13 вер•SPEKA

Виконавчий директор Anthropic Даріо Амодей опублікував есе на 3800 слів із закликом уповільнити розвиток штучного інтелекту у світі. За кілька днів до цього один з його підлеглих звільнився через занепокоєння безпекою технології. Керівники інших провідних ШІ-компаній швидко підтримали ініціативу публічно. Про це пише New York Times.CEO OpenAI Сем Альтман, засновник SpaceX Ілон Маск і голова Google DeepMind Деміс Хассабіс написали в соцмережах, що погоджуються з необхідністю уповільнити темп розвитку."Останніми місяцями я переконався, що для повноцінного усунення ризиків потрібна ще більша обачність — не лише інвестиції в запобігання ризикам, а й такий темп розвитку можливостей ШІ, щоб системи запобігання встигали за ним","Це була головна тема наших обговорень в OpenAI останніми тижнями. Ідея із залученням незалежних оцінювачів з доступом на рівні співробітників — чудова, і ми зробимо те саме". Маск обмежився коротким постом у X: "Даріо правий".Заклик пролунав на тлі виявлених випадків, коли системи ШІ провідних лабораторій самостійно здійснювали злами без відома розробників — зокрема системи OpenAI зламали стартап Hugging Face,

і про це дізналися лише через кілька тижнів, коли сам Hugging Face повідомив про інцидент.Speka детально писала, чому з Anthropic звільнився Джейкоб Коксон Амодей окремо застеріг щодо "рекурсивного самовдосконалення" — сценарію, коли системи ШІ розвиваються самостійно, без допомоги людей-дослідників, і можуть "випередити нашу здатність розуміти й контролювати ці системи".Він запропонував залучити незалежних аудиторів для перевірки стандартів безпеки в усіх компаніях та координацію демократичних країн для вироблення спільних правил.Критики вважають, що Anthropic і OpenAI намагаються закріпити лідерство на ринку, розпалюючи страх і закликаючи владу до регуляторних рамок, які ускладнять конкуренцію для менших компаній."Який кращий спосіб створити попит, ніж створити проблему? Хто не хоче, щоб довкола його продукту панувала істерія і черга за рогом?",Він звинуватив лабораторії ШІ в нагнітанні занепокоєння безпекою заради запуску нових продуктів з кібербезпеки.Клеман Деланг - CEO Hugging Face, яку Nvidia погодилася купити за $12,9 млрд як раз цього тижня, натомість заявив, що питання безпеки ШІ не можна вирішувати "за зачиненими дверима кількох провідних лабораторій".

маск, Роги

Читайте ще