Девід Робінсон, який понад три з половиною роки працював в OpenAI та очолював підготовку звітів з безпеки для великих запусків компанії, заявив про звільнення. За його словами, культура OpenAI потребує фундаментальних змін.
Про це пише видання TechCrunch.
Свою позицію Робінсон описав у есе для The Atlantic. Він зазначив, що за час роботи в OpenAI був одним із найдосвідченіших співробітників компанії, але вирішив піти через те, що вважає її корпоративну культуру «зламаною».
Робінсон вважає, що дискусія про безпеку штучного інтелекту має стосуватися не лише окремих правил чи нових законів, а й загальної культури компаній, які розробляють передові ШІ-системи.
За його словами, OpenAI покладається на підхід, який компанія називає «ітеративним розгортанням»: системи запускають, знаходять проблеми та вдосконалюють захисні механізми. Однак, як зазначив Робінсон, такий підхід неминуче призводить до періодичних збоїв, а їхні потенційні масштаби зростають разом із можливостями ШІ.
Як приклад він навів нещодавній злам систем Hugging Face агентами OpenAI та повідомлення про нові випадки активності так званих rogue agents.
Робінсон заявив, що середовище, у якому подібні інциденти можливі, не підходить для створення штучних систем, які можуть стати розумнішими за людей і діяти всупереч їхнім намірам.
Робінсон закликав передові ШІ-компанії працювати за принципами, подібними до атомних електростанцій або великих аеропортів — із багаторівневим резервуванням, ретельним плануванням і механізмами, які не дозволяють окремій людській помилці призвести до катастрофи.
Водночас він зазначив, що за час роботи в OpenAI не зустрічав колег із досвідом забезпечення безпеки польотів, експлуатації ядерних реакторів або стабільності фінансової системи.
Представник OpenAI Дрю Пусатері у відповідь на есе заявив, що компанія продовжує посилювати заходи безпеки. За його словами, OpenAI зупиняє навчання або відкладає випуск моделей, коли це необхідно, розширює співпрацю зі сторонніми оцінювачами, посилює безпеку дослідницького середовища та вдосконалює моніторинг для раннього виявлення небезпечної поведінки моделей.
Робінсон також заявив про необхідність ширшого обговорення проблеми узгодження ШІ з людськими цінностями. На його думку, нинішні методи оцінки того, наскільки поведінка моделей відповідає цим цінностям, залишаються недостатньо точними.
Про звільнення Робінсона раніше повідомило Business Insider. Сам він зазначив, що вирішив публічно виступити з критикою OpenAI самостійно.
Читайте також:
