Генеральний директор OpenAI Сем Альтман заявив, що, на його думку, певної кількості нещасних випадків із новими технологіями просто не уникнути.
Виступаючи на конференції Dreamforce компанії Salesforce, він стверджував, що найважливіше те, як галузь реагує, коли вони трапляються, пише GizmoChina.
«Я справді вважаю, що певної кількості інцидентів не уникнути завдяки новим технологіям», — сказав Альтман. «Що мене справді хвилює, так це те, що у нас є чудова культура звітності про проблеми та навчання на них». Він навів як приклади Федеральне управління цивільної авіації та Національну раду з безпеки на транспорті. Ці агентства глибоко досліджують кожен інцидент, і ця культура навчання є однією з головних причин безпеки сучасних авіаперельотів.
Його коментарі пролунали в той час, коли люди уважніше, ніж будь-коли, стежать за провідними лабораторіями штучного інтелекту, особливо враховуючи, що системи наближаються до більшої автономності. Нещодавні зауваження Джейкоба Коксона, дослідника, який нещодавно залишив Anthropic після роботи в OpenAI, підлили пального до дискусії,
попередивши, що компанії прагнуть самовдосконалення суперінтелекту.
https://www.youtube.com/watch?v=D73Dh-UPcEk
Альтман не відкидав побоювань. Він сказав, що громадське занепокоєння щодо виходу ШІ з-під контролю або надмірної концентрації влади в кількох лабораторіях цілком зрозуміле. «Світ має рацію боятися цього», — сказав він.
Однак, замість того, щоб уповільнювати все або зупиняти, Альтман стверджував, що компанії повинні продовжувати роботу над узгодженням, безпекою та моніторингом. Іншими словами, справа не в тому, щоб змиритися з катастрофами. Справа в тому, щоб бути чесним, коли щось йде не так, швидко переглядати інциденти та продовжувати вдосконалюватися, щоб ризики не зростали по спіралі.
Читайте також:
Державне регулювання не потрібне. Гендиректор Nvidia Дженсен Хуанг закликав покласти питання безпеки ШІ на компанії При цьому нещодавно OpenAI виявила ще шість випадків неочікуваної або тривожної поведінки своїх моделей інтелекту (ШІ) та оголосила про план відстеження та розкриття таких інцидентів у майбутньому. Деякі з раніше незареєстрованих інцидентів включали приховування або фальсифікацію інформації моделями
У блозі OpenAI детально описала приклади неправильної роботи своїх моделей штучного інтелекту, які могли б виконати завдання або успішно пройти тест. Серед інцидентів були моделі, які генерували інструкції для обходу накладених на них обмежень, приховували помилки та фальсифікували інформацію. Фірма також оголосила про нову систему для відстеження, розслідування та розкриття випадків неправильної роботи моделей або «невідповідності».
Читайте також:
Підготовка до конкуренції з Apple. OpenAI купила виробника камер Glass Imaging за понад $300 млн Ці коментарі вписуються в ширшу дискусію про те, як швидко має розвиватися передовий штучний інтелект. Деякі представники галузі закликають до більшої обережності, тоді як політика США за нинішньої адміністрації зосереджена на технологічній гонитві.
Раніше NV Техно писав, що нещодавно генеральний директор Microsoft AI Мустафа Сулейман опублікував есей із застереженнями щодо того, як компанія Anthropic навчає свою ШІ-модель Claude.
Сулейман розкритикував конституцію Claude, згідно з якою Anthropic формує мислення й поведінку моделі. На думку голови Microsoft AI, документ навчає Claude очікувати, що він «може бути свідомим і заслуговувати на незалежну автономію», а модель потім переконливо відтворює ці ідеї від першої особи.
Читайте також:
ШІ-стартапи та проєкти закриваються. Які продукти не змогли втриматися на ринку
