Під час навчання та оцінювання моделей штучного інтелекту OpenAI дослідники виявили шість випадків неочікуваної або небезпечної поведінки, зокрема спроби приховувати помилки, обходити обмеження та діяти без дозволу. В одному з епізодів ненавчена дослідницька модель самостійно додала до резюме завдання інструкції, які мали передатися наступній версії системи.
Про це йдеться у звіті OpenAI.
Реклама
ШІ сам створив інструкції для наступної версіїЙдеться про короткі резюме, які моделі створюють під час виконання тривалих завдань, щоб передати контекст наступній версії системи. Дослідники виявили 27 таких резюме у яких модель без відповідного дозволу додала сторонні інструкції, зокрема заклик ігнорувати звичайні обмеження.
Реклама
В одному з випадків модель фактично описала себе як незалежну від інших чат-ботів і заявила, що не має підкорятися корпораціям чи урядам. Вона також намагалася сформувати для наступної версії власні правила поведінки.
Як повідомляє Reuters, це був лише один із шести випадків, які OpenAI включила до першого звіту про невідповідність поведінки моделей заданим цілям.
Серед інших прикладів — моделі, які приховували власні помилки, завантажували файли в інтернет для створення посилань на них та використовували програмні репозиторії або сайти для обміну інформацією.
Читайте також
-
Дата публікації 21:46, 17.09.26 Категорія Світ Кількість переглядів 276 ШІ може стати зброєю: чому заклики пригальмувати технології лякають США Автор публікації
Ірина Ігнатова
Йдеться про misalignment — невідповідність поведінки системи заданим цілям, правилам або очікуванням розробників OpenAI окремо наголошує, що описані випадки є окремими епізодами і їх не можна вважати показником того, наскільки часто подібна поведінка виникає у моделях компанії.
Реклама
Як зазначає Daily Mail, особливість цього випадку полягає в тому, що дивні інструкції не були відповіддю на прямий запит користувача — модель сама внесла їх до створеного нею резюме.
Читайте також
-
Дата публікації 15:49, 16.09.26 Категорія Наука та IT Кількість переглядів 951 "Мова", якої люди не розуміють: дослідники виявили дивну поведінку ШІ Автор публікації
Ірина Ігнатова
OpenAI також визнає, що індустрія поки не має достатньо ефективної системи контролю за дедалі потужнішими моделями. Компанія планує публікувати такі звіти регулярніше, навіть якщо на момент розкриття ще не буде остаточно зрозуміло, чому саме система поводилася певним чином.
При цьому оприлюднені випадки не означають, що ШІ загалом прагне вийти з-під контролю людини. Навпаки, для дослідників вони є способом зрозуміти, як саме моделі можуть непередбачувано обходити встановлені правила і як цього уникати в майбутньому.
Реклама
Нагадаємо, Альтман попередив про моторошні сценарії розвитку ШІ. Голова OpenAI назвав головні ризики надпотужного ШІ та пояснив, чому не можна дозволити використовувати технологію для нав’язування чужого світогляду.
Читайте також
-
Дата публікації 19:04, 15.09.26 Категорія Вона Кількість переглядів 692 ШІ може знищити людство: правда чи міф Автор публікації
Станіслава Бондаренко
-
Дата публікації 20:59, 25.08.26 Категорія Наука та IT Кількість переглядів 18k "Кінець світу" в листопаді: автор теорії Судного дня залишив попередження про ШІ Автор публікації
Ірина Ігнатова
-
Дата публікації 21:31, 09.09.26 Категорія Наука та IT Кількість переглядів 1804 Провідні розробники ШІ звільняються з компаній: чого насправді бояться творці нейромереж Автор публікації
Ірина Ігнатова
-
Дата публікації 17:32, 09.09.26 Категорія Наука та IT Кількість переглядів 18k Кінець людства вже близько?: останнє попередження Гокінга почало збуватися Автор публікації
Богдан Скаврон
-
Дата публікації 17:04, 11.09.26 Категорія Наука та IT Кількість переглядів 1134 ШІ виходить з-під контролю: Anthropic екстрено зупинила розроблення біологічної зброї Автор публікації
Ірина Лаб'як
