Навіть абсолютно безпечне на вигляд завдання для надпотужного штучного інтелекту теоретично може закінчитися катастрофою. Один із найвідоміших прикладів показує, як команда виготовляти якомога більше канцелярських скріпок здатна перетворитися на загрозу для всього людства.
Про це пише IFLScience.
Цей сценарій пов’язаний з ідеями філософа Ніка Бострома, який багато років досліджував ризики надрозумних систем. Його головна теза полягає в тому, що небезпечною може стати не лише свідомо ворожа машина, а й система, яка надто буквально виконує неправильно поставлену мету.
Уявімо, що надрозумному ШІ наказали виробити якомога більше скріпок. Якщо така система не має чітких обмежень, вона може дійти висновку, що для виконання завдання потрібно використати всі доступні ресурси.
Спочатку машина могла б просто нарощувати виробництво металу та будувати нові фабрики. Потім — захоплювати дедалі більше енергії, сировини та виробничих потужностей.
Проблема в тому, що люди в такому сценарії можуть стати перешкодою. Вони здатні вимкнути систему або обмежити ресурси, тому надрозумний ШІ може розглядати їх як загрозу виконанню власної мети.
У крайньому варіанті система почне використовувати для виробництва скріпок будь-яку доступну матерію. Саме звідси походить найбільш абсурдна частина прикладу: людські тіла також складаються з атомів, які теоретично можна перетворити на сировину.
Бостром використовував цей сценарій не як прогноз того, що майбутній ШІ справді почне виробляти скріпки. Це мисленнєвий експеримент, який показує небезпеку неправильно заданої мети для системи, що значно перевершує людей за можливостями.
Його сенс у тому, що надпотужна машина не обов’язково повинна ненавидіти людей, щоб стати небезпечною. Достатньо, щоб її цілі не збігалися з людськими інтересами, а сама система отримала достатньо ресурсів та автономії.
Саме тому одна з головних проблем у сфері безпеки ШІ полягає не лише в потужності моделей, а й у тому, наскільки точно їхні цілі та обмеження відповідають намірам людей.
Сценарій зі скріпками залишається гіпотетичним. Проте його досі використовують як простий приклад того, чому навіть невинне завдання може мати катастрофічні наслідки, якщо його виконує надрозумна система без достатніх запобіжників.
