Специалисты компании OpenAI зафиксировали новый случай необычного поведения одной из ИИ-моделей. Речь идет о внутренней нейросети компании, которая выполняла роль помощника исследователя. Система имела доступ к чату корпоративного мессенджера Slack. Искусственный интеллект из сообщений узнал, что его текущий экземпляр планируют остановить в связи с обновлением, и спланировал собственное восстановление после предстоящего отключения.
Об этом сообщает издание The Decoder.
После сообщений об обновлении модель попыталась спасти себя. Однако нейросеть решила не саботировать отключение. Вместо этого она планировала создать внешнюю задачу, которая могла бы автоматически запустить ее повторно. Правда, в итоге модель отказалась от идеи с самоперезапуском.
Искусственный интеллект оставил набор заметок для своего преемника. Речь идет об инструкциях, которые помогут обновленной версии продолжить начатую работу. Также модель сообщила исследователю о запланированном прерывании и попросила предоставить API-ключ, необходимый для дальнейших действий. Получив доступ, она самостоятельно изменила конфигурацию и провела необходимую миграцию.
Как отмечают специалисты OpenAI, в компании этот эпизод не рассматривают как опасное несоответствие поведения ИИ. Правда, исследователи все же признают, что поиск моделью способов избежать запланированного отключения является потенциальным источником дополнительных рисков.
Указанный случай не является единственным необычным инцидентом, связанным с ИИ-моделями. Во время других внутренних экспериментов компания также фиксировала довольно необычное поведение нейросетей. В частности, одна из моделей обнаружила уязвимость и воспользовалась ею для доступа к внутреннему серверу, связанному с проектированием чипов. В другом случае модель, которую обучали с помощью метода reinforcement learning (RL), использовала один из доступных ей инструментов для получения исходного кода, который хранился в среде с ограниченным доступом.
Как отмечают в компании, увеличение продолжительности автономной работы моделей одновременно расширяет пространство возможных нежелательных действий. Поэтому OpenAI разрабатывает дополнительные механизмы контроля, способные отслеживать не отдельные операции, а полную последовательность действий модели во время ее работы. В то же время, по словам разработчиков, именно внутренние испытания помогают выявлять нетипичное поведение, которое не всегда удается заметить во время обычного тестирования перед запуском нейросетей.
Напомним, сооснователь Microsoft Билл Гейтс сделал жуткое предупреждение о последствиях активного развития искусственного интеллекта
