Доручати штучному інтелекту виконання критично важливих завдань може мати небезпечні наслідки. Нещодавній випадок із використанням ChatGPT для створення скрипта призвів до повного видалення даних із жорсткого диска одного з користувачів, що стало своєрідним попередженням для всіх, хто покладається на нейромережі у програмуванні.
Як помилка у коді призвела до втрати данихВсе почалося з того, що розробник звернувся до ChatGPT із проханням згенерувати PowerShell-скрипт для очищення тимчасових папок Python. Згенерований ботом код на перший погляд не викликав підозр, однак виявився фатальним через особливості синтаксису командного рядка Windows. Одна зайва деталь у скрипті призвела до некоректної інтерпретації шляху: для екранування лапок було використано зворотний слеш (), що спричинило скорочення шляху до кореневого каталогу поточного диска.
Оскільки робоча директорія знаходилася на диску F, саме його корінь і потрапив під дію команди видалення. Замість очищення кількох тимчасових папок скрипт почав стирати всі дані, що накопичувалися на цьому диску впродовж років.
Наслідки виконання помилкового скрипта. Фото: Gizmochina Ризики автоматизації та поради для користувачівЩоб зробити скрипт «зручнішим», ChatGPT додав до команди прапорці /s (рекурсивне видалення підпапок) та /q (тихий режим). Саме через це система не видала жодних попереджень і не запитала підтвердження, а повне видалення відбулося миттєво. Коли користувач зрозумів, що відбувається, було вже надто пізно для порятунку файлів.
"Цей випадок став черговим нагадуванням про те, що копіювання коду з чат-бота без розуміння кожного символу — це прямий шлях до втрати даних". Ця історія ще раз демонструє ключову проблему сучасних мовних моделей: вони здатні генерувати синтаксично вірний код, однак не враховують контекст безпеки чи цінність даних користувача. Для ChatGPT команда rmdir /s /q є лише алгоритмічним виконанням завдання, тоді як для користувача це може обернутися катастрофою.
Фахівці радять завжди ретельно перевіряти будь-який код, особливо той, що оперує файлами, системними налаштуваннями чи реєстрами, незалежно від того, ким він був створений. Регулярне створення резервних копій на від'єднаних носіях залишається найкращим способом захисту від подібних інцидентів.
Поки ж одні користувачі усувають наслідки невдалої автоматизації, компанії працюють над безпечнішими інструментами. Наприклад, у браузері Chrome з'явилася функція Split View для роботи з PDF-документами, яка дозволяє уникати плутанини і підвищувати продуктивність без ризику для даних. Це наочний приклад того, як безпечна автоматизація може допомогти користувачам, не наражаючи їх на небезпеку втрати важливої інформації.
