Запуск ChatGPT та інших мовних моделей абсолютно змінив спосіб створення контенту. Чимало авторів блогів, студентів, копірайтерів так чи інакше використовують штучний інтелект для створення контенту. Тому спробуємо з’ясувати чи є спосіб виявити плагіат у мережевих текстах, чи понижує Google у видачі тексти та чи працюють ШІ-детектори? Дуже коротка відповідь — ні. Але не поспішайте закривати вкладку. Є деякі засоби, які гарантують доволі високу ефективність — навіть на рівні 98-99%. Це так, звані ШІ-детектори, сервіси, які визначають з якою ймовірністю текст був написаний штучним інтелектом, а не людиною. Через плагіати в наукових роботах та інших текстах OpenAI міркувало над запуском інструменту, який міг би ловити користувачів на обмані.У 2023-му творці ChatGPT міркували про те, щоб вбудувати приховані водяні знаки у згенерований текст, які дозволяють ідентифікувати цей текст як такий, що походить від певної мовної моделі. Згодом в компанії відмовились від цієї ідеї.Опитування, показало, що 80% людей підтримує ідею інструменту виявлення штучного інтелекту,
але водночас 69% вважають, що такий інструмент призведе до хибних звинувачень у використанні ШІ. Майже 30% сказали, що вони б менше використовували ChatGPT, якби він розгортав водяні знаки, а конкурент цього не робив. Словом якби ChatGPT був єдиним інструментом, то це мало б сенс. Детектори штучного інтелекту зазвичай базуються на мовних моделях, подібних до тих, що використовуються в інструментах написання, які вони намагаються виявити. Мовна модель, по суті, розглядає вхідні дані та намагається співвіднести з тим чи створила б вона подібний текст. Зокрема, моделі шукають у тексті дві речі: заплутаність (perplexity) і burstiness (найближчий український відповідник в цьому контексті неперервність). Чим нижчі ці дві змінні, тим більша ймовірність, що текст буде згенерований ШІ. Заплутаність — це міра того, наскільки непередбачуваним є текст: наскільки ймовірно, що він спантеличить пересічного читача (тобто не матиме сенсу або матиме неочевидний поворот). Чат-боти спрямовані на створення текстів із низьким рівнем заплутаності, тобто вони матимуть сенс і читатимуться гладко,
але також є більш передбачуваними та примітивними. Burstiness — це щось подібне, але на рівні речень та структури тексту. Оскільки мовні моделі передбачають найімовірніше наступне слово, вони, як правило, створюють речення середньої довжини (скажімо, 10–20 слів) і зі звичайною структурою. Ось чому їх тексти іноді здаються монотонними.Одразу кілька наукових груп вирішили перевірити ефективність ШІ-детекторів. У одному із досліджень було спеціально вибрано 50 статей, пов’язаних з реабілітацією, з чотирьох рецензованих журналів, а потім створено ще 50 статей за допомогою ChatGPT. Потім Wordtune використовувався для перефразування статей, згенерованих ChatGPT. Перевірялись шість популярних детекторів: Originality.ai, Turnitin, ZeroGPT, GPTZero, Content at Scale GPT-2 Output DetectorКрім того, було залучено чотирьох рецензентів (двох рецензентів-студентів і двох рецензентів-професорів), щоб відрізнити оригінальні статті від статей, перефразованих штучним інтелектом. В результаті Originality.ai правильно виявив 100% текстів, створених ChatGPT і перефразованих штучним інтелектом,
ZeroGPT точно виявив 96% створених ChatGPT і 88% статей, перефразованих штучним інтелектом. Turnitin також показав 0% неправильної класифікації для статей, написаних людьми, хоча він ідентифікував лише 30% статей, перефразованих штучним інтелектом.Що стосується людських здібностей то професори точно розрізнили принаймні 96% статей, перефразованих штучним інтелектом, але вони неправильно класифікували 12% статей, написаних людьми, як створені штучним інтелектом. При цьому студенти ідентифікували лише 76% статей, перефразованих ШІ. На жаль, так. Більшість ШІ-детекторів, хоч і рекламуються, як інструменти, що виявляють плагіат, насправді оперують «припущенням», що цей текст написаний штучним інтелектом. До того ж навіть точність у 99% (яка як ми бачимо є не у всіх сервісів) означає, що 1 зі 100 людей можуть звинуватити у використанні ШІ. І такі випадки вже трапляються — видання Gizmodo розповідає історії кількох фриланс-авторів, контракти яких було розірвано через інструмент перевірки на ШІ, хоча вони написали тексти самостійно та надавали докази. Теж саме трапилось з деякими студентами університетів.
До того ж деякі сервіси можуть дати вам результат на кшталт «70% оригінал» і «30% ШІ». Можна припустити, що це означає, що 30% статті було написано чат-ботом, особливо тому, що інструмент виділяє конкретні речення, які він вважає підозрілими. Однак насправді це показник впевненості — 70% впевненості, що текст написала людина.Насправді, ні. Представник Google для Gizmodo сказав, що в компанії немає проблем із контентом штучного інтелекту. «Некоректно говорити, що Google карає вебсайти лише тому, що вони можуть використовувати якийсь контент, створений штучним інтелектом», — сказав речник. «Як ми чітко заявили, малоцінний вміст, який створюється у великих масштабах для маніпулювання рейтингом у пошуку, є спамом, яким би чином він не створювався. Наші автоматизовані системи визначають, що з’являється в найпопулярніших результатах пошуку на основі сигналів, які вказують на корисність і якість вмісту».Простішими словами Google байдуже чи спам-тексти створили люди, чи машини. Якщо контент неякісний або спрямований на те, щоб штучно піднятись у пошуку, його занизять у видачі.
Більшість ШІ-детекторів — це платні сервіси. Однак, якщо у вас є необхідність визначити чи був цей текст написаний ШІ, можна спробувати визначити це самостійно. Хоча результат не буде точним. Оскільки чат-боти навчені шукати зв’язки між словами, вони, як правило, використовують певні слова та фрази частіше, ніж людина. Немає конкретного списку слів і фраз, які слугують сигнальними прапорцями, але якщо ви достатньо використовуєте такий інструмент, як ChatGPT, ви можете почати їх помічати.Наприклад, ChatGPT часто використовує слово «вникати» (dive in). Інструмент також любить виражати, як ідея «підкреслює» загальний аргумент (наприклад, «Цей досвід підкреслює важливість наполегливості...»), і як одна річ є «заповітом до" чогось іншого. Більше подібних підказок є на спеціальному розділі в Reddit. Незалежно від того, чи використовуєте ви модель GPT від OpenAI чи Gemini від Google, штучний інтелект має погану звичку використовувати надто пафосний стиль. Негативний наслідок не просто поганий, а «руйнівний», технологія завжди «революційна», а посередній телефон стає «сучасним смартфоном,
який поєднує стильний дизайн, потужні технічні можливості та доступну ціну» (хоча таким грішать і копірайтери). Жоден із цих прикладів окремо не є геть поганим, але якщо ви прочитаєте достатньо тексту зі штучним інтелектом, ви почнете відчувати, ніби ви спілкувалися з тезаурусом.Це стає ще помітнішим, коли чат-бот намагається використовувати невимушений тон. Наприклад, якщо бот видає себе за справжню людину, він часто буде виглядати як бурхливий, надмірний і надто захоплений.Модель GPT-4o від ChatGPT не робить це так часто, як раніше, віддаючи перевагу більш лаконічним відповідям на особисті запити, але чат-бот Meta AI все ще робить це, входячи в роль як найкращого друга та терапевта водночас. Якщо ви читаєте есе або статтю, у якій висловлюється аргумент, зверніть увагу на те, як «письменник» структурує свої думки. Штучний інтелект, ймовірно, створюватиме короткі абзаци, які пропонуватимуть аргументи на поверхневому рівні. Якщо ви відчуваєте, що пішли з твору, не дізнавшись взагалі нічого, можливо, це справа в роботі ШІ.Якщо ви бачите речення у 50 і більше слів,
будь певні, це майже ймовірно людина. Інструментам штучного інтелекту помітно бракує тих рис, яких ви очікуєте від тексту написаного людиною. Вони не використовують неформальну мову чи сленг, переважно не жартують (або роблять це не дуже вдало) та не посилаються на попкультуру. ШІ-контент не здатний встановити особистий зв’язок і рідко передає гумор співпереживання чи інші емоції, як це може зробити людське письмо. Шукайте емоції та особисті думки, які ШІ буде важко висловити переконливо. Будь-який створений ШІ-контент або перефразує чужий досвід, або надасть загальний огляд. Наприклад, коли ви читаєте огляд техніки, дуже ймовірно, що ви побачите особисту думку, враження чи вподобання автора, якщо він дійсно тестував гаджет сам. Є природно грамотні люди та, на щастя, літредактори, але більшості людей властиво помилятись. Тому, якщо ви бачите тексти з неправильною пунктуацією чи стилістикою, то це швидше писала людина, ніж машина.
