Науковці з Університету Париж-Сіте провели дослідження, у якому провідні моделі штучного інтелекту виступали в ролі екзаменаторів у зворотних тестах Тюрінга. З’ясувалося, що алгоритми не здатні відрізнити відповіді людини від відповідей іншого ШІ.
Концепція славнозвісного «тесту Тюрінга», сформульована британським математиком Аланом Тюрінгом ще 1950 року як салонна «гра в імітацію», мала на меті перевірити, чи здатна людина визначити, хто перебуває по той бік екрана — інша людина чи машина.
Читайте також:
А як же таємниця голосування? Штучний інтелект отримав доступ до даних виборців США З розвитком технологій постало не менш важливе зворотне питання: чи здатні найбільші мовні моделі (БММ) ставити запитання й достовірно визначати, з ким вони спілкуються? Відповідь на це шукала група з чотирьох французьких науковців із відділу штучного інтелекту PITOR при Університеті Париж-Сіте. Свої результати вони опублікували у виданні Computers in Human Behavior Reports.
Під час експерименту дослідники використовували сім сучасних моделей штучного інтелекту (зокрема ChatGPT 4.
5, Claude 3.7 Sonnet, Gemini 2.5 Pro, Mistral Large 2.1, Grok 3, DeepSeek V3 та Llama 4 Maverick) як оцінювачів. Вони ставили до 10 запитань анонімним респондентам, серед яких було 20 добровольців і сім систем штучного інтелекту. Загалом було проведено 238 інтерактивних тестів, під час яких оцінювачі проаналізували 1714 запитань і відповідей.
Результати виявилися вражаючими: штучний інтелект продемонстрував повну неспроможність розпізнавати собі подібних. У 49 тестах із моделями, що отримали мінімальні інструкції, алгоритми-оцінювачі впізнали машини лише в трьох випадках. А коли ШІ-респонденти використовували структуровані підказки (з вимогами писати лаконічно та припускатися дрібних помилок), оцінювачі не змогли правильно класифікувати жоден алгоритм. Ба більше, штучний інтелект сприймав машинну відповідь як людську у 88% випадків, тоді як людську — лише у 78%.
Дослідники також з’ясували, що вирішальну роль відігравала довжина відповідей. Моделі, що отримували короткі підказки, генерували в середньому тексти обсягом 39 слів, що майже повністю збігалося із середнім показником реальних людей (38 слів). Крім того, респонденти зі штучним інтелектом виконували інструкції значно точніше й дисциплінованіше, виглядаючи при цьому природніше під час розмови.
Автори роботи доходять висновку, що сучасні системи перевірки тексту на основі штучного інтелекту наразі абсолютно непридатні для верифікації автентичності текстів у діалозі.
Читайте також:
З точністю 73%. ШІ допоміг передавати запахи через інтернет за допомогою носимих пристроїв
