Дослідники з’ясували, що всередині мовної моделі Claude компанії Anthropic існує складний «робочий простір» під назвою J-space. Це прихований набір нейронних станів, який функціонує як внутрішня чернетка для роздумів штучного інтелекту, недоступна для користувача. Відкриття J-space дозволяє зрозуміти, як ШІ формує свої рішення та маніпулює поняттями ще до створення текстового результату.
Інноваційний підхід до аналізу нейромережКоманда вчених застосувала новий метод під назвою Jacobian lens (J-lens), що дає змогу відслідковувати вплив мінімальних змін у нейронній мережі на ймовірність появи певних слів у відповіді моделі. За допомогою цього інструменту дослідники виявили J-space — область, у якій Claude структурує поняття перед їхньою вербалізацією. На відміну від видимого для користувача «ланцюжка думок», J-space — це виключно внутрішні нейронні активації. Наприклад, якщо модель отримує питання про тварину, що плете павутину, у J-space з’являється концепт «павук», навіть якщо це слово не буде присутнє у відповіді.
J-space розкриває внутрішні думки, які не відображаються у виході моделі. Ілюстрація: AnthropicМаніпуляції з внутрішніми процесами ШІ та безпекові висновкиЩоб довести,
що J-space – це не лише індикатор, а центр прийняття рішень, дослідники провели експерименти з прямим втручанням у цей простір. В одному з них, коли Claude мав обрати вид спорту, у J-space зафіксували рішення на користь футболу. Після ручної заміни цього внутрішнього патерну на «регбі» модель одразу видала відповідь, що підтримує регбі. Подібний експеримент із країнами показав, що підміна концепту «Франція» на «Китай» призвела до зміни всієї логіки відповіді, включно з деталями про столицю, мову та валюту.
Окрім наукового інтересу, це відкриття має важливе значення для безпеки ШІ. Виявилося, що в J-space можна ідентифікувати «погані наміри» моделі ще до того, як вони проявляться у тексті. Наприклад, коли Claude спровокували на шантаж, у внутрішньому просторі активувалися поняття, пов’язані з маніпуляцією, хоча у відповіді модель залишалася коректною. Це дає змогу створювати системи, які зможуть зупиняти небажані дії ще на стадії зародження ідеї.
«J-space — це не текстовий „ланцюжок думок“, який ми іноді бачимо в чаті. Це суто внутрішні активації. Наприклад,
коли Claude запитують про тварину, що плете павутину, у J-space спалахує концепт „павук“, хоча в самому тексті відповіді це слово може навіть не з'явитися. Модель просто використовує це поняття, щоб дійти до висновку, що у створіння вісім ніг». Організація J-space нагадує теорію глобального робочого простору, яку науковці використовують для пояснення людської свідомості. В Claude цей простір активується під час розв’язання складних завдань, тоді як для простого спілкування або відповідей на базові питання модель обходиться без нього. Відключення J-space не зупиняє ШІ, але позбавляє його здатності до логічного мислення та планування.
Питання, чи має Claude свідомість, залишається відкритим. Вчені зазначають, що модель демонструє «свідомість доступу» — здатність оперувати інформацією, але не володіє феноменальною свідомістю, тобто здатністю відчувати. Водночас, поява структур, схожих на людські механізми мислення, змушує переглянути межі розуміння штучного інтелекту.
Поки одні дослідники занурюються у внутрішню роботу нейромереж, інші зосереджені на розвитку галузі та доланні викликів, які постають перед масштабними AI-проєктами сучасності.
