Джерело: Science Alert
Австралійські дослідники створили технологію на основі штучного інтелекту під назвою DeWave, яка може перетворювати беззвучні думки у текст.
Фахівці протестували процес читання думок на більше 20 піддослідних. Учасники читали мовчки, вдягнувши “спеціальну шапочку”, яка записувала їхні мозкові хвилі за допомогою електроенцефалограми (ЕЕГ) і розшифровувала їх у текст.
“Це дослідження — це новаторська спроба перекладу необроблених хвиль ЕЕГ безпосередньо в мову, ця подія знаменує собою значний прорив у цій галузі”, — прокоментував комп’ютерний науковець з Технологічного університету Сіднея Чін-Тенг Лін.
За словами вчених, DeWave досягнув близько 40% точності, що на 3% краще, ніж попередній стандарт перекладу думок із записів ЕЕГ. Мета дослідників полягає у підвищенні точності до 90%.
Зокрема технологія перетворює хвилі ЕЕГ на код, який потім можна зіставити з конкретними словами на основі того, наскільки вони близькі до записів у “книзі кодів” пристрою.
“Це перша програма, яка використовує методи дискретного кодування в процесі перекладу з мозку в текст,
впроваджуючи інноваційний підхід до нейронного декодування. Інтеграція з великими мовними моделями відкриває нові горизонти в нейронауках і ШІ”, — зауважив Лін.
Лін разом з командою використовували навчені мовні моделі, які включали комбінацію системи BERT з GPT. Вони протестували їх на наборах даних, які науковці отримали, відстежуючи рух очей і активність мозку під час читання тексту піддослідними.
Це допомогло системі навчитися співвідносити хвильові патерни мозку зі словами, після чого DeWave навчали далі за допомогою великої мовної моделі з відкритим вихідним кодом складає речення зі слів.
Цікаво, що найкраще DeWave впорався з розшифровкою дієслів. Іменники перекладалися, як правило, парами слів, які означали приблизно те саме, але не були точним перекладом. Наприклад, замість “автор” пристрій декодував слово “чоловік”.
За словами одного з авторів дослідження Ікуна Дуаня, така помилка відбувається через те, що семантично схожі слова можуть викликати схожі хвильові патерни в мозку.
“Попри труднощі, наша модель дає значущі результати, поєднуючи ключові слова і формуючи схожі структури речень”, — наголосив він.
- У лікарні Гронінгена (Нідерланди) залучили штучний інтелект, який відповідає на запитання пацієнтів.
- У Лондоні презентували вміння штучного інтелекту автономно укладати контракт з іншим ШІ без участі людини.
