У Китаї створили нейромережу в 10 разів могутніше найбільш «просунутої» нейромережі GPT-3.
Фахівці Пекінської академії штучного інтелекту оголосили про створення генеративної нейронної мережі глибокого навчання Wu Dao 2.0 з рекордними властивостями. Її потужність набагато більша, ніж у найближчих конкурентів - Open AI GPT-3 і Google Switch Transformers.
Перевага нової нейромережі - це потужність. Вона вимірюється в кількості параметрів навчання: тобто це число факторів, які нейромережа може використовувати в процесі своєї роботи.
Нейромережа Open AI GPT-3 використовує 175 мільярдів параметрів - така потужність дозволяє їй генерувати осмислені тексти, створювати музику і програмний код.
Кількість параметрів Wu Dao 2.0 перевищує 1,75 трильйона - вона в 10 разів могутніше, ніж GPT-3.
Нова розробка може виконувати різні функції, вона:
пише есе,
вірші і двовірші на традиційній китайській мові,
розпізнає зображення і генерує їх за словесним описом,
імітує мову,
створює кулінарні рецепти,
пророкує тривимірну структуру білків.
Під час навчання нейромережі розробники використовували майже 5 ТБ зображення і текстів, включаючи 1,2 ТБ текстів китайською та англійською мовами.
Натхнення: hightech.fm
