Новий смартфон iPhone 17 Pro продемонстрував несподівані можливості у сфері штучного інтелекту. Пристрій зміг локально запустити велику мовну модель на 400 мільярдів параметрів. Зазвичай для завантаження та роботи нейромереж такого масштабу потрібно понад 200 ГБ оперативної пам’яті, тоді як флагман Apple оснащений лише 12 ГБ ОЗП. Про це пише видання Gizmochina.
Як це працює та які існують обмеженняЗапуск масивної ШІ-моделі став можливим завдяки використанню відкритого проєкту Flash-MoE. Система обходить апаратні обмеження смартфона за допомогою кількох технічних рішень. Замість повного завантаження в оперативну пам’ять, необхідні фрагменти даних динамічно підтягуються з внутрішнього накопичувача в міру потреби.
Проте цей технологічний експеримент супроводжується низкою суттєвих компромісів:
- Низька швидкість: продуктивність моделі становить близько 0,6 токена на секунду, що означає очікування генерації одного слова протягом кількох секунд.
- Архітектурна залежність: процес можливий лише завдяки підходу Mixture of Experts (суміш експертів), за якого в конкретний момент часу активна лише невелика частина параметрів.
- Енергоспоживання: подібне екстремальне обчислювальне навантаження неминуче призводить до прискореного розряджання акумулятора.
Читайте також:
Запис iPhone 17 Pro локально запустив ШІ-модель на 400 мільярдів параметрів спершу з'явиться на ProstoMob.