DeepMind, Технологічний інститут Джорджії, Microsoft та дослідники зі Стенфордського університету провели перше систематичне дослідження Design2Code — завдання з перетворення візуального дизайну в код. Результати вони розмістили на Github. “За останні роки генеративний ШІ стрімко прогресував, досягнувши унікальних можливостей у мультимодальному розумінні та генерації коду. Це дозволило створити абсолютно нову модель front-end розробки, де мультимодальні LLMs можуть безпосередньо перетворювати візуальний дизайн у кодову реалізацію, автоматизуючи таким чином процес front-end розробки” Автори створили бенчмарк із дизайну 484 реальних сайтів. Завдання моделі полягало в тому, щоб за допомогою скриншота сторінки створити код, який видавав би максимально схожу картинку під час рендерингу в браузері.“Ми розробили набір методів мультимодальних підказок і показали їхню ефективність на GPT-4V та Gemini Vision Pro. Ми також допрацьовуємо модель Design2Code-18B з відкритим вихідним кодом, яка успішно працює з Gemini Pro Vision” Людська оцінка та автоматичні метрики показали, що GPT-4V демонструє хороші результати у цьому завданні. Рецензенти вважають, що веб-сторінки, створені GPT-4V, можуть замінити вихідні веб-сторінки у 49% випадків з точки зору візуального вигляду та змісту. Також у 64% випадків веб-сторінки, створені GPT-4V, вважаються кращими за оригінал.“Наші метрики детального аналізу показують, що моделі з відкритим вихідним кодом здебільшого відстають у відтворенні візуальних елементів з вхідних веб-сторінок та у створенні правильних макетів, тоді як такі аспекти, як текстовий вміст та кольори, можна значно покращити за допомогою належного налаштування”
Читайте еще
