Упс! Не вдала спроба:(
Будь ласка, спробуйте ще раз.

Коли мовні моделі ШІ замінять фронтенд-розробників — дослідження Design2Code

Юлія Мирська
Юлія Мирська
6 березня 2024 2 хвилин читання

DeepMind, Технологічний інститут Джорджії, Microsoft та дослідники зі Стенфордського університету провели перше систематичне дослідження Design2Code — завдання з перетворення візуального дизайну в код. Результати вони розмістили на Github. 

За останні роки генеративний ШІ стрімко прогресував, досягнувши унікальних можливостей у мультимодальному розумінні та генерації коду. Це дозволило створити абсолютно нову модель front-end розробки, де мультимодальні LLMs можуть безпосередньо перетворювати візуальний дизайн у кодову реалізацію, автоматизуючи таким чином процес front-end розробки.
автори дослідження

Автори створили бенчмарк із дизайну 484 реальних сайтів. Завдання моделі полягало в тому, щоб за допомогою скриншота сторінки створити код, який видавав би максимально схожу картинку під час рендерингу в браузері.

Підписуйтеся на наші соцмережі

Коли мовні моделі ШІ замінять фронтенд-розробників — дослідження Design2Code Коли мовні моделі ШІ замінять фронтенд-розробників — дослідження Design2Code
Ми розробили набір методів мультимодальних підказок і показали їхню ефективність на GPT-4V та Gemini Vision Pro. Ми також допрацьовуємо модель Design2Code-18B з відкритим вихідним кодом, яка успішно працює з Gemini Pro Vision. 
автори дослідження

Людська оцінка та автоматичні метрики показали, що GPT-4V демонструє хороші результати у цьому завданні. Рецензенти вважають, що вебсторінки, створені GPT-4V, можуть замінити вихідні вебсторінки у 49% випадків з точки зору візуального вигляду та змісту. Також у 64% випадків вебсторінки, створені GPT-4V, вважаються кращими за оригінал.

Чи зможуть великі мовні моделі замінити frontend розробників - дослідження
Чи зможуть великі мовні моделі замінити frontend розробників - дослідження
Наші метрики детального аналізу показують, що моделі з відкритим вихідним кодом здебільшого відстають у відтворенні візуальних елементів з вхідних веб-сторінок та у створенні правильних макетів, тоді як такі аспекти, як текстовий вміст та кольори, можна значно покращити за допомогою належного налаштування.
автори дослідження

Підписуйтеся на наші соцмережі

0
Прокоментувати
Інші матеріали

600 млн кібератак щодня: як зросли загрози у кіберсекторі за рік

Павло Бартос 6 грудня 2024 13:55

Sony розробляє компактну консоль, щоб конкурувати із PS5

Вікторія Рудзінська 25 листопада 2024 11:30

Економічні втрати бізнесу через використання російського програмного забезпечення: хто платить?

Дмитро Попінако 25 листопада 2024 10:11

Fable 4: повернення легенди та перші враження від альфа-версії

Павло Бартос 20 листопада 2024 16:09

Xbox планує випустити ігрову портативну консоль: коли чекати

Владислав Паливода 15 листопада 2024 08:08