NVIDIA розробляє нову модель для генерації зображень Perfusion AI. Вона зможе створювати точніші зображення і матиме лише 100 KB

NVIDIA збирається створити більш точну систему для генерації зображень за допомогою ШІ. 

Зокрема, планує розповісти про результати своєї роботи під назвою Perfusion AI, яка має допомогти користувачам створювати саме той тип зображень, який вони мають на увазі. Результатами розроблення планують поділитися на SIGGRAPH, великій конференції з комп’ютерної графіки, яка відбудеться у Лос-Анджелесі з 6 по 10 серпня.

Що таке Perfusion AI від NVIDIA?

Більшість популярних генераторів зображень, як-от DALLE, Imagen або Midjourney, працюють за єдиним механізмом. Це так звані дифузійні моделі. Якщо спробувати пояснити принцип роботи двома словами, то алгоритму спершу показують мільйони зображень, повідомляючи, що на них (наприклад, собака). Згодом до них додають випадковий шум (пікселі, які заважають повністю зчитувати зображення). Однак під час навчання нейромережа стає здатною прибрати шум і домалювати потрібні деталі, а згодом створити зображення самостійно, отримавши лише текстовий запит. 

Розробка Nvidia базується на подібній моделі, але з додатковими механізмами для одночасного блокування або створення кількох «концепцій» у нових зображеннях. Окрім того, модель нібито матиме розмір лише 100 КБ. 

Коли можна буде протестувати генератор зображень Perfusion AI?

Поки що дослідники не оприлюднили код та результати своєї роботи. Відомо, що розробленням алгоритму NVIDIA займалась у співпраці з вченими з університету Тель-Авіва. На порталі arxiv з’явилась публікація «Key-Locked Rank One Editing for Text-to-Image Personalization», на якій базується Perfusion AI. Також white paper опублікувала команда Nvidia Graphics Research, де є кілька результатів роботи. 

Нагадаємо, що NVIDIA випустила графічний драйвер GeForce Game Ready Driver. У ньому компанія додала підтримку нової технології, яка покращує старі відео за допомогою ШІ.