Упс! Не вдала спроба:(
Будь ласка, спробуйте ще раз.

Змагання штучних інтелектів. Google представив нейромережу для генерації відео

Вадим Добровольський
Вадим Добровольський Редактор стрічки новин
6 жовтня 2022 2 хвилин читання

Лише кілька днів тому Meta представила свою нейромережу Make-To-Video, яка генерує відео за словесним описом, а тепер до цього сегменту приєднується компанія Google.

Нейромережа Imagen Video: особливості

Imagen Video здатна за словесними запитами генерувати відео з роздільною здатністю 1280 768 пікселів і частотою 24 кадри на секунду. Інструмент базується на алгоритмі Imagen, що є аналогом DALL-E 2 та Stable Diffusion. Генератор картинок використовує велику передбачену мовну нейромережу та каскадну дифузну модель.

 Зображення, згенеровані Imagen

Як пояснюють у Google, Imagen Video бере текстовий опис і створює 16-кадровий ролик із роздільною здатністю 24х48 пікселів і частотою 3 FPS. Потім система масштабує та передбачає додаткові зображення. В результаті алгоритм генерує 128-кадрову анімацію з роздільною здатністю 1280×768 пікселів та частотою 24 FPS.

Для навчання Imagen Video розробники використовували 14 млн пар «відео-опис» та 60 млн «зображення-текст», а також загальнодоступний набір даних LAION-400M, що дозволило моделі застосовувати низку естетичних аспектів.

У порівнянні з доступними сьогодні системами створення зображень Imagen Video також може належним чином відтворювати текст. У той час як і Stable Diffusion, і DALL-E 2 важко перекладають підказки на зразок «логотип для Diffusion» у читабельний шрифт, Imagen Video відтворює це без проблем.

Це не означає, що Imagen Video не має обмежень. Як і у випадку з Make-A-Video, навіть кліпи, вибрані з Imagen Video, тремтять і місцями спотворені.

Щоб покращити ситуацію, команда Imagen Video планує об'єднати зусилля з дослідниками Phenaki, ще однієї системи перетворення тексту у відео від Google, яка дебютувала сьогодні та може перетворювати довгі детальні підказки на двохвилинні відеоролики, хоча і з нижчою якістю.

 Раніше ми розповідали, що Google запускає Startup Academy для підтримки українських стартапів.

50 UAH 150 UAH 500 UAH 1000 UAH 3000 UAH 5000 UAH
0
Прокоментувати
Інші матеріали

Результати великого апдейту Google 2024: чому одні компанії не встояли, а інші – наростили трафік на гребні оновлення

Олексій Шаповал 18 хвилин тому

Lenovo збільшила доходи у четвертому кварталі на 9%, до $13,8 млрд

Вікторія Рудзінська 5 годин тому

OpenAI підписує угоду з News Corp для доступу до новинного контенту

Вікторія Рудзінська 10 годин тому

EasyJet впроваджує штучний інтелект для управління польотами

Вікторія Рудзінська 11 годин тому

Федеральна комісія зі зв’язку вимагає розкривати використання ШІ у політичній рекламі

Вікторія Рудзінська 11 годин тому