Google презентовала мощную нейросеть Lumiere

Google представила Lumiere, "пространственно-временную модель распространения для реалистичной генерации видео", основанную на искусственном интеллекте. #нейросеть #Lumiere #Google

Как показывает практика, это, вероятно, самый мощный видеогенератор с искусственным интеллектом, создающий динамические изображения на основе текстовых описаний. Самым важным отличием Google Lumiere от существующего аналога является уникальная архитектура модели — видео за весь его период генерируется в 1 путь.

Другие модели работают по другому принципу: они генерируют несколько ключевых кадров и интерполируют их с течением времени, что затрудняет согласованность получаемого видео.

Например, вы можете конвертировать текст в видео, преобразовывать статические изображения в динамические, создавать видео в определенном стиле на основе образцов, редактировать существующие видео на основе письменных подсказок, анимировать определенные области статических изображений или редактировать видео по частям.Например, вы можете изменить предметы гардероба человека. "Мы обучаем модель T2V [преобразование текста в видео] с набором данных из 3000 миллионов видеороликов, включая текстовые описания. Длина видео составляет 80 кадров, а частота - 1 кадр в 16 секунд.

Базовая модель обучается с разрешением 128 x 128 пикселей", - пояснили в Google. На выходе получается 5-секундное видео с разрешением 1024×1024 пикселей. Google Lumiere, безусловно, не первый видеогенератор с искусственным интеллектом. Сама Google ранее демонстрировала модель Imagen video, которая производила видео с частотой 24 кадра в секунду и разрешением 1280 ×768 пикселей, но ее творение было гораздо скромнее.

Результаты таких проектов, как Meta Make-A-Video, Runway Gen2 и Stable Video Diffusion, были не очень реалистичными. Google понимает угрозу, исходящую от таких проектов."Основная цель этой работы - дать начинающим пользователям возможность гибко и творчески создавать визуальный контент.

Однако существует риск использования нашей технологии для незаконного [создания] поддельного или вредоносного контента, и мы считаем, что очень важно разработать и применять инструменты для выявления случаев предвзятого или злонамеренного использования для обеспечения безопасной и добросовестной работы [Модели]".