Создание видеороликов с помощью Veo от Google DeepMind

Во время презентации Google 2024 I/O 14 мая они рассказали о последних обновлениях DeepMind, своего подразделения искусственного интеллекта. Одним из наиболее интересных достижений стала новейшая генеративная видеомодель Veo. Veo может создавать высококачественные видеоролики с разрешением 1080P на основе текста, изображений и видеоподсказок. Она даже позволяет редактировать созданные видео с последующими подсказками. Veo выводит генеративный ИИ на новый уровень. Давайте подробнее рассмотрим возможности Veo. 

Понимание возможностей Veo

Veo - это генеративная видеомодель, которая использует глубокое понимание языка и визуальных эффектов для создания видеороликов, точно соответствующих творческому видению пользователя. Она способна точно улавливать тон и детали длинных подсказок, что делает ее мощным инструментом для создателей, которые хотят превратить свои идеи в точный видеоконтент.

Пользователь может получить революционный творческий контроль над создаваемым видео, поскольку Veo понимает такие техники съемки, как "таймлапс" и "съемка пейзажа с воздуха". Благодаря такому творческому контролю пользователи могут создавать видео, в которых люди, животные и предметы движутся естественно. Видео, созданные Veo, увлекательны и визуально привлекательны, потому что трудно заметить, что они созданы моделью искусственного интеллекта.

Veo не ограничивается созданием видео по подсказкам. Если вы предоставите ранее созданное видео и конкретный запрос на редактирование, например, добавление байдарок в воздушный вид побережья, Veo может легко интегрировать это изменение в исходное видео, создав обновленную версию.

Вот еще несколько функций, которые предлагает Veo:

• Редактирование по маске: Veo поможет вам редактировать определенные области видео.
  ‍
• Создание видео по мотивам изображений: Используя изображение и текстовую подсказку, Veo может создавать видеоролики, которые повторяют стиль изображения и следуют указаниям подсказки.
  ‍
• Расширенные видеоклипы: Veo может создавать и продлевать видеоклипы до 60 секунд и более, как на основе одной подсказки, так и последовательности подсказок, которые вместе рассказывают историю.

Захватывающие видеоролики, созданные Veo

Давайте рассмотрим некоторые из видеороликов, созданных Veo, и объясним, почему они так захватывают дух. 

Создание видеоролика таймлапса на основе короткой текстовой подсказки - непростая задача. Как правило, короткая текстовая подсказка не может точно передать изменения и движения в сцене таймлапса. Поэтому удивительно, что Veo может понять, чего ожидать от таймлапса, не вдаваясь в подробности. 

‍

Аналогичным образом, создание видео с точной физикой - задача не из легких. ИИ-модель должна понимать и моделировать такие законы физики, как гравитация, импульс и столкновения, чтобы движения и взаимодействия выглядели реалистично. Впечатляет, что Veo способен точно моделировать эту динамику без подробных текстовых подсказок.

‍

До сих пор мы видели только короткие видеоролики, созданные искусственным интеллектом из-за вычислительных ограничений и сложности сохранения целостности в длинных последовательностях. На презентации Google 2024 I/O была показана поразительная способность Veo создавать более длинные и сложные видео.

‍

Как работает Veo?

Как и многие другие модели ИИ, Veo стоит на плечах гигантов. Она опирается на предыдущие разработки, такие как Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet и Lumiere, а также на собственную архитектуру Transformer и Gemini от Google. Кроме того, для улучшения способности Veo точно интерпретировать подсказки, титры к каждому видео в обучающем наборе данных были более подробными. 

Вот как работает Veo, основываясь на примерной модели рабочего процесса, которой поделилась компания Google:

• Вводные подсказки: Вы предоставляете текстовую подсказку и, по желанию, подсказку в виде изображения.
  ‍
• Кодирование: Текстовая подсказка обрабатывается кодировщиком UL2, а подсказка с изображением - кодировщиком изображений.
  ‍
• Встроенная подсказка: Выходы кодировщиков текста и изображения объединяются в единую встроенную подсказку.
  ‍
• Модель скрытой диффузии: Встроенная подсказка и шумное сжатое видео передаются в эту модель, которая генерирует сжатое видео на их основе. Veo использует высококачественные представления сжатого видео, известные как латенты, для повышения эффективности при сохранении качества.
  ‍
• Декодирование: На последнем этапе из сжатого видео декодируется выходное видео 1080p.

‍

Убедительное исследование в области кинематографа

Чтобы проверить возможности Veo, Google объединилась с режиссером Дональдом Гловером и его творческой студией Gilga. С помощью Veo они исследовали различные творческие приемы, в том числе динамичные кадры со слежением, которые требуют точного движения и последовательного кадрирования. 

‍

Традиционно кинематографисты сталкиваются с ограничениями, связанными с нехваткой времени и ресурсов. Благодаря Veo Гловер и его команда смогли быстро экспериментировать и генерировать сложные кадры, что, в свою очередь, обеспечило большую гибкость и инновации в процессе создания фильма.

С помощью Veo Гловер и его команда могли быстро экспериментировать и генерировать сложные кадры до начала съемок. Например, они могли протестировать различные динамические кадры с трекингом, чтобы увидеть, как они будут выглядеть, и внести необходимые коррективы. Этот процесс предварительной визуализации помог им доработать свои идеи и убедиться, что кадры будут работать так, как задумано, что в конечном итоге позволило сократить количество дублей, необходимых во время реальных съемок. Они смогли создать убедительный пример, демонстрирующий потенциал Veo в изменении киноиндустрии. Она предлагает более быстрый и эффективный способ воплощения творческих замыслов в жизнь.

Практическое применение Veo в различных отраслях промышленности 

Передовые возможности Veo по созданию видео находят практическое применение во многих отраслях. В рекламе она позволяет быстро создавать индивидуальные высококачественные рекламные ролики для целевой аудитории, экономя время и производственные затраты. В сфере образования Veo может создавать увлекательные обучающие видеоролики, облегчающие понимание сложных концепций. 

Предприятия могут использовать Veo для обучения и корпоративных коммуникаций. Специалисты в области здравоохранения могут использовать Veo для моделирования медицинских процедур в целях обучения. Что касается виртуальных мероприятий и конференций, Veo может создавать реалистичные симуляции площадок и сцен, предлагая посетителям увлекательный и интерактивный опыт из любого места. Организаторы выигрывают от расширения охвата и ценной информации для будущих мероприятий. Благодаря Veo открываются бесчисленные возможности.

Когда модель ИИ способна затронуть различные отрасли, важно помнить о безопасности и этичности ИИ. Чтобы обеспечить более широкое внедрение и ответственное использование, компания Google приняла ряд мер безопасности. Видеоролики, созданные Veo, помечены водяными знаками с помощью SynthID - инструмента для нанесения водяных знаков и идентификации контента, созданного искусственным интеллектом. SynthID обеспечивает прозрачность и помогает снизить риски, связанные с конфиденциальностью, авторскими правами и предвзятостью. Кроме того, все созданные видео проходят через фильтры безопасности и процессы проверки запоминания. Эти меры защиты делают Veo ценным и этичным инструментом, поддерживающим ответственное и инновационное видеопроизводство.

Где находится Veo

В ближайшие недели Google начнет предлагать некоторые из революционных функций Veo избранным создателям с помощью VideoFX - нового инструмента, доступного на сайте labs.google. Эта инициатива открывает ранний доступ к расширенным возможностям Veo по созданию видео, давая создателям возможность поэкспериментировать с его инновационными функциями. В настоящее время открыт список ожидания для Veo, приглашающий заинтересованных создателей зарегистрироваться и использовать мощные инструменты Veo в своих проектах.

Подробнее об обновлениях генеративного ИИ от DeepMind в 2024 году

Помимо Veo, DeepMind представила несколько передовых обновлений в области генеративного ИИ для 2024 года. Одно из этих обновлений - Imagen 3, самая совершенная модель преобразования текста в изображение. Imagen 3 отлично справляется с созданием фотореалистичных, реалистичных изображений. Он глубоко понимает подсказки естественного языка и улавливает мельчайшие детали, сводя к минимуму визуальные артефакты.

‍

DeepMind также разработала Lyria, свою самую продвинутую модель для создания музыки с помощью ИИ. В рамках этой работы DeepMind создала набор инструментов музыкального ИИ под названием Music AI Sandbox. Эти инструменты позволяют музыкантам и продюсерам исследовать новые творческие возможности в области музыкальной композиции и преобразования звука.

‍

Как и в случае с Veo, DeepMind приняла ряд мер безопасности и в отношении других своих обновлений. SynthID будет использоваться во всех этих обновлениях в качестве инструмента для нанесения водяных знаков и идентификации контента, созданного искусственным интеллектом. Эти обновления от DeepMind обещают изменить различные отрасли, предлагая передовые, эффективные и ответственные инструменты для создания высококачественного визуального и аудиоконтента.

Навигация по следующему этапу генеративного ИИ

Усовершенствования генеративного ИИ от DeepMind в 2024 году, включая Veo, Imagen 3 и Lyria, означают значительный скачок в развитии возможностей ИИ. Veo преобразует создание видео, позволяя генерировать высококачественные видеоролики в формате 1080p на основе простых подсказок, что делает его универсальным инструментом для режиссеров и создателей контента. Imagen 3 позволяет создавать фотореалистичные изображения, а Lyria открывает новые возможности в создании музыки с помощью передовых инструментов искусственного интеллекта.

Эти технологии обещают преобразить различные отрасли, предоставив эффективные и ответственные инструменты для создания высококачественного визуального и аудиоконтента. Благодаря таким мерам безопасности, как SynthID, обеспечивающим этичное использование, DeepMind продолжает расширять границы ИИ, прокладывая путь для инновационных приложений в будущем.

Погрузитесь в мир ИИ, посетив наш репозиторий GitHub и присоединившись к нашему сообществу. Изучите страницы наших решений, чтобы узнать, как ИИ применяется в производстве и сельском хозяйстве.