Google работает над искусственным интеллектом – создателем видео

Google работает над искусственным интеллектом – создателем видео

На фото не «львица в чепчике», как можно подумать с первого взгляда, а результат работы нейросети от Google. Недавно компания подробно рассказала о своей работе над Imagen Video, системой искусственного интеллекта, которая может генерировать видеоклипы по текстовому описанию.

Пока результаты не идеальны — зацикленные клипы, генерируемые системой, содержат артефакты и шум. Однако компания считает, что их разработка — это шаг к системе с «высокой степенью управляемости» и знаниями о мире, включая способность генерировать клипы в самых различных стилях.

Как поясняет исследовательская группа Google, система берет текстовое описание и генерирует 16-кадровое видео с частотой три кадра в секунду и разрешением 24 на 48 пикселей. Затем система масштабирует и «предсказывает» дополнительные кадры, создавая окончательное видео из 128 кадров с частотой 24 кадра в секунду с разрешением 720p (1280×768).

Imagen Video обучался на 14 миллионах видео с текстовым описанием и 60 миллионах изображений, а также на общедоступном наборе данных изображения-текста LAION-400M. В ходе экспериментов они обнаружили, что алгоритм может создавать видеоролики в стиле картин Ван Гога и акварели. Кроме того, искусственный интеллект продемонстрировал понимание глубины и трехмерности пространства. Это позволило ему создавать видеоролики, подобные полетам дронов, которые вращаются вокруг и захватывают объекты под разными углами, не искажая их.

Важным улучшением по сравнению с доступными сегодня системами генерации изображений является то, что сервис может правильно отображать текст. В то время как Stable Diffusion и DALL-E 2 изо всех сил пытаются перевести текстовые выражения, такие как «логотип для (название бренда)», в читаемый текст, Imagen Video воспроизводит его без проблем.

Это не означает, что новый сервис не имеет ограничений. Клипы созданные с его помощью, местами искажаются и иногда смешиваются с другими довольно странными, физически невозможными и неестественными способами. Чтобы улучшить работу искусственного интеллекта, команда Imagen Video планирует объединить усилия с исследователями Phenaki, еще одной дебютировавшей системы для преобразования текста в видео, которая может превращать длинные подробные подсказки в двухминутные видеоролики, хотя и с более низким качеством.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

  • Онлайн-маркетинг: как продвигать бизнес в цифровой среде

    В современном мире присутствие бизнеса в интернете — уже не просто опция, а необходимость. Онлайн-маркетинг стал ключевым инструментом привлечения клиентов, формирования бренда и увеличения продаж. Причём речь идет не только об интернет-магазинах, но и о компаниях из традиционных сфер: медицине, образовании, строительстве и других. Сегодня мы разберем, что такое онлайн-маркетинг, какие его инструменты наиболее эффективны,…

  • Продвижение как двигатель роста: зачем вашему бизнесу нужна узнаваемость

    В современном мире, где конкуренция стремительно растёт, просто «быть хорошим» уже недостаточно. Даже самый качественный продукт или услуга останутся в тени, если о них никто не узнает. Именно поэтому продвижение стало неотъемлемой частью любой стратегии развития — от малого бизнеса до международных корпораций. В центре этого процесса стоит задача увеличения узнаваемости бренда, которая напрямую влияет…

  • Микрозаймы как двигатель роста экономики: роль и перспективы

    Современная экономика всё больше опирается на малое предпринимательство и гибкие финансовые инструменты. Одним из ключевых элементов этой системы стали микрозаймы — небольшие, краткосрочные кредиты, доступные как населению, так и представителям малого и среднего бизнеса. Однако, с ростом популярности микрозаймов увеличивается и количество предложений на рынке. Важно понимать, что не все микрофинансовые организации работают честно и…