Gen-1: новая модель преобразования видео с изменением стилизации
Её представил стартап, ранее разработавший популярную нейросеть Stable Diffusion.
Стартап Runway, ранее разработавший популярную нейросеть Stable Diffusion, представил новую модель преобразования видео.
Она способна генерировать новые ролики из существующих видео при помощи текстового описания и изображений с возможностью изменения стиля и композиции кадра:
Наша модель обучается на изображениях и видео, что также позволяет явно контролировать временную согласованность при помощи нового метода наведения. Наши эксперименты демонстрируют широкий спектр успехов: тонкий контроль над выходными характеристиками, настройка на основе нескольких эталонных изображений и предпочтение пользователей к результатам, полученным с помощью нашей модели.
Существует пять возможных режимов:
- Стилизация
- Раскадровка
- Маска
- Рендеринг
- Персонализация
Недавно известный режиссёр Карен Ченг протестировала этот инструмент и опубликовала свои результаты:
