С недавним анонсом своих инструментов Gen-3 Alpha компания Runway собирается вывести создание видео с использованием ИИ на новый уровень. К концу этого руководства вы будете иметь четкое представление о том, как использовать инструмент синхронизации губ от Runway, и сможете решить, является ли он правильным решением для ваших нужд в создании видео.
Являясь одним из первых разработчиков новаторской платформы создания изображений Stable Diffusion, Runway привносит богатый опыт во все аспекты создания изображений и видео с помощью искусственного интеллекта. Одной из наиболее доступных и популярных функций Runway является инструмент синхронизации звука и видео. Эта технология позволяет пользователям создавать реалистичные видеоролики с говорящей головой, сопоставляя движения губ с аудиовходом. Независимо от того, являетесь ли вы создателем контента, преподавателем или бизнес-профессионалом, этот инструмент предлагает ряд приложений для улучшения ваших видеопроектов.
1. Войдите в систему
(Изображение: © Будущее)
Авторизоваться ВПП. Если вы впервые используете платформу ИИ, вы можете зарегистрироваться, используя свою учетную запись Gmail.
2. Навигация по интерфейсу
(Изображение: © Будущее)
Функция видеосинхронизации губ находится в меню аудио на панели управления учетной записью Runway. а также 3D-инструменты и генерация изображений и видео. Выберите предпочитаемый голос из вариантов.
Что приятно в пользовательском интерфейсе, так это обилие обучающих материалов на каждом этапе, что обнадеживает новичков, которые только начинают свой путь в сфере медиа на основе искусственного интеллекта.
3. Введите приглашение
(Изображение: © Future)
Сама страница синхронизации губ очень проста и удобна в использовании. В левом верхнем углу находится место для ввода данных пользователем. Это может быть сделано с помощью текстового приглашения, загруженного аудиофайла или инструмента для записи звука «на лету».
Если вы перейдете на тарифный план Pro за 35 долларов в месяц, вы даже сможете записать свой собственный голос для использования с аватаром.
4. Выберите свой голос
(Изображение: © Будущее)
Я решил загрузить созданный ранее аватар, сгенерированный искусственным интеллектом, и объединить его с коротким сценарием, чтобы проверить точность движений губ.
На выбор предлагается широкий выбор голосов, что, вероятно, отражает историю тесного сотрудничества Runway с киноиндустрией, так что каждый найдет что-то для себя.
5. Создайте свое видео
(Изображение: © Будущее)
После того, как вы закончили прослушивание и выбор голосов, это всего лишь вопрос загрузив сценарий (или предварительно записанный аудиоклип) и нажав кнопку «Сгенерировать».
Бесплатный план генерирует запросы медленнее, чем платные планы, поэтому вам придется подождать несколько минут в очереди, прежде чем ваш запрос будет обработан. Весь процесс занимает около 3-4 минут в зависимости от продолжительности видео и нагрузки на сервер в данный момент.
6. Понимание использования кредита
(Изображение: © Future)
Функция преобразования текста в речь использует 1 кредит за каждые 50 текстовых символов, преобразованных в речь, а синхронизация губ потребляет 5 кредитов за 1 секунду звука.
Общее видео объединяет обе стоимости, что фактически означает, что мое 38-секундное видео использовало около 250 кредитов. Каждый кредит стоит $0.01 USD. Пользователи стандартного плана получают 625 кредитов каждый месяц за свою подписку стоимостью $15.
Результаты…
Перейдите к 3.25, чтобы посмотреть финальную версию ниже.
После завершения генерации видео вы можете просмотреть результаты в правой части веб-страницы. Бесплатные пользователи имеют водяной знак, прикрепленный к каждому видео, но, по крайней мере, он не слишком уродлив.
Результаты видео также очень хороши, даже с использованием загруженного изображения, что меня удивило. Губы двигаются точно во время речи, и даже есть некоторые движения лица, которые соответствуют.
Общий эффект не идеален, все еще есть немного «зловещей долины» в действии, но это очень хорошо для общих бизнес-нужд. Есть несколько опций, доступных после создания видео, включая загрузку, повторную генерацию, редактирование сценария и другие элементы.
Это быстрый и безболезненный процесс, а результаты действительно первоклассные, как и следовало ожидать от компании с таким опытом.
Runway и Pika Labs, еще один известный игрок в области генерации видео с помощью ИИ, во многом схожи. Фактически, у Pika Labs есть похожая функция синхронизации губ, которая также использует естественно звучащие голоса из ElevenLabs. Существует множество генераторов видео с помощью ИИ, и лучшие из них дают впечатляющие результаты.
Лучшие предложения Chromebook на сегодня
2024-07-01 04:02:05
1719808392
#Как #синхронизировать #губы #Runway
