Live Portrait - это инструмент искусственного интеллекта, способный превращать статичные фотографии в динамичные, выразительные анимации. Этот инструмент позволяет анимировать фотографии различных стилей и размеров, используя технологию сшивания.

Он позволяет генерировать на основе одной фотографии очень реалистичные выражения лица, плавные движения головы и точную синхронизацию губ. Также предлагаются возможности динамической анимации и редактирования лиц из видео в видео.

Контроль над анимацией открытости глаз и положения губ обеспечивает тонкий контроль над выражением лица. Технология, лежащая в основе Live Portrait, расширяет возможности системы на основе неявных ключевых точек, обеспечивая баланс между вычислительной эффективностью и управляемостью.

Это достигается за счет смешанной стратегии обучения изображений и видео, модернизированной архитектуры сети и улучшенных целей преобразования и оптимизации движений.

Также включены модули сшивки и ретаргетинга для улучшения управления. Основные области применения: само- или перекрестная реконструкция, портретная анимация по неподвижным изображениям, портретный видеомонтаж, управление ретаргетингом глаз и губ, а также анимация в различных стилях.

Live Portrait также может быть доработан для анимации животных. Инструмент был разработан совместно исследователями из Kuaishou Technology, Китайского университета науки и техники и Фуданьского университета.

Live Portrait можно получить и опробовать бесплатно, что может произвести революцию в создании портретной анимации.

🎨 Портретная анимация с помощью нейросетей