Live Portrait - это инструмент искусственного интеллекта, способный превращать статичные фотографии в динамичные, выразительные анимации. Этот инструмент позволяет анимировать фотографии различных стилей и размеров, используя технологию сшивания.
Он позволяет генерировать на основе одной фотографии очень реалистичные выражения лица, плавные движения головы и точную синхронизацию губ. Также предлагаются возможности динамической анимации и редактирования лиц из видео в видео.
Контроль над анимацией открытости глаз и положения губ обеспечивает тонкий контроль над выражением лица. Технология, лежащая в основе Live Portrait, расширяет возможности системы на основе неявных ключевых точек, обеспечивая баланс между вычислительной эффективностью и управляемостью.
Это достигается за счет смешанной стратегии обучения изображений и видео, модернизированной архитектуры сети и улучшенных целей преобразования и оптимизации движений.
Также включены модули сшивки и ретаргетинга для улучшения управления. Основные области применения: само- или перекрестная реконструкция, портретная анимация по неподвижным изображениям, портретный видеомонтаж, управление ретаргетингом глаз и губ, а также анимация в различных стилях.
Live Portrait также может быть доработан для анимации животных. Инструмент был разработан совместно исследователями из Kuaishou Technology, Китайского университета науки и техники и Фуданьского университета.
Live Portrait можно получить и опробовать бесплатно, что может произвести революцию в создании портретной анимации.
Отзывы