Анимация старых фотографий: как работают технологии оживления

От статичного снимка к живому видео: общая схема

На первый взгляд кажется магией: загружаешь чёрно-белое фото 1960 года, а получаешь видео, где человек моргает и чуть поворачивает голову. На самом деле это цепочка нескольких взаимосвязанных нейросетевых процессов.

Этап 1: Детекция и разметка лица

Сначала алгоритм находит лицо на фотографии и ставит так называемые «ключевые точки» — landmarks. Это 68–478 точек, описывающих контуры глаз, бровей, носа, губ и овала лица. По этим точкам строится геометрическая карта лица.

Этап 2: 3D-реконструкция

На основе 2D-ключевых точек нейросеть восстанавливает приблизительную 3D-форму головы — как скульптуру из точек в пространстве. Это необходимо, чтобы при повороте головы уши «уходили» за голову, а нос давал правильную тень.

Этап 3: Генерация движения

Система берёт библиотеку базовых движений — моргание, дыхание, микропокачивания головой — и проецирует их на конкретную 3D-модель лица. Движения намеренно делаются мягкими и минималистичными, чтобы не создавать эффект «зловещей долины».

Этап 4: Рендеринг финального видео

Анимированные 3D-движения переносятся обратно на оригинальный 2D-снимок через технику face reenactment. Итоговые кадры объединяются в MP4-видео длиной 5 или 10 секунд.

Почему это выглядит реалистично?

Реалистичность достигается за счёт трёх факторов: физической корректности движений (правильная скорость моргания — 150–400 мс), соответствия освещения оригинальному снимку и незначительности самих движений — мозг воспринимает небольшие, естественные движения как «живые».

Ограничения технологии

• Плохо работает с профильными снимками (лицо повёрнуто более чем на 45°)
• Сложно обработать фото с закрытыми глазами
• Маски, солнечные очки и другие предметы, скрывающие черты лица, снижают качество

Попробуйте технологию сами: Оживить фото →