スイスのDisney ResearchとETH Zurichに所属する研究者らが発表した論文「Production-Ready Face Re-Aging for Visual Effects」は、映像中の顔のリ・エイジング（若くしたり老けさしたりすること）を手軽に行えるシステムを提案した研究報告である。シワが少なくなって若返った顔の頭部や表情が激しく動いても、同一性を損なうことなく若さを維持したまま自然な動きを見る物に知覚させる。

• keyboard_arrow_down 研究背景
• keyboard_arrow_down 研究過程
• keyboard_arrow_down 研究結果

映画作品や広告において、役者を老けさせたり若くしたりを施した人物の使用は、ここ数年で劇的に増加した。

昔ながらの手法では、職人が特殊メイクを行い、俳優を若くしたり老けさせたりしていた。当然ながら手間と時間がかかる上、技術的にも熟練した技を必要とする。

CGによるデジタル加工が行えるようになってからは、撮影した俳優に対して編集でフレーム毎に丁寧に手作業で加工していくタスクが使えるようになった。だがフレームが多い分、時間と労力が大量にかかってしまう上、加工するセンスも必要となる。例えば、俳優を老けさせる場合、各フレームでは、予想される耳や鼻の成長、筋肉の衰えや顔の皮膚のたるみ、ダイナミックなシワの追加、さらには皮膚の色素や血流の変化などを統合しなければならない。時間とセンスを必要とする作業である。

昨今では、深層学習を用いたデジタルリ・エイジング技術が発展してきており、良好な結果を示している。しかし、静止画像の正面顔のみであり、動画への適応はできていない。無理やり動く顔に適応すると、顔の特徴を必ずしも忠実に表現できないため、必然的にアイデンティティの喪失が見られる。

今回の研究ではこの課題に対し、ビデオ画像に直接適用可能で、1フレームあたりわずか5秒程度でリ・エイジングが可能な手法「Face Re-Aging Network」（FRAN）を提案する。動画に適応でき、さらに高速で加工が行えるという。

これまでの深層学習モデルを活用した手法では、映像中の実際の顔に適応することは困難だと先に述べたが、良い面もある。写実的で一貫した老化効果を持つ実在しない合成顔からなる豊富な大規模データセットを作成できることだ。このようなデータセットでは、顔は合成であっても、年齢を問わず一貫性を保つことが可能である。これにより、年齢のみが異なる、同じ人物と背景、同じ視点と照明、同じ表情のペア学習画像を得ることができる。

そして今回は、この合成されたペアのデータセットを活用し、顔のリ・エイジングを実用的な画像間変換タスクとしてU-Netアーキテクチャを教師ありで学習を行う。

学習したモデルは、18歳から85歳の範囲において、顔画像に自然になじむように肌の領域のデジタル処理が行われ、また自由な視点、奥行き、表情、頭部の動き、照明条件など、様々な状況下で撮影したビデオに対して、高解像度かつ時間的に安定したリ・エイジング結果を提供する。

出力結果は素晴らしく、その人のアイデンティティを残した老け顔や若返った顔が表現され、見た感じ合成されていると分からないほどである。また加工後に表情を激しく変えたり、首を振ったりしてもその精度は変わらず、老け顔や若返った顔の雰囲気のまま自然な動きが出力される。

Source and Image Credits: Gaspard Zoss, Prashanth Chandran, Eftychios Sifakis, Markus Gross, Paulo Gotardo, and Derek Bradley. Production-Ready Face Re-Aging for Visual Effects