人の顔を入れ替えた映画で使える高解像動画が作れるディスニー・リサーチのニューラルフェイススワッピング技術
AI.
ディズニー・リサーチがチューリッヒ工科大学（ETH Zurich）と共同で発表した新しい論文で、写真やビデオの顔を入れ替えるための完全に自動化されたニューラルネットワークベースの方法について述べられている。研究者たちによれば、それはメガピクセルレベルの高解像度で最終結果を生み出す初の手法だという。現実世界の出来事だと視聴者を納得させるのに高解像度であることが鍵となる映画やテレビでの使用に、最終結果は適している可能性がある。
研究者はこの技術を使って、既存の俳優が演技している顔を置き換えることを考えている。例えば若返らせたり老化させたり、あるいは亡くなった俳優を描写したりするといった用途だ。彼らはまた、シーンによってはスタントマンの顔を置き換えることにも利用できると示唆している。
この新しい方法は、様々な点で既存の手法とは異なっている。例えば記録されたパフォーマンス中の顔を自由に入れ替えることで、必要に応じて比較的簡単に俳優のイメージを入れ替えることができる。また、俳優が実際にシーンと同じ条件の場所にいたように、合成ステップでコントラストと光の条件を調整することができる。
以下のビデオで成果を確認することができる（研究者が指摘しているように、静止画よりも動画の中の方が、はるかに優れた結果を得られている）。まだ「不気味な谷」の雰囲気が残っているものの、研究者たちはそれを認めた上で、これを「不気味の谷にうまく橋をかけてくれるフォトリアルフェイススワッピングへの大きな1歩」だという。基本的に、これまでの手法よりも「悪夢度」ははるかに少ない。特に他の手法で生成された動画と並べて比較してみると、それははっきりする。最も注目すべき点は、それがはるかに高い解像度で動作するということだ。これは実際のエンターテインメント業界採用されるための鍵である。
提示されている例は非常に小さなサンプルに過ぎないので、これがどれだけ広く適用できるかはまだ不明だ。例えば使用されている被写体は主に白いように見える。また特にビデオの場合、フェイススワッピング技術の使用は倫理的影響があるという懸念が常につきまとう。これは、実際には起こらなかった何かに対する、ビデオまたは写真の「証拠」を捏造するために使用できるからだ。
とはいえ、こうした技術が今や多方面から開発されていることを考えると、技術の研究と探究の倫理に対して議論する段階は基本的に過ぎている。その代わりに、ディズニー・リサーチのような組織が学術的な道筋をたどり、彼らの仕事の結果を共有することは歓迎される。そうすることで、悪意のある使用の可能性を懸念している他の人たちが、悪意のある利用者にフラグを立て、特定し、対抗する方法を決定できるからだ。
画像クレジット：Disney Research
［原文へ］
（翻訳：sako）
引用先はこちら：人の顔を入れ替えた映画で使える高解像動画が作れるディスニー・リサーチのニューラルフェイススワッピング技術
