使徒がそこにいるような、空と調和した巨大ARオブジェが出現　スマートフォンアプリ「Fakeye」、ベトナム研究チームが開発：Innovative Tech

[山下裕毅，ITmedia]

　ベトナム国家大学ホーチミン市校が開発した「Fakeye」は、空にARオブジェクトを表示する機械学習ベースのモバイルアプリだ。 実際の空の風景と調和したARオブジェクトを表示する。

　空と調和したAR表現を実現するには、手前にある物体が背後にあるARオブジェクトを隠して見えないようにするオクルージョン（隠蔽）を正確に行う必要がある。今回の手法では、機械学習のロジスティック回帰モデルを用いて、空のセグメンテーションを計算している。

　また、空を完全に置き換えるのではなく、リアルとバーチャルのシーンを混合したテクスチャブレンディングを行い、空の質感を維持した表現にしている。例えば、雲の後ろにARオブジェクトを配置する場合、完全に見えなくするのではなく、部分によっては適切な透明度を設定することで物体が雲から薄く透けて見える表現になっている。

　さらに、オクルージョンやテクスチャブレンディングとは別に、ARオブジェクトが遠くにあるように見せるために、カメラを動かしても遠くで静止しているような錯覚を起こさせている。スマートフォンに内蔵されているジャイロスコープから回転運動を検出し、物理カメラとバーチャルカメラの空間知覚を対応させ、バーチャルカメラの視野角も物理カメラと同じにすることで実現している。

　これらの結果、あたかも巨大オブジェクトが遠くの空に鎮座しているような表現を作り出す。リアルタイムに更新されるため、閲覧しているユーザーが動いても、世界観を壊さずに表示し続けることが可能だ。