YouTube
360度エクイレクタングラー形式の2D写真や2D動画からAIでデプスを作りSBSの3D映像にリアルタイム変換表示するiOSアプリです。
iPhoneのモーションセンサーや、画面のタッチスクロールにより、自由に視点移動できます。また、ピンチズームにも対応しています。
USB-Cに接続したスマートグラスへの出力にも対応しましたが、スマートグラス側のモーションセンサ情報を取得できない為、スマートグラスを接続した場合も、iPhone側のモーションセンサやタッチスクロール、ピンチズームで視点移動やズーム操作を行って下さい。
スマートグラス等外部モニタへの接続の説明は、こちらのYoutube動画をご覧下さい。
アプリ内で、使用しているAIモデルの制約により、iOS17.0以降で、iPhone12Pro（A14）以降の機種でないと使用できませんのでご注意下さい。
このアプリは、次のような処理をiPhone内で行っています。
360度エクイレクタングラー形式の2D写真や2D動画→動画の場合は、エンコードによりフレーム画像抽出→平面投影（視点移動）→AIによるデプス生成→平面投影された画像とそのデプス画像により左右3D画像作成→Side-by-side画像作成→画面表示
ということで、iPhoneのGPUをフル活用して、物凄い計算を行っています。
なので、リアルタイムとは言っても、通常の全天球ビューワーと同じようにスムーズに動かす事は困難ですが、2D360映像が3Dで見られる事に価値を見出していただければと思います。
また、連続で使用すると、本体が熱くなってきますので、休ませてあげて下さい。
このアプリは、上述のように、iPhone上で、全天球画像から平面投影した画像を3D変換表示しています。このアプリで、3Dの全天球映像を作れるわけではありませんので、ご注意下さい。
使い方 （下記操作ボタン関係は、画面をタップする毎に表示／非表示が切り替わります。表示が邪魔な時は、非表示で、ご使用下さい。）
画面を長押しすると、その時の表示モードで表示画像が保存されます。
謝辞
今回のデプス生成用のAIは、「Depth-Anything-V2 Small」モデルを使わせていただきました。
このような有用なAIモデルを公開された方々に深く感謝致します。
Depth-Anything-V2
https://github.com/DepthAnything/Depth-Anything-V2
Apple Core ML Models
https://developer.apple.com/machine-learning/models/
このアプリに関するお問い合わせは、次のメールアドレスにお願いします stereopub@stereo.jpn.org