シネマティックビデオ/ポートレート写真の3D変換機能

iPhoneの標準写真アプリには、多くの機種に、ポートレートというモードがあり、このモードで撮影した写真は、後から、絞りやフォーカスポイントが変更でき、あたかも一眼レフで、絞りを開いて撮影したような対象物にのみフォーカスを当てて、後ろをぼかすような印象的な写真に仕上げる事ができる。さらに、これを動画でも実現したのが、iPhone13Pro以降のProモデルでサポートされたシネマティックモードである。シネマティックモードも、ポートレート写真同様、後編集で、シーン毎にフォーカスポイントを自由に設定編集出来るため、映画のような印象的な動画に仕上げる事が可能となった。
これらの機能を実現する為に、ポートレート写真やシネマティックビデオは、本来の映像とは別に、その映像の奥行情報を白黒の輝度値で表現したデプスマップ(上図)が埋め込まれている。
もちろん、標準の写真アプリや、サードパーティ製のアプリでも、このデプスマップを見る事はできない。
本アプリは、ポートレート写真やシネマティックビデオに埋め込まれているデプスマップを読み出し、2D映像と、デプスマップ（奥行情報）から3D映像をリアルタイムに変換表示できるようにした。
変換した3D映像は、各種3D形式への変換や、トリミング、左右位置調整、保存ができる。もちろん、空間ビデオ/写真として保存することも可能である。
なお、本アプリ（i3DMovieMaker)は、無料アプリであり、上述のデプスの読み出しや3D変換は、無料で試す事ができるが、動画の保存には、アプリ内課金が必要となる。一度課金すれば、その後はずっと全ての機能が使用可能となる。

シネマティックビデオは、撮影したiPhone以外に渡すのが難しく、確認できている範囲では、シネマティック対応機種同士で、AirDropもしくは、iCloud経由で送ったケース以外は、シネマティックビデオとして認識されなくなります。また、タイムクロップ等の編集を行っても、デプスを抽出できなくなります。
そこで、シネマティックビデオをRGB-D形式で、保存しておけば、編集も可能となり、また、シネマティック対応機種でなくとも、3D変換や、USB-CのiPadでも、Looking Glassに立体表示が可能となります。詳しくは、こちらのページをご覧ください。

注意
シネマティックビデオからデプス抽出の不具合

標準写真アプリでタイムトリミングして新規保存したビデオは、写真アプリでは、フォーカス編集できるが、APIでは、シネマティックビデオと認識されない。(i3DMovieMaker Ver1.93以降では、クラッシュせず、エラーメッセージを出すように修正）
標準写真アプリでタイムトリミングして編集保存したビデオは、編集を反映させると、シネマティックビデオと認識されない。
編集を反映させないで、オリジナルを使うとシネマティックビデオと認識される。(i3DMovieMakerは、こちらを採用）

参考にしたAppleのソースコードで作成した実行ファイルも、全く同じ挙動

ということで、i3DMovieMakerでシネマティックビデオを使用する場合は、そのiPhoneで撮影したオリジナルファイルをご使用下さい。

シネマティックビデオ/ポートレート写真の3D変換機能の使い方

1.標準カメラアプリのポートレートモードでポートレート写真、
シネマティックモードでシネマティックビデオが撮影できる。

2.本アプリ（i3DMovieMaker)を起動し、「File」ボタンを押す

3.メニューが表示されるので、「映像ファイルを開く」を選択する

4.アルバム一覧が表示される。
ポートレート写真は、「Portrait」アルバム、シネマティックビデオは、「Cinematic」アルバムに入る。
ここでは、「Cinematic」アルバムを選択

5.サムネイル画像の左下にシネマティックビデオマークが表示され、ビデオの長さ（秒）と解像度が表示される。
開きたいファイルを選択し、画面右上の「Done」を押す。

6.初期表示モード（Para)では、左側に2D映像、右側にデプスマップが表示されます。
画像下のスライダーで輝度調整できます。
ポートレート写真の場合は、自動で輝度調整するので、スライダーをさわる必要はありません。
シネマティックビデオも、最初のフレームで最適値に設定されるので、スライダーによる輝度調整は、ほとんど不要
だと思いますが、シーンによって黒つぶれ等が発生する場合は必要に応じて調整して下さい。

7.デプスマップの輝度調整が終わったら、スライダーの左にある「3Dボタン」を押すと、2D映像と、
デプスマップ（奥行情報）から3D映像をリアルタイムに変換表示します。
また、スライダーも、用途が変わり、3D映像の視差調整用のスライダーになります。
右に行くほど、視差が大きく立体感が増しますが、映像の破綻が目立ちますので、3.0％位がお勧めです。

8.あとは、通常の3D映像と同じように、編集や保存ができます。変換により、画像の端の映像が乱れますので、
適当にトリミング(Crop)してご使用下さい。

9.Fileメニューから「動画保存」を選択すると、動画の場合、下記の設定画面が表示されます。
保存動画の解像度を変更したい場合は、「動画をリサイズして保存する」をONにして、
保存動画の横幅をピクセル単位で指定します（縦は、元のアスペクト比から自動計算されます）
写真の場合は、設定画面は表示されず、オリジナルの解像度で保存されます。

10.Youtubeビデオ