6/4(日)にNHK技研公開に行きました。
展示内容はかなり詳細な内容を以下で確認できます。
この記事では感想や自分の解釈をつらつらと書いていこうと思います。
ボリュメトリック（3次元動画撮影）のあれこれ
2022に印象的だった展示の一つに「メタスタジオによる3次元情報取得」があります。
ざっくり言うと、撮影したい人や物を360度カメラで取り囲むような撮影スタジオを作って、撮影対象を3D映像データにしてしまうという話です。メリットとしては、カメラアングルを編集時に自由に決定できることや、提供方法次第ではユーザに自由に視点を変更させることも出来ます。体験したことがある人はVRライブとかをイメージしてもらうと近いイメージで、それを実写映像でも実現できるというわけです。
で、2023ではどういうアップデートがあるかというと、大きく分けて以下の２つです。
3次元空間オーサリングツール
3D映像データを作ったとしてもちゃんとコンテンツとして提供するには専用の編集ソフトがいる、という話です。3D空間内にオブジェクトを配置したり、ユーザが動ける範囲やデフォルトの視点の位置などを設定するイメージですね。コンテンツをVRとして体験する人もいれば、普通に映像として体験する人もいるのでその辺りへの対応も一括でやるつもりなようです。
3次元空間の撮影位置自動選択技術
3Dモデルを閲覧するときのベストなカメラアングルを人間が手動で決めていくのは大変なので機械にやらせようという話です。詳細はリンクを見てもらったほうが良いですが、良いアングルを計算で機械的に求めるというアプローチ自体がなかなかユニークで面白いと感じました。
AIのあれこれ
自分みたいにAI関連を日常的に漁ってると正直あまり目新しさを感じませんが、NHKもきちんとAI関連技術を研究して実用段階まで持っていくつもりなようです。
シーン適応型イメージング技術
個人的に一番面白いと思ったのはこれです。撮影の時点で画面を272(16*17)に分割して、そこに映ってる被写体にあわせてカメラのモードを部分的に変えるという技術です。自分も360度カメラをよく使うので分かるんですが、360度カメラは問答無用で360度全体を写真に収めるので撮影範囲の取捨選択が非常に難しいです。例えば、撮影範囲の中に暗いものと明るいものが同時に存在すると全然いい感じに撮れなかったりします。そういった問題にわりと力技で対応していて、実用レベルになるのが待ち遠しいです。
ということで、NHK技研公開の私的なまとめでした。毎年ちょっとずつ進歩があったり、世の中の流れみたいなのを感じられるよいイベントでした。
