|
■感覚器に刺激を与えて現実同様の感覚を生じさせる
VR（Virtual Realty：仮想現実）とは、物理的には存在しないものを、感覚的に本物と同等の本質を感じさせる技術のことです。最も簡単なのは感覚器に刺激を与える方法です。例えば視覚器（目）の場合、皆さんが外界を見るのと同じ感覚を与えるということです。私たちは能動的に動くことができるので、絵を見ても、頭を動かしたり両目でよく見たりすると、それが本物ではなく平面に描かれた絵だということが分かります。しかし映画の中の遠景は、本物とCGや絵との区別がつきません。それはカメラがとらえた１視点からしか見ていないからです。
VRでも、人間の行動を制約すると本物のように見えます。だまし絵などは、人間の三次元を復元する能力を利用しています。これをより正確に行うには、視覚器に刺激を与えると同時に、動いたときの刺激の変化を再現します。頭を動かすと違う方向の映像が見えるというのは、HMD（ヘッドマウントディスプレイ）で実現されています。
視覚のVRは、VR元年といわれるように、2016年はソニーの「Play Station VR」、パソコン用の「Oculus Rif（t オキュラスリフト）」（VRヘッドセット）や「HTC VIVE」が発売され、実用化のレベルに達してきました。聴覚的にもヘッドホンを使うといろいろなことができます。難しいのは嗅覚、触覚、味覚などです。他に平衡感覚、空腹感、吐き気といったものもあります。
まず人の状態を計測し、それに対して刺激を生成して提示します。視覚なら、その人がどちらを見ているかを計測し、その方向から見た映像を生成して、何らかのディスプレイ装置を使って提示します。それを人が見て知覚し、違う方向を見るなどの反応を示したら、またそれに対して状態を計測し、刺激を提示する、これの繰り返しがVR生成のサイクルです（図1）。
しかし計測には、センシング装置にもよりますが、時間がかかります。刺激を生成する（コンピュータグラフィックをつくる）のにも、計算機による計算時間が生じるし、それをディスプレイに表示するにもやはり時間がかかるわけです。こうしたタイムラグが人間の感覚でも分かる「遅れ」になってしまうと、自分が固定されている感覚がなくなるため、いわゆる「VR酔い」を引き起こします。
■VR・ARの変遷
もともとは1958年、初めてHMDが提案されました。このときはまだ実現していません。1965年には最初のHMDがつくられました。これが初期のVRの動きです。1989年にNASAが船外活動をVRで行うためHMDが再び研究され、初の商用VRシステムが発売されました。このとき「バーチャルリアリティ」という言葉ができました。同年、筑波大学の岩田洋夫教授（VR学会会長）が「フォースディスプレイ」という国内初の力覚ディスプレイを開発しました。1991年にはイリノイ大学が立方体型ディスプレイ「CAVE」を開発しました。
基本的なVRの概念はこの頃にかなり研究されましたが、問題はディスプレイの解像度が非常に低いことでした。しかしスマートフォンができて以降、5インチ程度の高解像な液晶が大量に生産されるようになったため、それをHMDに使えるようになりました。
それでも、当時の液晶ディスプレイはまだコントラストが不十分でした。今の「Oculus Rift」や「HTC VIVE」は有機ELディスプレイ（高速応答でクリアな表現が可能な次世代パネル）を使っており、自ら発光するので“真っ黒”を出すことができ、リアリティが上がっています。2000年代は「PlayStation2」「ニンテンドーゲームキューブ」「Xbox」など、GPUと呼ばれる、高速に3次元のグラフィックが描画できる描画専用プロセッサを使ったゲームが多く出ました。そして2016年、「ポケモンGO」が出てAR（拡張現実）が広く知られるようになりました。
■VR実用化のためのインフラが整備されるまで
トロント大学のP. Milgram教授の論文によると、実際には実環境（リアルな環境）から完全なVR環境までの間には連続性があります。実環境の一部をコンピュータの映像で拡張しているのが、いわゆるAR（Augmented Reality：拡張現実）。反対に、ほとんどがコンピュータでつくられている環境の中に現実のものを入れたのがAV（AugmentedVirtuality：拡張VR）。完全な実環境から完全なVR環境まで全てを含む環境が、いわゆるMR（Mixed Reality：複合現実）の考え方です（図2）。
全ての考え方は90年代にすでにあったにも関わらず、開発に時間がかかったのは、いろいろな理由があります。例えば3Dプリンターが最近急激に普及したのは、特許が切れて誰でも生産・販売できるようになったからです。
VRの場合は、センシングのサイクルが遅くてなかなか使い物になりませんでした。VRの研究者は、視覚刺激を遅らせて見せる実験も行いましたが、5分と見ていられないものでした。それが改善されてきたのは、技術が進んでセンシングが速くなってきたからです。
刺激の生成もCPU、GPUで速くなり、ディスプレイも有機ELのように高解像度のものが登場、通信も速くなりました。こうしたインフラが整備されるまでに時間がかかったのです。カメラの進歩もありました。90年代はCCDカメラがメインでしたが、今はいろいろな使い方ができるCMOS（シーモス）カメラが主流です。
皆さんにはこれからデモをご覧いただきます。一つは梅田地下街の経路探索実験で、浸水したときなどにどうやって逃げるかという避難シミュレーションです。法令に従った速度で避難すべき場所に向かって歩いたときに、どんな渋滞が発生するか、そして定められた時間内に逃げられるか、シミュレーションするものです。もう一つは、パリの郊外にある、建築家のル・コルビジェによるサヴォア邸という建物をCGで再現したものです。見ている人が立っているところから視点追従をして、建物の内外が見られるようになっています。
【来場者の多くがHMDを装着してデモンストレーションを体験】
これは大学だけで使っているのではないので、申し込めば皆さんの会社でも使うことができるオープンなサービスです。
■ARにおける映像合成について
T.Azumaが論文で定義したARの3要件というものがあります（図3）。①リアル＋バーチャルつまり合成写真、②リアルタイムつまり2次元GU（I グラフィカルユーザーインタフェース）、③3Dコンテンツつまり3次元CGソフトのことです。①と②を合わせればウェアラブルコンピュータ、②と③ならVR、①と③なら映画やテレビ、CM、そして3要件全て合わさるとARやMRになるという考え方です。しかし、それぞれに解決すべき問題があります。
ARにおける映像合成は、例えば網膜への直接投影、接眼光学系によるHMD、あるいはハンドヘルドディスプレイ（手で保持するもの）やハーフミラーを用いた据置型ディスプレイなど数種類あります。プロジェクションマッピングのように、プロジェクタを使って物体の上に情報を投影するものもあります（図4）。
各映像合成手法に特徴があり、有利な点や不利な点もあります（図5）。HMDは環境によらず映像を提示でき、屋外や多人数に向いています。例えばコンピュータに、建物の中の配管の位置データが全て入っていると、それに接続したHMDやハンドヘルドによって、壁の裏にある配管を見ることができます。
しかしHMDは、軽くなったとはいえ、普段メガネをかけていない人にとっては、装着するとかなり違和感があります。「Google Glass」の販売が中止になってしまったのは、メガネだけではなくカメラもついており、いろいろ問題があったのでしょう。結局「Google Glass2」という形で、日常的なものではなく、特殊な仕事のときにかけるものとして復活するようです。
ハンドヘルドは、カメラがついたスマートフォンのような機械で撮影してCG画像を合わせる、「ポケモンGO」のような方式です。立体視やハンズフリーができないという問題もあります。ハンドヘルド型は、現在東京大学教授の暦本教授が1995年に「Navi Cam」をつくったり、奈良先端大学院大学の加藤教授が1999年に「AR Tool Kit」を開発したりしています。
HMDもさまざまな試行錯誤をくり返しています（図6）。1995年にはすでに「I/O Glasses」が、コンシューマー対応のHMD兼オプティカルシースルーHMDとして発売されていました。小さな液晶テレビを見ているのと同等で、画角がせまく解像度も低いので、かぶって見るメリットがありません。このレベルではまだまだですが、AR用途、つまり現実の世界が見えていてその中に情報を提示するなら何とかなるだろうと考えられました。
そこからいろいろと変遷し、欠点も改善され、今ようやく、「Oculus Rift」「HTC VIVE」「Play Station VR」を足して200万台くらいのHMDが世の中に出回っています。
Spatial Augmented Realityは、今でいうプロジェクションマッピングと似たものです。プロジェクションマッピングは単に建物の上に映像を映すだけなのですが、対象物の形を把握した上で投影するとさらにいろいろなことができます。例えば「MicroSoft IllumiRoom」では、ゲーム画面の周りにプロジェクタで風景を映し出すことによってさらなる臨場感を生み出すことができます（図7）。
■竹村教授が取り組むさまざまなVR研究
私の研究についても紹介します。「広視野視線検出装置」、これは視点を検出するゲイズトラッキングカメラです。眼球を正面から見た画像が得られ、ちょうど目の位置から見た映像と同じものが撮れます。
「マルチビューポートVRインタフェース」は、難しかったVR空間内での大移動を可能にするものです。簡単にいうと“VR型どこでもドア”です。自分でどこでもドアをつくり、そこを通り抜けることによって大きな距離の移動を簡単にしました（図8）。
「単眼カメラによる指さし位置の推定」は、カメラによって利用者の指さし位置を推定するもの。普通は3次元計測が必要なところを、これは画像による学習だけで推定することができます。
「ハンドヘルドデバイスを用いたVRインタフェース」はVR空間中のナビゲーション。遠くにあるものを、ハンドヘルドデバイスで空間を歪めて近くに引き寄せる、といったことができます。
「PTAMを用いたARモデリングとオーサリング」では、PTAM（ピータム：Parallel Tracking and Mapping）を用いて3次元のモデリングを可能にします。そこにあるものを3次元オブジェクトと指定してコピーをつくり、コピーをAR環境の中に落として動かし、ARジオラマを実現するものです。
「複数のマルチタッチパッドを用いたインタラクション」は、複数のマルチタッチパッドを用いた両手操作による3次元ユーザインタフェースの提案です。
「PBVRによる大規模ボリュームデータの可視化」は、口の中の空気の流れをシミュレーションした結果を可視化することができます。
「ARにおける動的テキスト配置手法」は、AR画面の明るさの均一性を解析して、ディスプレイの文字表示を読みやすい場所に持っていこうとする研究です。他にもいろいろな研究に取り組んでいます。
■建築分野での応用について
建築分野では、視覚的なVRを用いたウォークスルーはすでに実用化されています。HMDを使って間取りを見たり、物件の360°写真を撮ってコンピュータやスマホで見回すことができます。視覚、聴覚はある程度可能ですが、住環境の評価に必要な触覚や力覚は限定的です。例えばキッチンの高さを見たり、引き出しを開けたりはできますが、開けるのにどれくらい力が必要なのか、防音ドアはどれくらい開けにくいのか、特定の部屋がどの程度暑くなるのか、といったことまでVRで再現するのは現状では困難です。
建築現場でも、ウェアラブル機器の発達によってさまざまな応用が考えられますが、あくまでも情報の提示がメインでしょう。図面通りに施工できているかの確認や作業手順の指示などはできるかもしれません。しかし正確な位置合わせを伴うARが利用可能かどうかは、まだ研究が必要かもしれません。
省エネ住宅の断熱性能などの可視化など、環境評価に関しても応用は可能だと思います。ビル風が、より広い環境になったときにどの程度強くなるかといったシミュレーションは実際に行ったことがあります。
大きなもののスケール感をうまく再現するのは非常に難しく、HMDをかぶっても個人差が大きいのです。大きな高解像度ディスプレイで正しく視点追従すると、かなり正確になりますが、それでは視点追従している1人にしか分からないことになります。建築分野への応用には、そのあたりを検討することが必要でしょう。最近は産学連携の共同研究が活発なので、「このようなニーズがある」といったお話をいただければ一緒に取り組むこともできると思います。
|
