Microsoft Meshについての紹介
はじめに
こんにちは、次世代システム研究室のB.M.Kです。本ブログは今年の3月3日～4日に開催された Microsoft Ignite 2021 Keynote で発表された Microsoft Mesh を紹介します。
ホロレンズのお父さんアレックス キップマン (Alex Kipman) は、「これは複合現実を生み出した初期の頃から描いていた夢のアイデアでした。」とスピーチの中で強調しました。Microsoft Meshを通じて実際にコンテンツを共有している人と同じ場所にいるような感覚になれますし、別の複合現実デバイスからテレポートして物理的には側にいない人と一緒にいることができるようになりました。Microsoft は Microsoft Mesh を通して複合現実の領域における次の大きなステップを明らかにしました。
目次
複合現実（Mixed Reality : MR）の可能性
複合現実は現実空間と仮想空間を混合し、現実のモノと仮想的なモノがリアルタイムで影響しあう新たな空間を構築する技術全般を指すものです。この技術はメインフレーム、PC、スマートフォンに続く、4つ目の新たなコンピューティングのカタチになり、従来の画面の中に閉ざされたデジタル体験から人々を解放し、自分の空間やモノの中で側にいない人々と直観的なインタラクションができる体験を創造します。
図１：複合現実の可能性（出典：NIKKEIBP）
複合現実の課題
没入感の高いMR空間、体験の共有としてその空間内リアルタイムに影響しあうことを実現することはずっと我々の夢と目指すことでした。しかし、これらの没入度の高い体験を作成する上で妨げとなる根本的な難しい課題がいくつかあります。以下の通りです。- MRでリアリティのある人々を表現するためには多くの時間とリソースが求められること
- 地理的に遠隔場所で開催されるMRセッションで、人々の行動と表現を同期させること
- 時間とデバイスの種類の垣根を越え、３Dコンテンツを安定化させること
Microsoft Meshとは
Microsoft Mesh は Microsoft Azure 上に構築された複数人で３Dスペース、3Dコンテンツ を共有できる没入感の高い複合現実プラットフォームです。動画１：Microsoft Meshの紹介（出典：マイクロソフト）
最近のクラウド技術を活用してMR技術が利用する重要な情報（空間の自然特徴群、3Dコンテンツを空間内に固定して表示するためのアンカー情報等）をクラウド技術を経由して他人に共有できるようになりました。クラウドの活用は上記の課題を解決することにキーファクターになり、Microsoft Azure はまさか Microsoftの技術スタックの中で最適なプラットフォームになります。
没入感の高いMR空間の共有としてその空間内相互作用を実現できることによって複合現実の計り知れない可能性を解き放ちます。
図２：Microsoft Meshによる実現可能なこと（出典：マイクロソフト）
Meshは三つのキーファクターを実現します。それらは物理的距離制約をなくすくらい他ユーザーの存在感の実現（Feel Presense)、没入感の高いXR空間共有と空間内相互作用の実現、そしてマルチデバイス種類のサポートの実現になります。
他ユーザーの存在感の実現
遠隔支援、共同作業、そしてバーチャル会議、ソーシャルミートアップ等のマルチユーザーシナリオにて、基本的な機能は、他ユーザーの存在感をできる限りリアルに表現することです。現時点MRをサポートするデバイスは内部センサーを活用して、ユーザーの顔の動き、音声、そしてジェスチャー等の追跡、復元、伝達がリアルタイムに実現できるようになり、制度が高いモーションキャプチャー技術の活用と共に、他ユーザーの存在感の実現に大きく役に立っています。Mesh も同様、デバイスの内部センサー、モーションキャプチャー技術を活用して、アバター (ユーザーの代理人)又はホロポーテーションを用いてユーザーの3Dの存在感を提供します。
Mesh Platform には Avatar Rig とカスタマイズスタジオが含まれているため、すぐにアバターを使用することができます。アバターと並んで、外部センサーを用いた写実的な360°ホロポーテーションも可能にします。これらの外部センサーは、Mixed Reality Capture Studio のようなカスタマイズされたカメラの構成になりうり、完全で忠実な3Dキャプチャを実現するために役立ちます。または、ホログラフィック表現の作成を支援するデバイスとしてAzure Kinectが用いられる可能性もあります。ホログラムが作成されると、没入型MRヘッドセットやスマートフォン、PC、タブレット上のMesh対応アプリ内でこれらを使用して、最も本物にそっくりな表現でユーザーをホロポーテーションし、本当にその場にいるような存在感を感じさせます。
動画２：Mixed Reality Capture Studio （出典：マイクロソフト）
動画３：Azure Kinectを用いるホロポーテーションの実現（出典：マイクロソフト）
没入感の高いMR空間共有と相互作用の実現
前回のブログ「共同作業に向けてホロレンズ２と他のスマートデバイスとの組み合わせの実証実験」にて空間共有の仕組みの理解に役に立つくつかの重要な概念（空間座標系、空間アンカー、アジュール空間アンカー等の）を紹介しました。
上記も述べましたが従来のMR体験はMR被験者以外第三者がその体験を視認できないが最近のクラウド技術を活用してMR技術が使用する重要な情報を他人に共有できるようになりました。アジュール空間アンカーはこの仕組み内にもっとも重要な要素の一つになりました。アジュール空間アンカーを使用すると、時間が経過した後でも複数のデバイス間で位置情報を保持するオブジェクトを使用して複合現実エクスペリエンスを作成できます。
図３：アジュール空間アンカーを用いる永続性（出典：マイクロソフト）
相互作用を実現するために共有されるバーチャルコンテンツの状態をリアルタイムに同期することは不可欠であり、Meshを利用する以前に、PUN(Photon Unity Network)のような複数端末間でリアルタイムにコンテンツの状態の更新をサポートできるプラットフォームを実装したり、利用したりする必要となります。Meshでは、同様仕組みのMultiuser Sync を介して実現します。
動画４：Microsoft Meshを用いるMR空間共有と共同作業の実現（出典：マイクロソフト）
マルチデバイス種類のサポート
Mesh はマルチデバイス対応で、同社のMR用ヘッドマウントディスプレー（HMD）「HoloLens 2」だけでなく、 HP Reverb G2, Oculus Quest 2 といった完全没入型ヘッドマウントディスプレイ (HMD) から、iOS/Android 搭載のスマートフォンやタブレット、また PC までの幅広いデバイスをサポートします。ユーザーはどこからでも接続することができます。Microsoft Meshの主なコンポーネント
開発者向けの Microsoft Mesh プラットフォームの核となるコンポーネントは以下の通りです。
図４：Mesh プラットフォームの核となるコンポーネント（出典：マイクロソフト）
開発者向けオプション
Microsoft Mesh は現在、限定された無料プレビューで利用できます。 プレビュー中に、HoloLensでMeshアプリを試して、Mesh対応のAltspaceVRでホスト仮想イベントへのアクセスを要求することができます。 サービスが一般的に利用可能になり次第、追加のMesh対応アプリに関する情報を受けることができます。 Mesh対応の複合現実アプリの構築に興味がある場合は、複合現実開発者プログラムに参加して最新情報を入手し、Meshパブリックプレビューの開始時に通知を受け取れます。まとめ
今回は Microsoft Mesh の可能性、主なコンポーネント、開発者向けのオプション等を紹介しました。Microsoft Mesh により、地理的に離れたチームがより協力的なミーティングを持つことも可能となるほか、バーチャルデザインセッションの実施や人の支援、共同学習、バーチャルなソーシャル会合の開催等できるようになりました。このプラットフォームは、マイクロソフトが何年間も手や視線のトラッキングや HoloLensの開発、持続的なホログラムの構築、ＡＩ（人工知能）モデルの作成などに取り組んで、研究開発してきた結果誕生したものです。今後多くの人にとって有益な存在となると信じます。
最後に
次世代システム研究室では、グループ全体のインテグレーションを支援してくれるアーキテクトを募集しています。アプリケーション開発の方、次世代システム研究室にご興味を持って頂ける方がいらっしゃいましたら、ぜひ募集職種一覧からご応募をお願いします。皆さんのご応募をお待ちしています。
