2018.01.15

外部奥行きセンサーとモバイルARを活用してテレプレゼンスを実現してみる


はじめに

こんにちわ。次世代システム研究室の B.M.Kです。
2017年12月27日に開催された社内の研究発表会にて、ARについて発表した内容をご紹介します。







 

アプリ開発環境

今回のアプリを開発するため、以下の通りで開発環境を構築しました。
  • Unity3D 2017.3.0f2 Personal
  • AR Core SDK for Unity Plugin
  • Google Pixel XL
  • Android 8.1.0
  • Kinect V2

技術要素

下記の通り、いくつか技術要素を活用しました。
  • キネクトV2座標変換(カラー座標系、奥行き座標系、カメラ座標系を互いに変換)
  • キネクトのマルチストリーム取得と利用
  • 非/人物領域データフレーム取得と利用
  • カラー座標から奥行き座標へのマッピング
  • 奥行き座標からカラー座標にナッピング
  • リアルタイムに人間データのセグメンテーション
  • トランスポート層上のデータ圧縮と通信
  • 平面検出とモーショントラッキング (ARCore)

まとめ

今回、外部奥行きセンサー(マイクロソフトキネクトV2)とモバイルAR (Google ARCore)を活用してテレプレゼンスを実現してみました。テレプレゼンスとはテレ(遠隔の)+プレゼンス(存在)という二つの言葉を組み合わせて作られた言葉です。遠隔地のメンバーとその場で対面しているかのような臨場感を提供する技術のことを指します。遠距離で簡単に会えない大切な家族のメンバー、友達、ビジネスパートナー、プライベートで簡単に出会えない大好きなアイドル等を最先端のAR技術で映像だけではなく、存在感も届けます。

最後に

次世代システム研究室では、アプリケーション開発や設計を行うアーキテクトを募集しています。アプリケーション開発者の方、次世代システム研究室にご興味を持って頂ける方がいらっしゃいましたら、ぜひ募集職種一覧からご応募をお願いします。

皆さんのご応募をお待ちしています。