こんな技術を待っていた！ドワンゴ×NTTのコラボ第一弾「全天周映像向けインタラクティブ配信技術」と「視聴品質最適化技術」

株式会社ドワンゴと日本電信電話株式会社（NTT）は、昨年7月より開始した業務提携の取り組みとして、映像&ソーシャルサービスの高度化に関する技術開発を推進してきた。今回、ドワンゴ×NTTのコラボレーション開発の成果第一弾として、ライブ会場（ニコファーレ）に設置した360度全天周カメラの映像から、視聴者がヘッドマウントディスプレイ（HMD）を通して好きな方向を自由に見渡すことのできる新しい視聴サービスを実現する「全天周映像向けインタラクティブ配信技術」とサービス利用者の環境やネットワークの混雑状況に応じて最適な配信レートなどを過去の状況から予測する「視聴品質最適化技術」を用いたサービスのプロトタイプを開発した。

■ライブ会場を体感できる最新VR
技術用語だと回りくどい言い方になってしまっているが「全天周映像向けインタラクティブ配信技術」とは、平たく言えばヘッドマウントディスプレイ（HMD）を装着し、リアルタイムで送られてくる場所の360度の映像および音声データをシンクロさせて、自分があたかもそこにいるかのように体感できるシステムのことだ。

HMDを装着して右を向けば右の景色が、左を向けば左、といった具合に映像がシームレスに切り替わる。音声もそれに追従してくるため、たとえばライブ会場の映像と音声を配信すれば、まさに会場にいるかのような体感が可能になるシステムだ。「バーチャルリアリティ（VR）」を進化させたライブ配信システムと言った感じだ。

たとえば超会議3の発表会で、秘密の技術を使って台湾と日本の会場を結ぶ発表があったが、このシステムを使って結ぶことも十分可能だ。現段階で実際にそういったことが可能なのかは不明なので、実際そうなるということではないが、ニコニコ超会議3と同日にイベントが開催されている台湾と日本の会場双方を、このシステムでつなげば、台湾側の人が超会議3に来ている感覚を感じることができる。日本側も台湾の会場を体感できるというわけ。

もしも将来、このシステム用のHMDが安価になり広く一般に普及して、PCなりスマホの通信速度でデータを受信できるようになれば、ネット視聴のライブと言えども、十分な迫力で体感できるようになるだろう。Google Glass用アプリでにこの機能を使えるよにするなんてことも可能かもしれない。

視聴品質最適化技術

■つながらない！ “tmt”を解消する視聴品質最適化技術
ドワンゴの提供するニコニコ動画やニコニコ生放送といった映像配信サービスでは、配信レートが高い高品質映像の提供中にネットワークが混雑すると、データ伝送が映像再生に追いつかずに映像が停止してしまう。配信用のエンコードでPCが固まってしまうのは仕方がないがサーバー側の処理が間に合わずにいわゆる「“tmt”状態」になってしまうことがある。

それがニコ動ユーザーやニコ生リスナーの体感品質（QoE：Quality of Experience）を低下させてしまう。見ているほうは「運営しっかりしろ！」と思うし、提供する側は「お前ら何窓してんだよｗｗｗ」といったお互いにとって良くない状況になってしまっていたわけだ。そこでNTTはネットワークの状態とサービス利用者のQoEとの関係を解明し、視聴者が実際に感じる映像の満足度を客観的な数値として推定・最適化可能な「視聴品質最適化技術」を確立した。どの程度の画質や音質劣化なら我慢できるという最低限のレベルをはじき出したわけだ。

この技術を用いて、サービス利用者の環境やネットワークの混雑状況に応じて、最適な配信レートなどをレコメンドする品質APIのプロトタイプを開発するとともに、ドワンゴでは本APIに接続することで、動画サービス「niconico」における体感品質の最適化を可能とするアプリを開発した。

上記の文章は「ちょっと何をいってるのかわからない」人もいると思うので、かみ砕くと、動画視聴プレーヤーやニコ生プレーヤーがネットワークの負荷に応じて視聴している側ががまんできる範囲でリアルタイムで画質や音質を調整することでネットワーク帯域を確保、大量接続時でも接続を切らずに配信し続けることができるようになるというわけだ。サーバーの増強にはお金がかかってしまうため、こうした技術でユーザーから見た「つながらない、見れない」不満を解消しようという仕組みである。

視聴品質最適化技術

そして今回の成果は、2014年2月13日、14日の2日間、NTT武蔵野研究開発センタにて開催するNTTの最新のR＆D成果を展示するイベント「R&Dフォーラム2014」にて見ることができる。また、NTTのR＆Dの取り組みを紹介する「NTT R＆Dチャンネル」を「ニコニコチャンネル」内に開設し、R&Dフォーラム開催前日の2月12日に『NTT R＆Dフォーラム2014 夜まで「Co-Innovation」直前生放送』をニコ生放送で配信し、番組内にて今回開発した2つの成果も紹介されることになっている。

■NTT R&Dフォーラム2014「Co-Innovation ～あなたとともに、未来を創るR&D～」の概要
開催期間：2014年2月13日（木）～2月14日（金）午前10時～午後5時
開催場所：NTT武蔵野研究開発センタ（東京都武蔵野市緑町3-9-11）

■『NTT R＆Dフォーラム2014 夜まで「Co-Innovation」直前生放送』概要
放送日時：2014年2月12日（水）午後9時～午後11時（NTT技術史料館より生中継）
チャンネル名：NTT R＆Dチャンネル
出演者：
濱野智史氏（社会学者）
岡田有花氏（ジャーナリスト）
高田敏弘（NTTコミュニケーション科学基礎研究所・主幹研究員）
向井哲哉（NTT物性科学基礎研究所・主任研究員）
放送内容：
1）R＆Dフォーラム見てきた、先取りレポート（ドワンゴ×NTTのコラボレーション開発の成果も紹介）。NTT R＆Dフォーラムの気になる展示を濱野智史さん・岡田有花さんがレポートし。研究者への突撃レポート、3分間インタビューも撮って出し状態で放送。R＆DフォーラムのテーマとなっているCo-Innovationの核心に迫る。
2）日本のWWWの父親が誕生から20年を語る。全世界のWebサーバーの数がまだ数十程度の時代であった1993年に誕生した「NTTホームページ(www.ntt.jp)」は、日本から海外へ向けた情報発信を目的として観光案内や音声での日本語講座からスタートし、日本初のポータルサイトへと発展。その当時の様子を振り返りながら、Web勃興期の楽しさ・熱さ・ハチャメチャさを高田主幹員が語る。
3）「量子の世界」「超伝導永久電流チップ」など中学生から理解できるよう直感的に語る。超伝導永久電流チップは、極低温原子を捕捉する究極の技術。NTTではこの技術を用いて、量子状態の初期化にも利用できる「ボース・アインシュタイン凝縮」の生成に成功。この技術を紹介しながら「量子の世界」「超伝導永久電流チップ」「ボース・アインシュタイン凝縮」について、向井主任員が中学生から理解できる直感的な説明を行う。

■NTT R&Dフォーラム2014
■NTT R＆Dチャンネル

■ITライフハック
■ITライフハック Twitter
■ITライフハック Facebook

■niconicoに関連した記事を読む

関連記事こんな技術を待っていた！ドワンゴ×NTTのコラボ第一弾「全天周映像向けインタラクティブ配信技術」と「視聴品質最適化技術」今年も作るぞメガソーラー！　SBエナジーが静岡県静岡市でのメガソーラー発電所を建設ベトナム人ブリッジエンジニアに聞いた！オフショア開発の「現状」と「展望」ビジネスの世界で新しい価値を創造する！パナソニック 原田氏が「MX3」を語る非常に革新的で面白い製品！フロンティアファクトリー奥田社長が戦略を語る