映像クリエイターを驚愕させたNTTの最先端技術

スポーツ観戦と言えば、これまでは直接スタジアムへ足を運んで応援したり、テレビで観戦したりするのが常だった。しかし昨今のテクノロジーの進化と新型コロナウイルスの影響も相まって、現在、動画配信やVR・ARの活用など、テクノロジーを搭載した観戦方法への注目が急速に集まっている。

中でも、これまでにない斬新な観戦方法として期待が高まっているのが、NTTが研究を進めている「Swarm Arena（スウォームアリーナ）」だ。無数の走行ロボットと通信制御技術を使い、スポーツ観戦の新たな映像表現を実現しようとしている。

今回、NTTの「サービスエボリューション研究所　2020エポックメイキングプロジェクト」の主任研究員の千明裕さん、山口仁さん、研究主任の鈴木督史さんに集まってもらい、「Swarm Arena」を活用したスポーツ観戦の新たなヴィジョン、その先に広がる可能性について話を伺った。

無数のディスプレイが自在に動き出す、これまでにない映像演出

テクノロジーとアートとスポーツの力で、スポーツ観戦を再創造する、という新たな挑戦を行っているNTT。従来のやりかたや技術だけではなく、アートやデザインの持つ感性を取り入れることによって、より社会に役立ついいものができるのではないか？そんなイズムを実現するために誕生したチームが、「2020エポックメイキングプロジェクト」だ。そのプロジェクトの一つ「Swarm Arena」とは。

実際の「Swawrm Arena」の映像はこちら。【スポーツ観戦の再創造展】観戦概念の再創造 ～Swarm動作・通信制御技術～（NTT official channel／Youtube）©︎NTT

――現在、世の中ではさまざまなスポーツ観戦方法が模索されている中で、今回ご紹介いただく、走行するロボットに映し出された映像で観戦する、という「Swarm Arena」とは一体どんなものなのでしょうか？

山口仁さん（以下、山口）　簡単に説明しますと、１個80cmくらいの大きさのディスプレイ付き走行ロボット「グランドボット」（以下、ボット）がたくさん集まり、走りながら競技映像などを映していくものになります。

――たくさんのディスプレイ付きボットが集まって映像を映し出すと聞くと、スポーツ観戦としての想像を超えると言いますか……かなり画期的な映像表現ですね。

山口　そうですね。四角い画面に捉われることなく、コンテンツと観る人との間、相対的な関係によってディスプレイ付きのボットが有機的に動きながら形を変え、表現するスペースを形成していく。例えば泳いでいる一人のスイマーを、非常に広いスペースで演出することも可能です。それだけでなく、まわりの波の動きや泳いでいる人の筋肉の動きみたいなものまで表現していく。表現に自由度を持たせているのも大きな点です。その中にアートの要素やいろいろな技術をどう盛り込んでいくのかを模索しているのがこのプロジェクトです。

――ボットの数はどれくらいあるのでしょうか？ ボットの間などを歩いて、身近で見ることもできるのですか？

山口　当社は現在、ボットを100台規模で所有しているのですが、それをうまく動かしながら広い会場の中で、どう演出していくかを研究しています。ボット同士の間や横なら歩くこともできますよ。一つ一つの画面（ボット）が固定されず、動きながら表現を作っていくのですが、ボット自体の動きと映っている映像をどうシンクロさせていくか、というところに技術が必要になってきます。

自由に動くことのできるボットなら、映像を足元で演出することも可能だ。

――かなり動きの自由度が高そうなので、表現の幅が無限に広がりそうですね。

山口　はい。例えばボットの群集の真ん中を人が歩いているとすると、その動きに合わせてボットが動く、という演出も考えられます。あとこれはまだ開発中なのですが、見ている人も含めて相対的に、状況に応じてボットの配置や動きが変わっていくなど、非常に幅の広い表現が可能になる予定です。

世界でトップクラスのクリエイティブ機関とのコラボによって生まれた斬新なアイデア
アルス・エレクトロニカとの研究の様子。

――そもそも、なぜこのようなものを作ろうと思ったのでしょうか？

千明裕さん（以下、千明）　我々の会社は技術に自信があり、昔からさまざまなインフラを作ってきました。しかし、もっと多くの人たちに当社の技術を伝えるために、アート的な趣向を取り入れることによって、新しい社会的なインフラができないかと目標を掲げたんです。アーティストの人は、普通の人と考え方が根本的に違いますよね。発想が逆転していたり、全然違う視点から見ていることが多い。そういったアートの持つ刺激的な発想や考え方なども取り入れ、当社の技術と組み合わせることで、新たなイノベーションを起こせないかと考えました。そこで、アート×テクノロジーでいろいろなプロジェクトを手掛けている、世界でもトップクラスのクリエイティブ機関「アルス・エレクトロニカ」とコラボしたら面白いことができるんじゃないか、ということで2016年に共同研究をスタートしたんです。

――なるほど。たくさんのボットが集まって立体感のある映像を見せる、というアイデアも彼らとのコラボによって生まれたのでしょうか？？

千明　そうですね。以前、アルス・エレクトロニカはドローンを100台同時に飛ばす「Drone 100」というプロジェクトを行っていて、ドローンの同時飛行台数世界一という、その当時のギネス記録を達成したんです。いかに空間を新しく表現し、創造するかということに挑戦していて、そこで得られた技術や知見をベースとして表現するときに、ボットとドローンを組み合わせたら、空だけではなく、地上も全てメディアにできるのではないか、という話になりました。それでボットをたくさん並べてやってみよう、ということになったんです。群衆のことを” Swarm”と言うのですが、魚や鳥の群れは自律的に動きますよね。何かにぶつかりそうになったら避けて、また群れが元通りになる。どうやって指示を出しているのか分からないですけど、滑らかに動きますよね。そういった自然界のことも発想のポイントになっています。ボットやドローンで同じように表現できたら見ているほうも気持ちいいですし、技術としても美しいなと思うんですよ。

――100台ものボットを同時に動かし、自由自在にコントロールするには、かなり緻密な技術が必要だと思います。制御技術はどのようなものなのでしょうか？

千明　いろいろな要素がありますが、例えばボットを100台並べたら100台に制御信号を送らなければならないわけで。台数を増やせば増やすほど混信しますから、それが一つの課題になっていますね。ボットのポジショニングも重要で、位置の情報が不正確だとわずかなズレでもボット同士がぶつかってしまいますから。ボットを正確に配置させることにも通信が使われているのですが、屋外ではGPSと通信技術を使うことで、わずか１cm単位の誤差も計測することができます。

リアル観戦では体験できない「Swarm Arena」の魅力とは

――実際にスポーツを生で観戦するのと比べると、どのような違いがありますか？ どんな体験ができるのでしょうか？

千明　例えばアーティスティックスイミングは、本来の競技だと隊列で泳いで演技をしますが、「Swarm Arena」では、映像素材を加工することで、万華鏡のように表現することもできます。それは本来の競技ではできないことですが、ボットを使えば可能です。リアルな選手のパフォーマンスを、ボットに合わせて、映像の動きや大きさを変えたり、エフェクトをつけるなどすることで、純粋な競技の観戦というよりは、もう少し芸術表現を見るような体験に変わります。その可能性をいかに広げていくのかが、今後の大きな目標ですね。

――なるほど。ちなみにスポーツ観戦はリアルタイムで観るというのも一つの楽しみですが、現時点でリアルタイムでの運用は可能なのでしょうか？

千明　リアルタイムで活用する、というのは我々がもっとも力を入れて研究開発を進めている部分です。例えば、放送されている映像をリアルタイムでストリーミングして、サッカーの試合なら、選手の動きを一つずつボットに反映させて、試合と同じようにボットを動かすということも考えられます。リアルタイムで選手と同じように動く個々のディスプレイが集まることで遠隔観戦用の一つの大きなディスプレイになる。場合によっては、前撮りの映像や生の映像を組み合わせたものもできるかなと。そこは研究開発を進めていますが、映像のストリーミングは通信の安定が大前提なので、難易度でいうとすごく難しいですね。デジタル容量が大きいので、そこをちゃんと確保できないとHDや4Kで映像を録っても送れなくなってしまう。100台のボットに映像が届いて表示されるのが30秒後となると、リアルタイムとして成立しなくなってしまうので、多数のボットを同時に動かすことは、技術的にかなりハードなチャレンジです。

そして、そもそも生中継やリアル観戦で感じる魅力とはどんなものか、というのも大きなテーマです。これはストリーミングや遠隔コミュニケーションの長年のテーマなので、技術やコンテンツをどうするかなども大きな課題の一つですね。

どんな会場にも対応するリモートコンテンツの可能性

――現在、新型コロナウイルスの影響で、リアルなスポーツ観戦がなかなか難しい状況ですよね。そんな中、リモート観戦が世の中に浸透しつつあり、いろいろな可能性が出てきています。「Swarm Arena」は会場の規模や場所は関係なく活用できるのでしょうか？

千明　はい。それも大きなポイントとなっています。リモートコンテンツの見せ方として、例えば埼玉スーパーアリーナに集まってパブリックビューイングで見る、という方法がありますよね。そういった大規模なものから、もっと小さな場所でも見せられる小規模のものまで、どちらも対応できるのが「Swarm Arena」なんです。日本みたいになかなか手軽に広い場所が確保できない状況でも、このシステムならどこでも表現できる。それこそ現在のコロナ禍の状況で感染のリスクを考えて、たくさん人が集まる場所は避けたいときに、もっと小規模で少人数、安全を確保した上で観戦する、という色々なスケールに対応できると考えています。

――表現方法も場所も自由度が高いこのような観戦体験は、コアなスポーツファンでなくとも、さまざまな人が気楽に楽しめそうですね。

山口　公共のスペースにおいて情報を人にどう伝えていくのか、その可能性を広げる研究の一つの形として「Swarm Arena」があるのかなと思っています。我々も模索している途中なのですが、さまざまな可能性を持ったデバイス、システム、プロジェクトだと考えています。

これをきっかけに観戦する人が新しい楽しみ方を見つけて、興味を持ってくれる人が増えていけば面白いですね。通常のテレビでは伝わらなかった、何かを感じていただける方が多くなると嬉しいです。

---

スポーツの楽しみ方に新たな視点を加え、見方を180度変えてくれる「Swarm Arena」。話を聞いているだけでワクワクする夢のような話だが、実現に向かって着実に進んでいる。テクノロジー×アートによって、どこまでも広がるスポーツ観戦の可能性。今から体験するのが楽しみで仕方がない。

text by Jun Nakazawa（Parasapo Lab）

photo by NTT,Shutterstock