クアルコム、AIとカメラ性能を大幅に向上させたスマホ用SoC「Snapdragon 8 Gen 2」を発表

クアルコムのフラッグシップSoC Snapdragon 8 Gen 2搭載モデルがはやくも年末に登場予定

　クアルコムは、15～17日の3日に渡り、米ハワイ州でSnapdragon Summitを開催中だ。初日にあたる15日には、基調講演を開催。「Snapdragon 8 Gen 2」を発表した。Snapdragon 8シリーズは、ハイエンドモデルに採用されるチップセット。昨年の同イベントで命名ルールを改め、性能を表す1ケタの数字の後に、世代がつけられるようになった。Snapdragon 8 Gen 2は、その2世代目のチップセットだ。

Snapdragon 8 Gen 2を披露したクアルコムのシニアバイスプレジデント兼ジェネラルマネージャーのクリス・パトリック氏

実際のチップセットはこちら

　最大の特徴とも言えるのが、DSP（Digital Signal Processor）のHexagonを強化し、AIのパフォーマンスを向上させたこと。「Snapdragon Smart」と名づけたAI機能は、全体で最大4.35倍の高速化を実現した。高速な処理による推論を可能にした「INT4」（整数演算を4ビットで行ない、処理を軽量化する仕組み）を初めてサポート。消費電力あたりでのパフォーマンスは、60％向上したという。

AI性能を向上させ、新たにINT4をサポートする

　推論を強化したことで、自然言語の処理能力が向上。リアルタイムの文字書き起こしや、翻訳といったアプリケーションを実装しやすくなる。イベントでは、シャオミがこの機能を活用し、端末上でリアルタイム翻訳をする様子をビデオで紹介。担当者は「シャオミの新しいフラッグシップスマートフォンでも、プラットフォームの潜在能力を生かしたアドバンテージを活用していきたい」と語っており、今後発表される同社の端末に、近い機能が搭載される可能性もありそうだ。

INT4の対応は、自然言語処理に有効活用できる

リアルタイム翻訳のデモは、シャオミが行なった

　強化されたHexagonは、カメラの映像を処理するISP（Image Signal Processor）とも連携。AIを活用することで、リアルタイムのセマンティックセグメンテーションに対応する。セマンティックとは、「意味」のこと。被写体をその役割に応じて分割し、それぞれに最適な処理を施すことで、写真の仕上がりを向上させる。たとえば人物と風景を分離したり、顔の中で目と肌と髪の毛を分離するといったことがこれに当たる。クアルコムのプロダクトマネジャーによると、「空はより青く、草木はより緑にできる」。

Hexagon Processorと連携するCognitive ISPを搭載する

被写体をパーツごとに分解し、それぞれに最適な処理を施すセマンティックセグメンテーションに対応する

　ただ、写真を各要素に分解したあと、最適な処理を施す機能はさまざまなスマートフォンに搭載されている。実際、チップセットにNeural Engineを採用したiPhoneはもちろん、Tensorを搭載するPixelシリーズでもこうした処理方法は取り入れている。Snapdragon 8 Gen 2にセマンティックセグメンテーションは、その処理をリアルタイムで行なうところに強みがある。ビデオ撮影に対応しているのは、そのためだ。

動画撮影のデモ。リアルタイムで、筆者の肌が認識されていることがわかる

　ISPそのものだけでなく、センサーとの連携も強化している。昨年の同イベントでは、クアルコムとソニーセミコンダクタソリューションズとジョイントベンチャーの設立を発表していたが、その成果がSnapdragon 8 Gen 2に取り込まれている。具体的には、ソニーの「IMX 800」（1/1.5インチ）と「IMX 989」（1インチ）がSnapdragonに最適化。「Quad Digital Overlap HDR」と呼ぶ、空間と時間それぞれをずらした2枚ずつの写真、計4枚の写真を合成する新しいHDRに対応する。

ソニーの「IMX 800」「IMX 989」に最適化を施した

4枚の映像を1つに合成するQuad Digital Overlap HDRに対応する

　基調講演後のイベントに登壇したソニーセミコンダクタソリューションズ モバイルシステム事業部 副事業部長の御厨道樹氏によると、従来のHDRよりも合成によるノイズを削減できるという。また、クアルコムとの「システムレベルでの最適化を行なった」結果、カメラ切り替えによるズームの低消費電力化を実現。利用していないカメラを低フレームレートで待機させておくことで、これを可能にした。

基調講演終了後のイベントに、ソニーセミコンダクタソリューションズの御厨氏が登壇。ジョイントラボの成果を語った

使用していないカメラを低フレームレートで待機させておくことで、スムーズなカメラ切り替えと低消費電力を両立させた

　Snapdragon 8 Gen 2は、ソニーに加え、サムスン電子の超高画素センサーもサポートする。新たに対応するのが、200メガピクセル（2億画素）の「ISOCELL HP3」（1/1.4インチ）。周囲の光量に応じて12.5メガピクセル（1250万画素）、50メガピクセル（5000万画素）、200メガピクセル（2億画素）を切り替えられるピクセルビニング技術に対応しており、クアルコムによると、こうした機能もSnapdragonに最適化されているという。

サムスン電子の200メガピクセルセンサーにも最適化を行なった

　AIを活用しているのは、カメラだけではない。Snapdragon 8 Gen 2に統合された、モデムの「Snapdragon X70 5G」もAIでその性能を向上させている。同モデムは、2月にスペイン・バルセロナで開催されたMWC Barcelonaに合わせて発表されたもの。AIで伝搬路情報の最適化をすることで、スループットを向上させることができるのが特徴だ。

モデムチップにもAIを活用することで、電波の到達距離やスループットを向上させつつ、消費電力を低減させている

　また、より電界強度の弱い電波を安定してつかめるようになるため、エリアが拡大したような効果も得られる。スペック的には、デュアルコネクティビティ（DC）に対応しており、ミリ波とSub 6の組み合わせで下り最大10Gbpsを実現。上りのDCも可能で、こちらの理論値は最大3.5Gbpsとなる。5G-5Gや5G-4GのDSDA（デュアルSIM/デュアルアクティブ）もサポートする。

　ゲーミングで注目したい新機能が、GPUの「Adreno」が採用したリアルタイムレイトレーシング。光の屈折や反射などシミュレートすることで、現実さながらの映像を作り出す技術だが、これにモバイルプラットフォームとして初めて対応する。

GPUはリアルタイムレイトレーシングに対応

水面への映り込みなどを、よりリアルに描写できる

　CPUにはクロック周波数の高い「Primeコア」が1つと、高負荷な処理をする「Performanceコア」が4つ、さらに省電力性能の高い「Efficiencyコア」を3つ搭載する。PrimeコアはArmの「Cortex-X3」で3.2GHz。Performanceコアは2.8GHz、Efficiencyコアは2.0GHzと、いずれもSnapdragon 8 Gen 1に搭載されたKryoから、性能が底上げされている。コアの構成もPerformanceコアが3つから4つに、Efficiencyコアも4つから3つに変更された。

CPUもコアの構成が若干変更になっているほか、それぞれの性能が向上

　Snapdragon 8 Gen 2を搭載したスマートフォンは、年末から登場する予定だ。Snapdragon Summitの基調講演では、ソニーやシャープといった日本メーカーに加え、OPPO、Xiaomi、Motorolaなど、日本でおなじみの海外メーカーの名前も挙がっていた。日本で発売される端末が登場することにも期待したい。

Snapdragon 8 Gen 2を採用するメーカー。日本からは、ソニーやシャープがビデオメッセージを寄せた