AIエージェントの時代はどこまできているのか
ニューズウィーク日本版 / 2024年5月7日 12時40分
AppleもこのVisionに関する論文を発表して話題になっている。Appleが発表したのはスマホの画面を理解して操作できるFerret-UIという技術。
Appleの純正の音楽アプリや地図アプリなら、siriを使って音声である程度操作できる。一方で他社製の音楽アプリや地図アプリはほとんど音声で操作できない。私はYouTube MusicやGoogle Mapを愛用しているのだが、自動車の運転中にこうしたアプリを音声で操作できればずいぶんと便利になるように思う。
ところがFerret-UIの技術だと、画面上のボタンなどのデザインの意味を理解できるようになるので、他社製のアプリもすべて操作できるようになるわけだ。
他にも同様のコンピューター画面理解の技術が、オープンソースのソフトウエアとして次々と登場してきている。
ウェブサイトは人間が理解しやすいようにデザインされている。人間に理解しやすくても機械には理解しにくいのが現状だ。Ferret-UIなどの技術の進化で、AIエージェントが画面上の画像を理解し、人間同様にコンピューター機器を操作できるようになる時代に向かっているわけだ。
3つ目はAction。AIエージェントは迅速に動くことが必要だ。音声ボットの電話の受け答えがタイムリーでなければ人間は電話を切ってしまうことだろう。最近Groqと呼ばれるレスポンスの速い半導体が注目されているのは、このためだ。
この論文の中では、必要な能力として次のようなものを挙げている。GUIグラウンディング(上に挙げたVisionのような能力)、オペレーションナレッジ(アプリの使い方の理解)、Long-Horizon Task Execution(上のReasonで挙げたようなタスクを分解して実行する能力)、Interactive Learning(試行錯誤する中で学んでいく能力)、スケーラビリティ(拡張性)、マルチモーダル(テキスト、画像、音声、映像などのデータを理解する能力)などだ。
この論文によると、人間は与えられたタスクの72%を問題なく実行できたのに、今日のAIエージェントは12.24%しか達成できなかったという。
なぜAIエージェントは、まだまだ能力が低いのか。一番の問題は、Visionだという。画面上のボタンなどの画像をうまく理解できなかったようだ。一般的ではないデザインや、ころころデザインが変化する画像ボタンなどに対処できなかったようだ。ドロップダウンメニューも、うまく操作できなかったという。
また複雑なタスクの実行も苦手だったようだ。今後の論理的思考の能力の向上が待たれるところだ。
-
-
- 1
- 2
-
この記事に関連するニュース
-
日本初のAIエージェント搭載ホームIoT端末『ナインドット』をリリース
@Press / 2024年7月25日 12時0分
-
AppleのAI戦略発表はなぜ他社より大幅に遅れたのか 「Apple Intelligence」の真価を読み解く
ITmedia Mobile / 2024年7月19日 11時27分
-
AIと分からないレベルの自然な会話で、100%AI対応のコールセンター実現か|YCが支援するVocode社の技術に注目
Techable / 2024年7月8日 12時0分
-
PowerPool 2.0: 戦略ビジョンの更新、AIエージェント市場の獲得
PR TIMES / 2024年7月3日 13時40分
-
お客さまの困りごとを“ズバリ言い当てる”コールセンター向け生成AIチャットボットの提供開始
PR TIMES / 2024年7月3日 11時15分
ランキング
-
1中距離ミサイル配備と警告=ロシア、独への展開に対抗
時事通信 / 2024年7月28日 19時33分
-
2プーチン大統領 中距離ミサイル配備と改めて警告 ドイツへの長射程ミサイル展開に対抗措置
TBS NEWS DIG Powered by JNN / 2024年7月29日 1時38分
-
3イスラエルが「ヒズボラ」拠点を空爆
TBS NEWS DIG Powered by JNN / 2024年7月29日 3時21分
-
4米カリフォルニア州で山火事急拡大、24時間で2倍に
ロイター / 2024年7月29日 10時27分
-
5ブリンケン米国務長官、ヒズボラの攻撃と非難=イスラエルに自制要請の構え
時事通信 / 2024年7月28日 22時11分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)