湯川鶴章
＜AIエージェントがどの程度パソコンを操作できるかを探る「OSWorld」論文が注目を集めている＞
＊エクサウィザーズ AI新聞から転載
今年のAI業界のホットなテーマの１つはAIエージェント。そんな中、エージェントに関する１つの論文が話題になっている。
「OSWorld」というタイトルの論文で、現段階のAIエージェントはどの程度優秀なのかを計測しているもの。著者は香港大学のTao Yu氏を初めとする研究者の国際チーム。
AIエージェントの定義はいろいろあるが、この論文の中では「置かれた環境をセンサーなどで把握し、論理的に行動するAI」のように定義されている。つまり人間のようにパソコンを自在に操作できるAIということだ。
確かに最近のAIは、いろいろなパソコン操作が既に可能だ。もちろんパソコン上のボタンを押すことも、文字、数字を入力できる。アプリやソフトウェアのマニュアルを読んで理解し、アプリやソフトを操作することも可能。プログラミングもある程度できるし、検索、文書生成もできる。テキストを音声に変換し、音声ボットとして電話もできる。営業トークもできる。顧客との電話のやり取りで得た情報を表計算ソフトに入力することもできる。
つまりこの方向でAIが進化すれば、人間がパソコンを使って行う仕事のほとんどは、AIでもできるようになる。AIにできない仕事を探すほうが難しくなるのではないだろうか。そうなればAIエージェントは世界経済に非常に大きな影響を与えることが予測される。今われわれはそうした時代の入り口に立っていると言えそうだ。
ではそうした時代に向けて、今後AIはどのように進化していかなけらばならないだろうか。一般的には３つの技術の進化の方向が挙げられている。
一番大きく進化しなければならないのはReason（論理的思考能力）だろう。人間から与えられた仕事をこなすために、何をどう実行すべきかを考える力だ。１つの大きな仕事をこなすために、その仕事をいくつかのタスクに分解することも必要になってくる。
もうまもなくリリースされると噂されているOpenAIの次期LLM（大規模言語モデル）GPT-5では、論理的思考が大きく進化すると言われている。またOpenAI以外の有力AI企業も同様の能力を持つLLMを開発しているとみられている。
２つ目はVision、つまりコンピューターの画面を見て意味を理解する能力だ。どのボタンをクリックすれば、前のページに戻れるのか、どのボタンを押せば注文を確定できるのかなど、画面上の画像の意味を理解する能力だ。
AppleもこのVisionに関する論文を発表して話題になっている。Appleが発表したのはスマホの画面を理解して操作できるFerret-UIという技術。
Appleの純正の音楽アプリや地図アプリなら、siriを使って音声である程度操作できる。一方で他社製の音楽アプリや地図アプリはほとんど音声で操作できない。私はYouTube MusicやGoogle Mapを愛用しているのだが、自動車の運転中にこうしたアプリを音声で操作できればずいぶんと便利になるように思う。
ところがFerret-UIの技術だと、画面上のボタンなどのデザインの意味を理解できるようになるので、他社製のアプリもすべて操作できるようになるわけだ。
他にも同様のコンピューター画面理解の技術が、オープンソースのソフトウエアとして次々と登場してきている。
ウェブサイトは人間が理解しやすいようにデザインされている。人間に理解しやすくても機械には理解しにくいのが現状だ。Ferret-UIなどの技術の進化で、AIエージェントが画面上の画像を理解し、人間同様にコンピューター機器を操作できるようになる時代に向かっているわけだ。
３つ目はAction。AIエージェントは迅速に動くことが必要だ。音声ボットの電話の受け答えがタイムリーでなければ人間は電話を切ってしまうことだろう。最近Groqと呼ばれるレスポンスの速い半導体が注目されているのは、このためだ。
この論文の中では、必要な能力として次のようなものを挙げている。GUIグラウンディング（上に挙げたVisionのような能力）、オペレーションナレッジ（アプリの使い方の理解）、Long-Horizon Task Execution（上のReasonで挙げたようなタスクを分解して実行する能力）、Interactive Learning（試行錯誤する中で学んでいく能力）、スケーラビリティ（拡張性）、マルチモーダル（テキスト、画像、音声、映像などのデータを理解する能力）などだ。
この論文によると、人間は与えられたタスクの72%を問題なく実行できたのに、今日のAIエージェントは12.24%しか達成できなかったという。
なぜAIエージェントは、まだまだ能力が低いのか。一番の問題は、Visionだという。画面上のボタンなどの画像をうまく理解できなかったようだ。一般的ではないデザインや、ころころデザインが変化する画像ボタンなどに対処できなかったようだ。ドロップダウンメニューも、うまく操作できなかったという。
また複雑なタスクの実行も苦手だったようだ。今後の論理的思考の能力の向上が待たれるところだ。
＜AIエージェントがどの程度パソコンを操作できるかを探る「OSWorld」論文が注目を集めている＞
＊エクサウィザーズ AI新聞から転載
今年のAI業界のホットなテーマの１つはAIエージェント。そんな中、エージェントに関する１つの論文が話題になっている。
「OSWorld」というタイトルの論文で、現段階のAIエージェントはどの程度優秀なのかを計測しているもの。著者は香港大学のTao Yu氏を初めとする研究者の国際チーム。
AIエージェントの定義はいろいろあるが、この論文の中では「置かれた環境をセンサーなどで把握し、論理的に行動するAI」のように定義されている。つまり人間のようにパソコンを自在に操作できるAIということだ。
確かに最近のAIは、いろいろなパソコン操作が既に可能だ。もちろんパソコン上のボタンを押すことも、文字、数字を入力できる。アプリやソフトウェアのマニュアルを読んで理解し、アプリやソフトを操作することも可能。プログラミングもある程度できるし、検索、文書生成もできる。テキストを音声に変換し、音声ボットとして電話もできる。営業トークもできる。顧客との電話のやり取りで得た情報を表計算ソフトに入力することもできる。
つまりこの方向でAIが進化すれば、人間がパソコンを使って行う仕事のほとんどは、AIでもできるようになる。AIにできない仕事を探すほうが難しくなるのではないだろうか。そうなればAIエージェントは世界経済に非常に大きな影響を与えることが予測される。今われわれはそうした時代の入り口に立っていると言えそうだ。
ではそうした時代に向けて、今後AIはどのように進化していかなけらばならないだろうか。一般的には３つの技術の進化の方向が挙げられている。
一番大きく進化しなければならないのはReason（論理的思考能力）だろう。人間から与えられた仕事をこなすために、何をどう実行すべきかを考える力だ。１つの大きな仕事をこなすために、その仕事をいくつかのタスクに分解することも必要になってくる。
もうまもなくリリースされると噂されているOpenAIの次期LLM（大規模言語モデル）GPT-5では、論理的思考が大きく進化すると言われている。またOpenAI以外の有力AI企業も同様の能力を持つLLMを開発しているとみられている。
２つ目はVision、つまりコンピューターの画面を見て意味を理解する能力だ。どのボタンをクリックすれば、前のページに戻れるのか、どのボタンを押せば注文を確定できるのかなど、画面上の画像の意味を理解する能力だ。
AppleもこのVisionに関する論文を発表して話題になっている。Appleが発表したのはスマホの画面を理解して操作できるFerret-UIという技術。
Appleの純正の音楽アプリや地図アプリなら、siriを使って音声である程度操作できる。一方で他社製の音楽アプリや地図アプリはほとんど音声で操作できない。私はYouTube MusicやGoogle Mapを愛用しているのだが、自動車の運転中にこうしたアプリを音声で操作できればずいぶんと便利になるように思う。
ところがFerret-UIの技術だと、画面上のボタンなどのデザインの意味を理解できるようになるので、他社製のアプリもすべて操作できるようになるわけだ。
他にも同様のコンピューター画面理解の技術が、オープンソースのソフトウエアとして次々と登場してきている。
ウェブサイトは人間が理解しやすいようにデザインされている。人間に理解しやすくても機械には理解しにくいのが現状だ。Ferret-UIなどの技術の進化で、AIエージェントが画面上の画像を理解し、人間同様にコンピューター機器を操作できるようになる時代に向かっているわけだ。
３つ目はAction。AIエージェントは迅速に動くことが必要だ。音声ボットの電話の受け答えがタイムリーでなければ人間は電話を切ってしまうことだろう。最近Groqと呼ばれるレスポンスの速い半導体が注目されているのは、このためだ。
この論文の中では、必要な能力として次のようなものを挙げている。GUIグラウンディング（上に挙げたVisionのような能力）、オペレーションナレッジ（アプリの使い方の理解）、Long-Horizon Task Execution（上のReasonで挙げたようなタスクを分解して実行する能力）、Interactive Learning（試行錯誤する中で学んでいく能力）、スケーラビリティ（拡張性）、マルチモーダル（テキスト、画像、音声、映像などのデータを理解する能力）などだ。
この論文によると、人間は与えられたタスクの72%を問題なく実行できたのに、今日のAIエージェントは12.24%しか達成できなかったという。
なぜAIエージェントは、まだまだ能力が低いのか。一番の問題は、Visionだという。画面上のボタンなどの画像をうまく理解できなかったようだ。一般的ではないデザインや、ころころデザインが変化する画像ボタンなどに対処できなかったようだ。ドロップダウンメニューも、うまく操作できなかったという。
また複雑なタスクの実行も苦手だったようだ。今後の論理的思考の能力の向上が待たれるところだ。