チューリング、Vision & Languageモデル評価のための「Heron VLMリーダーボード」に技術提供
PR TIMES / 2024年6月13日 13時45分
- ML実験管理プラットフォームを提供するWeights & Biases Japanと連携 -
完全自動運転車両の開発に取り組むTuring株式会社(東京都品川区、代表取締役:山本 一成、以下、チューリング)は、ML実験管理プラットフォームを提供するWeights & Biases Japan株式会社(以下、W&B Japan)が本日公開したVision-Languageモデル(以下、VLM)の評価のためのリーダーボード「Heron VLMリーダーボード」に技術提供を行いました。公開時点では、15を超えるVLMでHeron-Benchを含む日本語VLM評価による比較が可能になっています。
[画像: https://prcdn.freetls.fastly.net/release_image/98132/50/98132-50-139faf4d12219ba2b57a359972a53d1e-1200x675.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
「Heron VLMリーダーボード」概要
本リーダーボードは、完全自動運転の実現に向けたマルチモーダル生成AI「Heron」を開発するチューリングと国内最大級のLLMリーダーボード「Nejumi LLMリーダーボード」を運営するW&B Japanの知見を合わせて開発しました。
チューリング独自開発の日本語VLM性能評価ベンチマーク「Heron Bench」およびVLMの評価のために世界で広く使われている「LLaVA Bench (In-the-Wild)」を組み合わせた総合評価により、現実世界に即した複雑な画像を用いた評価だけでなく、日本の文化的文脈に根差した評価を可能にしています。
URL:http://vlm.nejumi.ai/
インタラクティブにモデル評価結果を分析
Heron VLMリーダーボードは、Weights & Biases プラットフォームの実験管理機能を活用することで評価の再現性とトレーサビリティを担保しているほか、よりインタラクティブに評価結果を表示し、その場で分析することが可能です。平均スコアをランキング表示するだけでなく、それぞれのモデルがどのような特徴を有しているのかを捉えることができるよう設計されており、各評価軸における性能を複数のモデル間で比較するレーダーチャートや、一つ一つの評価タスクにおける入出力を可視化するテーブルなどが含まれています。
「Heron Bench」について
チューリングが独自開発した、日本語VLMの性能を評価するための汎用的なベンチマークです。Conversation、Detail、Complexの3つのカテゴリーを設定した日本特有の画像と質問のペアデータセットで構成されており、日本語VLMの性能を詳細に分析することが可能です。
URL:https://huggingface.co/datasets/turing-motors/Japanese-Heron-Bench
チューリングについて
完全自動運転車両の開発に取り組むスタートアップです。カメラから取得したデータのみでステアリング、ブレーキ、アクセルなど、運転に必要なすべての判断をAIが行うE2E (End-to-End) の自動運転AIを開発しています。高度な自動運転を実現する「生成AI」、AIを車載で動かす「半導体」、車両とAIを一体化させる「自動運転システム」の3軸の開発を同時に進めることで、2030年までに完全自動運転を実現することを目指しています。
【会社概要】
会社名:Turing株式会社
所在地:東京都品川区大崎1丁目11−2 ゲートシティ大崎 イーストタワー4階
代表者:代表取締役 山本一成
設立:2021年8月
事業内容:完全自動運転EVの開発・製造
URL:https://tur.ing/
企業プレスリリース詳細へ
PR TIMESトップへ
この記事に関連するニュース
-
ELYZA、「GPT-4」を上回る性能の日本語LLMを開発・公開
PR TIMES / 2024年6月26日 16時45分
-
オンプレミス導入も可能な高性能日本語LLM「Llama 3 neoAI 8B Chat v0.1」を公開
PR TIMES / 2024年6月26日 16時45分
-
開発費30万円のLLM、『AWS Summit Japan2024』のブース出展およびCPOの登壇決定
PR TIMES / 2024年6月18日 15時45分
-
サイバーエージェント、大規模“視覚”言語モデル(VLM)を公開‐日本語に対応
マイナビニュース / 2024年6月13日 14時0分
-
Weights & BiasesがVision-Languageモデル評価のためのHeron VLMリーダーボードを公開
PR TIMES / 2024年6月13日 13時45分
ランキング
-
1新NISAで人気の「NTT株」が5月から急落した深層 個人株主は急増も、海外投資家と思惑のズレ?
東洋経済オンライン / 2024年6月26日 8時10分
-
2「ポテポテハッシュポテハッシュ」の癖になるリズム マクドナルド公式X、朝マックのアピール動画話題に
J-CASTニュース / 2024年6月25日 19時48分
-
3テスラ、新型EVリコール 1万台超、不具合相次ぐ
共同通信 / 2024年6月26日 7時12分
-
4青森のサクランボ農園で実が割れる被害、佐藤錦は1〜3割が裂果…9園が一般客の受け入れ断念
読売新聞 / 2024年6月25日 23時0分
-
5「鹿児島県産」を「兵庫県産神戸牛」表示で販売…卸売業者に是正指示 「ホルスタイン種」を「和牛」にも 誤った個体識別番号表示で農水省近畿農政局も勧告
MBSニュース / 2024年6月25日 19時20分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)