iKala、繁体字中国語LLM検証セット「TMMLU+」発表|台湾特有の言語・文化をカバー
Techable / 2024年8月15日 16時30分
近年は生成AIテクノロジーの台頭により、さまざまな国が自国の言語に対応する大規模言語モデル(LLM)の開発に取り組んでいる。
今年7月には、タイの多角経営グループであるDTGOが香港のAIソフトウエア企業SenseTimeと提携し、タイ語、中国語、英語の3か国語に対応するLLM「DTLM(DTGO Large Language Model)」の開発を発表した。
アジア圏でのLLM開発が盛り上がりを見せるなか、台湾でも多くの企業が繁体字中国語LLMの開発を進めている。こうした背景を受け、台湾発のAIソリューションプロバイダーであるiKalaは、新たな繁体字中国語検証セット「TMMLU+」を発表した。
LLMの精度とローカリゼーションを向上させる「TMMLU+」中国語の字体には「簡体字」と「繁体字」の2種類がある。
簡体字は、従来の複雑な漢字を簡略化した字体。中国本土、シンガポール、マレーシアなどで使用されている。いっぽう繁体字は従来、漢字文化圏で使用されてきた伝統的な字体だ。台湾のほか香港、マカオなどでも用いられている。
台湾市場ではこの繁体字に対応した言語モデルの需要が高まっており、さまざまな企業が同モデルの開発に着手しているという。
しかし、台湾には「8+9(不良を意味するスラング)」や「北車(台北駅の略称)」などの単語や、独自の文化が存在する。AIによる生成結果をより正確なものにするためには、LLMの構築プロセス中に検証セットで調整する必要がある。
そこで昨年10月、iKalaは繁体字中国語検証セットであるTMMLU+の開発を開始した。
台湾の言語・文化をカバーする設計TMMLU+は、MediaTekが発表したフレームワーク「TMMLU」をベースに作られている。iKalaのAIチームはソーシャルメディア上のデータを活用してフレームワークを拡張し、よりローカルな台湾の言語と文化の背景をカバーするように設計した。
この拡張により、TMMLU+は繁体字特有の言語的な文脈や表現をより反映できるようになった。なおTMMLU+はオープンソース化されており、地元企業がより現地のニーズに近い繁体字中国語LLMを開発する際の検証ツールとして大いに役立つだろう。
権威あるAI組織から正式に承認を受けるiKalaはTMMLU+の発表に伴い、TMMLU+がAI言語モデルに関する学術会議であるCOLM(Conference on Language Modeling)から正式に承認されたことも明かした。COLMはDeepMind、Meta、Microsoft、Ivy Leagueといった機関の著名な学者によって共同設立された、信頼性の高いAI組織だ。
TMMLU+は今年の春に審査に提出され、多くの論文の審査過程で上位10%以内の高スコアを獲得。世界の競合他社から一歩抜きん出た存在となった。
AIソリューションを手がけるiKala2011年に設立されたiKalaは、AIソリューションを手がけるグローバル企業。AI主導のクラウドサービスとマーケティングテクノロジーを提供し、企業の業務効率化と顧客とのコミュニケーション強化を支援している。本社は台北だが、2021年には日本支社iKala Japanを東京に開設した。
iKalaのソリューションとSaaS製品は7か国で展開中。「Fortune 500企業」を含む1000以上の企業やブランドのビジネスに変革をもたらしている。
今回、iKalaが発表したTMMLU+はすでに多くの台湾企業に採用されており、台湾のテクノロジー業界に信頼性の高いベンチマークを確立しているという。
参考・引用元:
iKala
iKala News
PR Newswire
(文・Haruka Isobe)
外部リンク
この記事に関連するニュース
-
タイ語・中国語・英語対応の大規模言語モデル「DTLM」登場|MMLUで従来のタイ語LLMより高評価
Techable / 2024年7月30日 12時0分
-
DeepL、新たに中国語繁体字を追加し対応言語を拡大
共同通信PRワイヤー / 2024年7月26日 12時20分
-
DeepL、新たに中国語繁体字を追加し対応言語を拡大
PR TIMES / 2024年7月24日 10時45分
-
DeepL、GPT-4超えうたう次世代大規模言語モデルを実装 - 翻訳や文章校正に特化
マイナビニュース / 2024年7月19日 19時41分
-
DeepL、独自データで学習した翻訳および文章校正に特化のLLM実装を発表
マイナビニュース / 2024年7月18日 11時33分
ランキング
-
1Androidの大きな脆弱性をセキュリティー会社が指摘 世界中のPixelデバイスに影響か
ASCII.jp / 2024年8月16日 18時0分
-
2「虎に翼」、ラスト1分で衝撃展開 新キャラ登場し「えっ? あれ和田正人だったの?」「ととと轟ィィィ」
ねとらぼ / 2024年8月16日 14時37分
-
3povo、「データ使い放題」の満了時間を変更 24時間きっかりに
ITmedia NEWS / 2024年8月16日 17時39分
-
4型落ちのiPhoneをお得に買う方法 Apple Store以外ではどこで買うのがオススメ?
ITmedia Mobile / 2024年8月16日 15時50分
-
5AWSにデータ流出や乗っ取り引き起こす脆弱性、セキュリティベンダーが指摘
マイナビニュース / 2024年8月15日 10時28分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)