【京大発・松尾研発スタートアップ エムニ】ファインチューニングを用いた特許翻訳特化型LLMの開発において、GPT-4oや翻訳モデルを凌駕する性能を達成
PR TIMES / 2024年8月20日 14時15分
株式会社エムニはファインチューニングを用いた特許翻訳特化型LLMの開発を日本特許翻訳株式会社と共同で行い、その結果GPT-4o等の汎用的なLLM及びDeepL等の翻訳モデルを凌駕する性能を達成しました
[画像1: https://prcdn.freetls.fastly.net/release_image/134983/6/134983-6-9ddb2a5066ecd27f51858b2192b211c6-2496x2138.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
各モデルの特許翻訳精度の比較
■ 概要
京都大学発兼、松尾研発スタートアップ株式会社エムニ(本社:東京都文京区、代表取締役社長:下野祐太)は、日本特許翻訳株式会社(本社:東京都中央区、代表取締役社長:本間奬)と共同で、Meta社が開発した大規模言語モデル(以下、LLM)『Llama-3-70B』をベースに、ファインチューニングを用いた特定分野における特許翻訳特化型LLMの開発に取り組みました。
その成果として、GPT-4oをはじめとする汎用的なLLM及びDeepLのような翻訳モデルを大幅に凌駕する性能を達成しました。
今後、より大規模なデータセットを用いた学習やIntelligenceの向上といった取り組みを進めていく予定です。
■ 背景
製造業をはじめとする多くの業界において、特許を翻訳する機会は多く存在しています。例えば特許権を外国で取得する場合は、特許明細書や特許庁への回答書を英語に翻訳する必要があり、また逆に外国の特許文献を調査する場合は、その内容を日本語に翻訳して調査を進める必要があります。
しかしながらこのような外国特許を人手で翻訳する場合、外国公報1件当たり10万円以上の費用と多くの時間を要します。
そういった課題に対して、昨今コストを抑えられるAIによる機械翻訳が注目されています。例えば高い翻訳性能を有した「Google翻訳」や「DeepL」といったツールは特許に限らず様々な場面で利用されており、LLMも翻訳業務での活用が期待されています。
しかしながら既存のツールや汎用的なLLMの場合、特定分野の特許内で用いられる独特な単語や表現に対応することができず、期待する精度を残すことができないという課題に直面しています。
そこで今回当社は特許翻訳のエキスパートである日本特許翻訳株式会社と共同で、Meta社が開発した『Llama-3-70B』をベースに、特定分野において人手で作成した特許翻訳文のペアを用いて、ファインチューニングという追加学習を実施しました。
■ 実験条件
学習データ
人手で翻訳を行った特許翻訳文対の600ペア及び4000ペアを学習データとして利用。
以下、学習データの例
翻訳前:The non-transitory computer-readable recording medium according to claim 2, wherein the process further includes calculating the increase in the number of operating circuits per prescribed time period, based on history regarding the operating status table created within the prescribed time period.
翻訳後:前記所定時間の前記動作状態テーブルの履歴に基づいて前記所定時間当たりの前記動作回路の増加数を算出する、処理を前記コンピュータに実行させる請求項2に記載の制御プログラム。
実行環境
CPU:Intel(R) Xeon(R) CPU E5-2687W
メモリ:125GB
GPU:NVIDIA RTX A6000 48GB ×2
評価指標
機械翻訳で一般的に利用される「BLEU」・「RIBES」を用いて評価を実施。
- BLEU機械翻訳の出力と人間が作成した参照訳との間で、Nグラムが一致した数で算出。一般的に40~50で高品質な翻訳であると言われる。『訳語の適切性』と『訳語の過不足の有無』を評価できる。
- RIBES機械翻訳の出力と人間が作成した参照訳との間で、共通して出現する単語の出現順序に基づいて算出。『語順の正確さ』を評価する事ができる。
使用したプロンプト
zero-shotで翻訳を指示するプロンプトを使用。
■ 結果
[画像2: https://prcdn.freetls.fastly.net/release_image/134983/6/134983-6-302e63afbcb1096a146726a52f563a71-2496x2138.png?width=536&quality=85%2C75&format=jpeg&auto=webp&fit=bounds&bg-color=fff ]
特定分野の特許翻訳600文対並びに4000文対を用いてファインチューニングを実施した結果、『Llama-3-70B』の特許翻訳性能を大幅に向上させることに成功しました。その結果、BLEU・RIBES両評価指標において、DeepLやGoogle翻訳といった翻訳モデル及びGPT-4oを始めとする汎用的なLLMを凌駕する特許翻訳性能を達成しました。
■ 終わりに
本取り組みを踏まえ、当社は今後以下の2つの開発並びに支援をより一層強化していく所存です。
- ファインチューニングを用いた独自LLMの開発本取り組みを通して獲得したファインチューニングに関する知見を活かし、特定業務に特化させた各社独自のLLM開発をご支援いたします。
- オンプレ環境におけるLLMの開発
本取り組みでは、オンプレ環境上でLLMのファインチューニング並びに評価を行いました。そこで当社は本取り組みを通して獲得したオンプレ開発に関する知見を活かし、工場内など特に高いセキュリティ要件が求められるクローズドな環境内でのLLM活用をご支援いたします。
■ 日本特許翻訳株式会社について
日本特許翻訳株式会社は、特許や知的財産関連の分野に特化した高精度な機械翻訳システムを提供する企業です。独自の翻訳支援ツールを活用し、特許翻訳を迅速かつ正確に行い、企業の知的財産活動をサポートしています。
本社所在地 :東京都中央区日本橋兜町17-2 兜町第六葉山ビル4F
URL:https://npat.co.jp/
■ 株式会社エムニについて
株式会社エムニは「AIで働く環境を幸せに、世界にワクワクを」というミッションのもと、製造業を中心に各企業ごとにカスタマイズされた『オーダーメイドAI』の開発及び導入支援に取り組んでいます。京都大学大学院でAI研究に従事したメンバーや、東京大学院工学系研究科松尾・岩澤研究室とビジョンを共有する松尾研究所でAI社会実装に携わったメンバーが、貴社に最適なAIを提供いたします。
[表: https://prtimes.jp/data/corp/134983/table/6_1_95ef7cdbb6fbfd870471fd427e92c4fa.jpg ]
企業プレスリリース詳細へ
PR TIMESトップへ
この記事に関連するニュース
-
OpenAIの最新AIモデル「GPT-4o」企業がカスタマイズできるように
ASCII.jp / 2024年8月21日 16時15分
-
リコー、日英中3言語に対応した700億パラメータの大規模言語モデル(LLM)を開発、お客様のプライベートLLM構築支援を強化
Digital PR Platform / 2024年8月21日 10時2分
-
Llama 3の日本語継続事前学習モデル「Llama 3 Youko」シリーズを公開
PR TIMES / 2024年7月26日 16時40分
-
Llama 3.1発表、4050億パラメータの最先端モデル公開「オープンなAIを主流に」
マイナビニュース / 2024年7月24日 7時22分
-
「Phi-3」「Llama-3」「GPT-4o mini」などの小規模言語モデルを使用して生成AIの回答精度を向上させる「SLMファインチューニング」カスタムサービスを開始
PR TIMES / 2024年7月23日 18時15分
ランキング
-
1東武日光線「板倉東洋大前から栃木」に何がある? 小さな駅でも構内が広い「北関東」らしい風景
東洋経済オンライン / 2024年8月21日 7時30分
-
2お米がありません!75歳のおひとり様女性、8月15日に「年金15万円」が振り込まれたはずが…残金2,000円の地獄「どう生きていけばいいのか」
THE GOLD ONLINE(ゴールドオンライン) / 2024年8月21日 6時15分
-
3不動産投資で何か見落としてない? 実際に投資家266人に失敗例を聞いてみた
Finasee / 2024年8月21日 13時0分
-
4国内でのテレビ液晶製造に幕 シャープ子会社が生産停止
共同通信 / 2024年8月21日 18時23分
-
5時間に追われる「仕事を断れない人」の深刻盲点 「仕事多すぎ」の原因は、"数値"で断る技術不足
東洋経済オンライン / 2024年8月21日 10時0分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)