LLM活用のリーガルリサーチAI誕生。法律文献に依拠した回答で信ぴょう性・正確性を向上
Techable / 2023年6月19日 13時10分
株式会社Legalscapeは、大規模言語モデル(LLM)の法務領域への応用を通じ、法務パーソンを想定利用者とするリーガルリサーチ特化の対話AIを開発しました。
また、大手法律事務所である森・濱田松本法律事務所との協働により、高い精度を達成。今後の実用化を目指します。
法務領域における対話AIの課題昨今の対話AIシステムは、幅広い質問にもっともらしい回答を返すことができますが、回答の正確性が求められる法務領域においては、さまざまな課題があります。
例えば、回答内容の根拠や背景となるロジックが不明であることや、「それらしい嘘をついてしまう」という通称“hallucination”問題は、法務領域における実務応用上、特に大きな課題と言えるでしょう。
信頼できる法律書籍を引用、信ぴょう性・正確性を向上株式会社Legalscapeは対話AIをリーガルリサーチ領域に実装する手法として、質問への回答時に必ず信頼のおける法律書籍を引用するシステムを開発。
これは、日本における法律実務のノウハウが主に法律書籍や雑誌などの二次情報として流通しており、LLMに法律書籍などを組み合わせて利活用することの効用が非常に高いと考えられているからだといいます。
法律書籍を引用することで、回答の根拠が不明である問題や hallucination問題を解決しつつ、回答の正確性を大幅に向上することに成功しています。
なお、同AIの研究開発は、東京大学大学院 情報理工学系研究科 コンピュータ科学専攻で自然言語処理を研究してきた最高技術責任者の城戸祐亮氏を中心とするチームが行いました。
司法試験の一部領域で例年の合格正答率を大きく上回るLegalscapeと森・濱田松本法律事務所は、リーガルリサーチ特化の対話AIの企画・開発のための意見交換・協議を実施。それを踏まえ、Legalscapeがシステムを開発し、同法律事務所において試験利用を行っています。
また、試験利用における利用結果・フィードバックを踏まえた改善を繰り返すことにより、回答の質を向上させるとともに、法律実務における実際の利活用方法を考慮したシステム設計を進めてきました。
現段階の具体的な成果として、平成26年司法試験の短答式試験(民事系科目、会社法領域)における正答率は78.6%を記録。同じくGPT-4ベースのChatGPTの正答率は35.7%でした。
また、平成24~26年司法試験の短答式試験 (民事系科目)および平成24~28年の司法試験予備試験の短答式試験 (民法・商法・民事訴訟法科目) で出題された会社法領域問題 計70問においても、同AIは71.4%の正答率。GPT-4ベースのChatGPTは、42.9%でした。
なお、司法試験短答式の例年の合格正答率は60%程度とのことです。
他の法分野への対応・さらなる改良で早期製品化へLegalscapeはこれまで、同AIにおいて、会社法分野での開発・改良に注力してきました。
現在は、他の法分野の法律書籍や法律書籍以外の文献の追加を行うなど、企業法務を中心としたさまざまな法分野への拡充を目指し、さらなる取り組みを開始しています。
また、引き続き、森・濱田松本法律事務所との協働を行い、これらを通じてシステムにさらなる改良を加えることで、早期の製品化を目指すとのことです。
参考元:https://prtimes.jp/main/html/rd/p/000000003.000049838.html
(文・Higuchi)
外部リンク
この記事に関連するニュース
-
法律事務所ZeLo、法的思考と創造力で新規ビジネスの立案に挑戦するインターンシップ・プログラム「ZeLo Legal Camp2024」を開催
PR TIMES / 2024年7月20日 10時40分
-
【司法試験予備試験合格者に調査】合格者に聞く「予備試験短答式試験」合格のポイントは?これからの時代の短答対策とは?
PR TIMES / 2024年7月18日 17時45分
-
LegalOn Technologies、新たにカスタムAIソリューション開発事業を開始
PR TIMES / 2024年7月12日 12時15分
-
「LEGAL LIBRARY」が法律書籍と法令をリンクする新機能「法令リンク」をリリース
PR TIMES / 2024年7月5日 12時45分
-
Legalscapeは日本組織内弁護士協会「JILA」の公式スポンサーに就任しました
PR TIMES / 2024年7月4日 17時45分
ランキング
-
1世界規模のWindows障害が情シス的にだいぶ恐怖なワケ ブルースクリーン多発事件
ITmedia NEWS / 2024年7月19日 18時18分
-
2米クラウドストライク、カーツCEOが状況説明もユーザーは恨み節 「配布前にテストしたのか?」「なぜ金曜日に」
ITmedia NEWS / 2024年7月19日 22時5分
-
3これぞ理想の夏休み?祖父・父親・孫の3世代でゲームをプレイする任天堂、夏の新CMがエモい
インサイド / 2024年7月19日 19時40分
-
4「スマホ熱中症」に要注意 絶対にやってはいけないこと/効果的な対策を紹介
ITmedia Mobile / 2024年7月20日 11時30分
-
5世界規模でWindowsがブルスクに うちのPCには影響あるの?
ITmedia NEWS / 2024年7月19日 16時25分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)