大規模言語モデルに個人の発話を効率よく再現させる個人性再現対話技術を開発 ～NTT版LLM”tsuzumi”への適用により、本人のデジタル分身を低コストに生成可能～

[画像1]https://user.pr-automation.jp/simg/2341/81528/700_520_20240110112648659e006817eb4.JPG


2．技術の概要
　個性を有する個人の代理として社会の中で活躍できるAnother Meの実現には、その人らしくコミュニケーションする機能が欠かせません。そのような分身を誰もが持てるようにするため、少量データをもとに本人らしい発話を生成する「個人性再現対話技術」と、数秒～数分程度の音声から本人の音声を合成できる「Zero/Few-shot音声合成技術」を開発しました。

・個人性再現対話技術
　優れた文章生成能力を持つLLMは、人どうしの対話を集めた大量のデータで学習させることで、雑談や議論など人の自然な会話を生成する対話技術にも適用可能です。従来の対話技術の研究においては、個人性を再現するために個人の大量のデータでLLMをファインチューニング(※4)していました。そのためコストがかかりすぎ、Another Meで目指す万人のデジタル分身を再現することはできず、一部の著名人への適用などにとどまっている状況でした。一方、比較的少量のデータによりLLMを効率的に追加学習させる方法として、アダプタ技術（※5）があります。これを対話における個人性の再現に適用した場合、ベースとなるLLMが多種多様な人の大量のデータで学習されているため、追加学習データとの類似性が低い対話例において、特徴が全く異なる他人のような発話が生成され、個人の再現度が低下するという課題がありました（図2上）。
　それに対して我々が開発した個人性再現対話技術では、ペルソナ対話技術とアダプタ技術を組み合わせることで、課題の解決を図っています。これら２つの手法の組み合わせにより、個人アダプタで学習されていないような対話においても、ベースとなるLLMが対象となる個人のペルソナを反映した発話を生成するため、全く異なる人の発話内容が生成されてしまうという問題を回避します（図2下）。

　ペルソナ対話技術は、居住地や趣味などその人の大まかなプロフィール情報をパラメータ指定することで、そのようなプロフィールを持った人格（ペルソナ）に相応しい発話内容を再現することが可能です。tsuzumiのアダプタ技術を個人性の再現に適用した個人アダプタは、エピソードを交えた発話や口癖など、対象の個人に特化した発話生成が可能です。個人アダプタとして個人ごとに追加されるモデルのサイズは非常に小さく、動的に切り替えることができるため、多人数の対話の再現を効率的に実現できます。