脳の信号を自然な会話に...失われた言葉がAI技術でよみがえる日

チャンらは、パンチョの脳神経が発する複雑な信号を文字化することに挑戦した。そのためにはパンチョが実際に脳内で発話を試み、その際の脳波の変化をシステム側で言葉として認識し、登録するプロセスが必要だった。

パンチョの症例は、麻痺で発話機能を失った患者の脳内活動をダイレクトに有意な言葉に変換することに成功した最初の例とされる。

その後、チャンらはアンを被験者としてさらに研究を進めた。そして患者の脳信号を解読して言語化するだけでなく、それをリアルな音声にし、アバターで顔の動きを表現することに取り組んだ。

まず、脳の発話に関与する領域を覆うように250個以上の電極を埋め込んだ。アンが話そうとするときに発する信号は電極に伝わり、頭蓋骨から突き出たポートにつながるケーブルを介してコンピューターに入力される。

アンは言葉を思い浮かべたときに自分の脳が発する信号のパターンを、何週間もかけてAIシステムに学習させた。そうしてついに、1000以上の単語セットから成るフレーズを音素レベルで認識できるようにAIアルゴリズムを訓練した。

アンの頭部の神経データポートを音声補綴システムに接続　NOAH BERGER

アンの大脳皮質からの神経信号がモニターに表示される　NOAH BERGER

今回のシステムでは、現在のところ、1分間に80語弱のペースで脳信号を解読し、テキスト化できる。これは、アンが現在使っているテキストベースのコミュニケーション・システム（1分間に14語程度しか生成できない）に比べて格段に速い。

「正確さ、スピード、語彙が極めて重要だ」と言うのは、今回の論文に共著者として名を連ねるUCSFのショーン・メッツガーだ。「そうすれば患者は、やがて私たちとほぼ同じ速度でコミュニケーションを取り、より自然に会話できるようになる」

アバターが話す声はアン自身の声をベースにしている。研究チームは05年に結婚式でスピーチしたアンの映像を分析し、言語学習AIを使ってアンの声を再現した。さらにアバターは、アンの脳内信号を解析するAIの助けを借りて、アンの顔の筋肉の動きをシミュレートする。

「この技術は、脳卒中によって切断されたアンの脳と声道のつながりを補っている」と、カリフォルニア大学バークレー校の大学院生で、やはり論文の共著者であるケイロ・リトルジョンは言う。

また、論文の共同筆頭著者でUCSF脳神経外科の非常勤教授であるデービッド・モーゼスは「アンのような人々に、この技術を使って自分のコンピューターや電話を自由にコントロールする能力を提供することができれば、彼らの自立と社会的交流は飛躍的に改善されるだろう」と語る。

アンにとっても、この斬新な技術の開発に関わったことは人生を変える経験だった。

「以前のリハビリ病院にいたときは、言語療法士もすっかりお手上げだった」とアンは言う。「でも、この研究に参加したおかげで、私にも何か目的ができたような気がする。世の中の役に立っている、私にも仕事があるんだって感じ。今は、本当の意味で生きることができている」



アリストス・ジョージャウ