＜話をする機能を失った人の脳の信号を読み取り、アバターで声と表情を再現する、画期的な研究が進行中＞
全身麻痺で発話能力を失った女性が、AI（人工知能）システムのおかげで18年ぶりに言葉を取り戻した。
【動画】脳の信号を自然な会話に...研究に被験者として参加しているアン・ジョンソン
患者の名はアン・ジョンソン。カリフォルニア大学サンフランシスコ校（UCSF）脳神経外科の研究に被験者として参加している。
8月23日付のネイチャー誌電子版に掲載された論文によると、このシステムは患者の脳に埋め込んだ電極をコンピューターに接続し、最先端のAIソフトを駆使して脳神経の発する信号を解読し言葉に変換。そして画面上のデジタルアバターの口と表情を動かすことで、極めて自然なコミュニケーションを可能にする。
UCSFの科学者たちは、このシステムがいつか米食品医薬品局（FDA）の認可を得て実用化されることを期待している。そうすれば、アンのように身体的な発話能力を失った患者もほぼリアルタイムで、より自然なコミュニケーションが可能になる。
「私たちの目標は、他人と話をするための最も自然な方法を回復することだ」。UCSF脳神経外科の主任教授で、この研究を主導しているエドワード・チャン医師はそう述べる。「今回の研究によって、私たちは患者にとっての真のソリューションに大きく近づいたことになる」
アンは18年前、30歳の時に脳卒中を起こし、重度の全身麻痺が残った。筋肉を全く動かせなくなり、当初は自力で呼吸することもできなかったという。
「一夜にして、全てが奪われた」と、頭の小さな動きを感知しパソコンの画面に文字を表示する装置の助けを借りてアンは書いた。「私には生後13カ月の娘と夫の8歳の連れ子がいて、わずか26カ月の結婚生活があった」
「閉じ込め症候群（LIS）。それは文字どおりの症状だ」と、アンは装置を使って語った。「意識も感覚も完全で、五感の全てが正常に働いているのに、筋肉が動かない肉体に閉じ込められてしまう」
その後数年間、アンは苦しいリハビリに耐え、再び自分で呼吸ができるようになり、首を動かせるようになった。今では顔の筋肉を微妙に動かして、泣いたり笑ったりもできる。だが、どれだけリハビリに励んでも言葉を発することはできなかった。
脳の信号を自然な会話に
アンは2021年にチャンらの研究を知った。それはパンチョという名の、やはり脳卒中で半身不随になった男性についての論文だった。
チャンらは、パンチョの脳神経が発する複雑な信号を文字化することに挑戦した。そのためにはパンチョが実際に脳内で発話を試み、その際の脳波の変化をシステム側で言葉として認識し、登録するプロセスが必要だった。
パンチョの症例は、麻痺で発話機能を失った患者の脳内活動をダイレクトに有意な言葉に変換することに成功した最初の例とされる。
その後、チャンらはアンを被験者としてさらに研究を進めた。そして患者の脳信号を解読して言語化するだけでなく、それをリアルな音声にし、アバターで顔の動きを表現することに取り組んだ。
まず、脳の発話に関与する領域を覆うように250個以上の電極を埋め込んだ。アンが話そうとするときに発する信号は電極に伝わり、頭蓋骨から突き出たポートにつながるケーブルを介してコンピューターに入力される。
アンは言葉を思い浮かべたときに自分の脳が発する信号のパターンを、何週間もかけてAIシステムに学習させた。そうしてついに、1000以上の単語セットから成るフレーズを音素レベルで認識できるようにAIアルゴリズムを訓練した。
アンの頭部の神経データポートを音声補綴システムに接続 NOAH BERGER
アンの大脳皮質からの神経信号がモニターに表示される NOAH BERGER
今回のシステムでは、現在のところ、1分間に80語弱のペースで脳信号を解読し、テキスト化できる。これは、アンが現在使っているテキストベースのコミュニケーション・システム（1分間に14語程度しか生成できない）に比べて格段に速い。
「正確さ、スピード、語彙が極めて重要だ」と言うのは、今回の論文に共著者として名を連ねるUCSFのショーン・メッツガーだ。「そうすれば患者は、やがて私たちとほぼ同じ速度でコミュニケーションを取り、より自然に会話できるようになる」
アバターが話す声はアン自身の声をベースにしている。研究チームは05年に結婚式でスピーチしたアンの映像を分析し、言語学習AIを使ってアンの声を再現した。さらにアバターは、アンの脳内信号を解析するAIの助けを借りて、アンの顔の筋肉の動きをシミュレートする。
「この技術は、脳卒中によって切断されたアンの脳と声道のつながりを補っている」と、カリフォルニア大学バークレー校の大学院生で、やはり論文の共著者であるケイロ・リトルジョンは言う。
また、論文の共同筆頭著者でUCSF脳神経外科の非常勤教授であるデービッド・モーゼスは「アンのような人々に、この技術を使って自分のコンピューターや電話を自由にコントロールする能力を提供することができれば、彼らの自立と社会的交流は飛躍的に改善されるだろう」と語る。
アンにとっても、この斬新な技術の開発に関わったことは人生を変える経験だった。
「以前のリハビリ病院にいたときは、言語療法士もすっかりお手上げだった」とアンは言う。「でも、この研究に参加したおかげで、私にも何か目的ができたような気がする。世の中の役に立っている、私にも仕事があるんだって感じ。今は、本当の意味で生きることができている」
アリストス・ジョージャウ
全身麻痺で発話能力を失った女性が、AI（人工知能）システムのおかげで18年ぶりに言葉を取り戻した。
【動画】脳の信号を自然な会話に...研究に被験者として参加しているアン・ジョンソン
患者の名はアン・ジョンソン。カリフォルニア大学サンフランシスコ校（UCSF）脳神経外科の研究に被験者として参加している。
8月23日付のネイチャー誌電子版に掲載された論文によると、このシステムは患者の脳に埋め込んだ電極をコンピューターに接続し、最先端のAIソフトを駆使して脳神経の発する信号を解読し言葉に変換。そして画面上のデジタルアバターの口と表情を動かすことで、極めて自然なコミュニケーションを可能にする。
UCSFの科学者たちは、このシステムがいつか米食品医薬品局（FDA）の認可を得て実用化されることを期待している。そうすれば、アンのように身体的な発話能力を失った患者もほぼリアルタイムで、より自然なコミュニケーションが可能になる。
「私たちの目標は、他人と話をするための最も自然な方法を回復することだ」。UCSF脳神経外科の主任教授で、この研究を主導しているエドワード・チャン医師はそう述べる。「今回の研究によって、私たちは患者にとっての真のソリューションに大きく近づいたことになる」
アンは18年前、30歳の時に脳卒中を起こし、重度の全身麻痺が残った。筋肉を全く動かせなくなり、当初は自力で呼吸することもできなかったという。
「一夜にして、全てが奪われた」と、頭の小さな動きを感知しパソコンの画面に文字を表示する装置の助けを借りてアンは書いた。「私には生後13カ月の娘と夫の8歳の連れ子がいて、わずか26カ月の結婚生活があった」
「閉じ込め症候群（LIS）。それは文字どおりの症状だ」と、アンは装置を使って語った。「意識も感覚も完全で、五感の全てが正常に働いているのに、筋肉が動かない肉体に閉じ込められてしまう」
その後数年間、アンは苦しいリハビリに耐え、再び自分で呼吸ができるようになり、首を動かせるようになった。今では顔の筋肉を微妙に動かして、泣いたり笑ったりもできる。だが、どれだけリハビリに励んでも言葉を発することはできなかった。
脳の信号を自然な会話に
アンは2021年にチャンらの研究を知った。それはパンチョという名の、やはり脳卒中で半身不随になった男性についての論文だった。
チャンらは、パンチョの脳神経が発する複雑な信号を文字化することに挑戦した。そのためにはパンチョが実際に脳内で発話を試み、その際の脳波の変化をシステム側で言葉として認識し、登録するプロセスが必要だった。
パンチョの症例は、麻痺で発話機能を失った患者の脳内活動をダイレクトに有意な言葉に変換することに成功した最初の例とされる。
その後、チャンらはアンを被験者としてさらに研究を進めた。そして患者の脳信号を解読して言語化するだけでなく、それをリアルな音声にし、アバターで顔の動きを表現することに取り組んだ。
まず、脳の発話に関与する領域を覆うように250個以上の電極を埋め込んだ。アンが話そうとするときに発する信号は電極に伝わり、頭蓋骨から突き出たポートにつながるケーブルを介してコンピューターに入力される。
アンは言葉を思い浮かべたときに自分の脳が発する信号のパターンを、何週間もかけてAIシステムに学習させた。そうしてついに、1000以上の単語セットから成るフレーズを音素レベルで認識できるようにAIアルゴリズムを訓練した。
アンの頭部の神経データポートを音声補綴システムに接続 NOAH BERGER
アンの大脳皮質からの神経信号がモニターに表示される NOAH BERGER
今回のシステムでは、現在のところ、1分間に80語弱のペースで脳信号を解読し、テキスト化できる。これは、アンが現在使っているテキストベースのコミュニケーション・システム（1分間に14語程度しか生成できない）に比べて格段に速い。
「正確さ、スピード、語彙が極めて重要だ」と言うのは、今回の論文に共著者として名を連ねるUCSFのショーン・メッツガーだ。「そうすれば患者は、やがて私たちとほぼ同じ速度でコミュニケーションを取り、より自然に会話できるようになる」
アバターが話す声はアン自身の声をベースにしている。研究チームは05年に結婚式でスピーチしたアンの映像を分析し、言語学習AIを使ってアンの声を再現した。さらにアバターは、アンの脳内信号を解析するAIの助けを借りて、アンの顔の筋肉の動きをシミュレートする。
「この技術は、脳卒中によって切断されたアンの脳と声道のつながりを補っている」と、カリフォルニア大学バークレー校の大学院生で、やはり論文の共著者であるケイロ・リトルジョンは言う。
また、論文の共同筆頭著者でUCSF脳神経外科の非常勤教授であるデービッド・モーゼスは「アンのような人々に、この技術を使って自分のコンピューターや電話を自由にコントロールする能力を提供することができれば、彼らの自立と社会的交流は飛躍的に改善されるだろう」と語る。
アンにとっても、この斬新な技術の開発に関わったことは人生を変える経験だった。
「以前のリハビリ病院にいたときは、言語療法士もすっかりお手上げだった」とアンは言う。「でも、この研究に参加したおかげで、私にも何か目的ができたような気がする。世の中の役に立っている、私にも仕事があるんだって感じ。今は、本当の意味で生きることができている」
アリストス・ジョージャウ