発表のポイント

  • 　大規模言語モデル（LLM）はしばしば不正確な回答を流暢に返してくることがありますが、これはウェルニッケ失語症に代表される感覚性失語症の症状と似ていると言えます。
  • 　そこで本研究ではエネルギー地形解析という手法を用いて、失語症当事者の脳活動とLLM内の情報処理のダイナミクスを比較し、ウェルニッケ失語症とLLMの内部情報処理の類似性を発見しました。
  • 　本研究の成果は、生成AIに対してその内部情報処理機構に基づいた診断を与えることを通して、より効率的なブレインモルフィックAIの開発を加速させる可能性があります。

失語症当事者の脳と大規模言語モデルの比較

概要

　東京大学国際高等研究所ニューロインテリジェンス国際研究機構（WPI-IRCN）の渡部喬光教授、合原一幸エグゼクティブ・ディレクター（特別教授）、同大学大学院情報理工学系研究科の井上克馬助教、中嶋浩平准教授（WPI-IRCN連携主任研究者）、國吉康夫教授（WPI-IRCN連携研究者）らのグループは、大規模言語モデル（LLM）内を支えている情報処理の動的過程が感覚性失語症当事者の脳活動と類似していることを明らかにしました。
　LLMは、質問に対して不正確な情報を流暢な表現で返してくることが時にあります。一方、このような行動は、失語症、特にウェルニッケ失語症といった感覚性失語症でもみられます。この行動的類似性に発想を得て、本研究では「LLM内の情報処理は感覚性失語症当事者の脳活動と似ているのではないか」という仮説を立てました。そしてエネルギー地形解析（注１）という数理解析手法でLLMの内部情報処理過程と失語症当事者の脳活動を比較し、これを立証しました。
　このようなアプローチは今後、LLMの内部状態の理解やLLMの評価（いわば診断）基準の確立、より効率的なLLMの開発への貢献が期待されます。

発表内容

　近年発展が著しい大規模言語モデル（LLM）は、多くの問いに滑らかな答えを返すことができるようになりつつあります。しかしその流暢さに反して内容はしばしば不正確であり、幻覚（ハルシネーション）と呼ばれるような「一見もっともらしいが間違っている返答」や「内容に一貫性はないものの饒舌なレスポンス」を出力してくることもあります。

　一方、このような言語的特徴は、脳梗塞後などにしばしば発症する失語症の一部で認めることがあります。特に、ウェルニッケ失語症といった感覚性失語症の当事者でよくみられる「言葉は澱みなく出るのだけれども、よく聞くと意味のないことや一貫性のないことを話している、同じ内容を繰り返す、どうも質問を理解していない印象を受ける」といった症状と似ていると言えます。

　この行動的類似性にヒントを得て、本研究では「LLM内の情報処理パターンもある種の失語症当事者の脳活動パターンと似ているのではないか」という仮説を立てました。

失語症の脳活動
　この仮説を検証するために本研究はまず、失語症当事者の脳活動の特徴を抽出することから始めました。実際、失語症の診断と分類は現在主にその行動的・言語的特徴をもとに下されており、複数ある失語症それぞれに特徴的な神経活動自体が明らかにはなっていなかったためです。

　本研究では、脳梗塞によって様々なタイプの失語症を呈するようになった当事者から機能的MRI（fMRI）を用いて記録された安静時脳活動（rsfMRI）をエネルギー地形解析という数理解析方法で分析しました。この方法は過去約10年にわたって神経科学領域で特に開発されてきた手法で、脳全体の神経活動パターンのダイナミクスをまるで凸凹した土地の上を転がるボールの動きのように表現できるというものです（図１）。本研究でもこの数理解析を利用することで、脳神経活動ダイナミクスから抽出される安定状態がどの程度安定なのか（滞在時間）や、その安定状態の間をどの程度の頻度で移動しているのか（遷移頻度）を計算しました。


図1. 解析の流れ.

　本研究ではエネルギー地形解析という数理解析手法を用いることで、ヒトの脳活動とLLM内の情報処理を同じ基準で比較することに成功しました。それぞれの神経活動データもしくはLLM内部のニューラルネットワークのデータを、このデータ駆動型解析にかけることで、信号のダイナミクスにおける安定状態が同定されます。これをもとに、脳もしくはLLM内部のニューラルネットワークが、それぞれの安定状態にどの程度滞在するのか（滞在時間）、異なる安定状態間をどの程度の頻度で移動するのか（遷移頻度）を計算しました。

　この脳のダイナミクスに関する指標の分布を各失語症ごとに示したものが図2です。滞在時間（図2A）、遷移頻度（図2B）ともに、対照群、運動性失語症、感覚性失語症とで見た目に異なる分布の形をしています。特にどの程度二極化しているのか、という視点で見てみるとそれぞれが大きく違うことがわかります。実際、二極化の程度をジニ係数（注２）という数理指標を計算することで定量化してみると、図2C・2Dのようになります。遷移頻度に関するジニ係数は、失語症を示さない対照群を基準とした場合、感覚性失語症での増加が顕著でした（図2C）。一方、滞留時間の分布に関するジニ係数は、特に運動性失語症で減少していました（図2D）。
　
　さらに、これらをそれぞれの症状と比べてみると統計的に有意な相関が認められました。運動性失語症当事者で認められた滞留時間に関するジニ係数の減少は、彼らの発語の流暢性の低下と相関し（図2E）、感覚性失語症の当事者で認められた遷移頻度に関するジニ係数の上昇は、彼らの言語理解能力の低下と関係していたのです（図2F）。

図2. 各失語症の脳活動ダイナミクス.

本研究ではまず、失語症当事者の脳活動ダイナミクスを解析することで、安定状態への滞在時間、安定状態間の遷移頻度を計算しました（滞在時間の分布：パネルA、遷移頻度の分布：パネルB）。その結果、どちらの指標ともに、対照群に比べて運動性失語の分布は一様分布に近く、感覚性失語の分布はより二極化していました。実際、この二極化の程度をジニ係数を計算することで評価すると、運動性失語では滞在時間に関するジニ係数が対照群よりも低下しており（パネルC）、感覚性失語では遷移頻度に関するジニ係数が上昇していました（パネルD）。さらに、このジニ係数の対照群からの乖離は、それぞれの失語症の主たる症状と相関していました。例えば、ブローカ失語に見られる滞在時間に関するジニ係数の減少は、発語の流暢性の低下と関係していました（パネルE）。感覚性失語に認められる遷移頻度に関するジニ係数の上昇は、言語理解の低下と相関していました（パネルF）。

　これらをまとめると図3のようになります。失語症の分類はこれまで主に行動観察の結果に基づいていましたが、神経活動のダイナミクスに関する二つの数理指標を用いることで、運動性失語症か感覚性失語症なのか、というレベルであれば比較的明確に分けることができる、ということが判明したのです。


図3. 失語症の分布.

神経活動のダイナミクスから算出された二つの指標を基に各データをプロットすると、対照群を挟んで運動性失語と感覚性失語が比較的明瞭に分離されました。

LLM内部の信号処理ダイナミクス
　では、LLMはこの図3のどこに位置するのでしょうか？失語症のない対照群と同じような場所に当てはまるのでしょうか？それともいずれかのタイプの失語症のエリアにマッピングされるのでしょうか？

　本研究では、そのコードが公開されているいくつかの代表的なLLMを用いてこの問いを検討してみました。具体的には、GoogleTMが開発したALBERT、OpenAITMが開発したGPT-2、MetaTMが開発したLlama-3.1、日本の国立情報学研究所（NII）が開発したLLM-jp-3です。

　結果は、検討したすべてのLLMに共通するものでした。LLMの内部信号を解析してみると、４種類のLLM全てにおいて、対照群や運動性失語症よりは、ウェルニッケ失語症などの感覚性失語に近い領域にマッピングされたのです（図4）。これは、LLM内部の情報処理を支えるダイナミクスが感覚性失語当事者のそれに近いという可能性を示しています。すなわち、はじめに行動学的な類似性から想像されたように、LLMはその内部状態もウェルニッケ失語症に代表される感覚性失語症に似ている可能性があるということが実際のデータのダイナミクスに関する数理解析によって判明したわけです。




図4. LLMと失語症.

失語症に対して行ったエネルギー地形解析を、LLM内部のニューラルネットワーク信号に対しても実施しました。その結果、どのLLMもウェルニッケ失語に近い場所にプロットされることがわかりました。

注意点
　もちろん本研究の結果がすべてのLLMに敷衍できるとは限りません。もしかしたら今回調べることができなかったLLMの中には、異なる情報処理ダイナミックスのパターンを示すものもあるかもしれません。さらに、LLMと感覚性失語症に関して内部の情報処理ダイナミクスが似ていたとしても、この内部情報処理パターンがLLMにしばしば認められる幻覚（hallucination）などの「流暢だけど不正確」という症状をどのように生み出すのか、そのメカニズムは不明です。

今後の展開
　本研究ではまず、エネルギー地形解析を用いることで安静時の脳活動を基に失語症をある程度分類できることを示しました。その後、同じ解析方法をLLMにも適応することで、複数の代表的なLLMの内部情報処理のダイナミクスがウェルニッケ失語症といった感覚性失語症当事者の脳内で起きている神経ダイナミクスと類似していることを示しました。この結果とアプローチは、神経科学領域で使用されてきた数理解析手法を敷衍すれば、LLMなどの生成AIに対してある種の診断を与えられる可能性があることを示唆しています。さらに、このような内部情報処理に基づいた定量的な評価システムは、今後より効率的なブレインモルフィックAI開発につながることが期待されます。

発表者・研究者等情報

東京大学
　国際高等研究所ニューロインテリジェンス国際研究機構（WPI-IRCN）
　　渡部喬光 教授
　　合原一幸 エグゼクティブ・ディレクター（特別教授）

　大学院情報理工学系研究科
　　井上克馬 助教
　　中嶋浩平 准教授（ニューロインテリジェンス国際研究機構（WPI-IRCN）連携主任研究者）
　　國吉康夫 教授（ニューロインテリジェンス国際研究機構（WPI-IRCN）連携研究者）

論文情報

雑誌名：Advanced Science
題　名：Comparison of large language model with aphasia
著者名：Takamitsu Watanabe, Katsuma Inoue, Yasuo Kuniyoshi, Kohei Nakajima, Kazuyuki Aihara
DOI：10.1002/advs.202414016
URL： https://doi.org/10.1002/advs.202414016

研究助成

本研究は、科研費「学術変革領域研究(A)（課題番号：21H05679, 23H04217）」、ムーンショット型研究開発事業（課題番号：JPMJMS2021）、創発的研究支援事業（JPMJFR2321）、戦略的イノベーション創造プログラム(SIP)（課題番号：JPJ012425）の支援により実施されました。

用語解説

（注１）エネルギー地形解析
もともとは磁性体の研究から生まれたイジングモデルをベースとしている解析手法です。分子構造を推測するためなどに使用されてきましたが、最近10年ほど神経科学領域向けにもチューニングされ、使われてきています。全脳から機能的MRIなどで計測された神経活動に代表されるような空間的・時間的に多次元なデータを、複数の安定状態間の遷移ダイナミクスとして表現・定量化できるデータ駆動型解析方法です。

（注２）ジニ係数
もともと経済学で生まれた手法です。分布がどの程度、二極化しているのかを定量化できます。たとえば貧富の格差が大きく中間層が少ない地域では、所得分布のジニ係数は１に近くなります。逆にどの所得レベルにも同じような数の人がいる地域では、所得分布のジニ係数は０に近くなります。

問合せ先

（研究内容については発表者にお問合せください）

東京大学国際高等研究所ニューロインテリジェンス国際研究機構(WPI-IRCN)
　教授　渡部　喬光（わたなべ　たかみつ）

＜広報に関すること＞
東京大学国際高等研究所ニューロインテリジェンス国際研究機構（WPI-IRCN）広報担当