発表のポイント

  • 　脳の働きをまねした人工知能の仕組みの一つである、エコーステートネットワークにおける、教師なし学習を定式化しました。
  • 　従来は教師データが不可欠だと考えられていたエコーステートネットワークにおける処理が、教師データなしでも可能であることを初めて示しました。
  • 　効率的なAI設計や脳の自律的な学習機構の理解に寄与することが期待されます。



    エコーステートネットワークにおける教師なし学習

    概要

    　東京大学大学院情報理工学系研究科数理情報学専攻博士課程の山田泰輝大学院生、公立はこだて未来大学システム情報科学部複雑系知能学科の香取勇一教授、東京大学国際高等研究所ニューロインテリジェンス国際研究機構（WPI-IRCN）の藤原寛太郎准教授らの研究グループは、ニューラルネットワークの一種であるエコーステートネットワーク（ESN） (注1) において、教師なし学習 (注2) に基づく新しい定式化を提案しました。
    　この方法では、従来のように「正解データ」をあらかじめ与えなくても、入力データのパターンを自分で学び取り、さらに入力データに含まれる雑音を外部情報に頼ることなく取り除くことができることを理論的に示しました。この成果は、AIとしてのエコーステートネットワークが本来持っている能力を明らかにしたもので、今後は効率的なAIの開発や、人間の脳がどのように自律的に学んでいるのかを理解するための手がかりになると期待されます。
    　この研究成果は、2026年1月20日（米国東部時間）に査読付き国際学術誌 Neural Computation に掲載されました。

    発表内容

    背景

    　エコーステートネットワークは、リザバー計算 (注3) と呼ばれる枠組みに属する再帰型ニューラルネットワークの一種です。ESNは、さまざまな時系列タスクへの応用が可能であることが知られています。通常、ESNは入力から望ましい出力を得るために、正解となる出力時系列を教師データとして用いる教師あり学習 (注2) によって訓練されます。
    ESNのタスクの一つに「入力時系列をそのまま出力する」というものがあります。本研究では、これを「入力再構成」と呼びます。入力再構成は一見単純に見えますが、このタスクに取り組むことで入力時系列のパターンを学習できるだけでなく、その延長として雑音を取り除く処理も実現できることが先行研究により示されています。そのため、入力再構成は、人が受ける複雑で雑音が混じった感覚情報を他者に伝える脳の働きをモデル化したものとしても注目されています。
    　しかし、従来のESNにおける入力再構成には、真の入力時系列そのものを教師データとして与える必要があるという制約がありました。例えば、人が雑音を含んだ感覚情報を処理して他者に伝える場面を考えると、「どのパターンを学習するか」という指針や、本来存在しない「雑音のない純粋な入力系列」が、どこからともなく与えられることを前提にしているようなもので、現実的ではありません。すなわち、教師データが利用可能であれば、そもそも学習を行う意義が薄れてしまうという、問題設定上の不自然さが課題となっていました。

    研究手法と成果

    　ESNは入力層・リザバー層・出力層から構成され、通常はリザバー層から出力層への結合行列を、外部から与えられる教師データに基づいて学習します。従来の入力再構成タスクにおいても、入力と同じ系列を出力するためには、真の入力系列そのものを教師データとして与える必要がありました (図1-上)。
    　本研究では、ESNにおける入力再構成を教師なし学習として再定式化しました (図1-下)。具体的には、ネットワークの可逆性に関する数学的条件が成り立つ場合、教師データをリザバー状態で表現できる数式が成立することを示しました。これにより、ESNが正しい出力例を与えられなくても、リザバー状態の系列のみを用いて入力再構成を実現できることを理論的に明らかにしました。この結果として、入力系列のパターンの学習やノイズ除去も、リザバー状態の系列のみで自律的に可能であることを示しました。さらに、理論解析に加えて行った数値実験の結果、理論上の条件が完全に満たされない場合でも、本手法によって入力再構成が可能であることを確認しました。これは、より現実的な状況においても本手法が有効に機能することを示しています。
    　本研究は、従来、教師データが不可欠と考えられていた処理が、実際には教師なしの枠組みで成立することを初めて数理的に示した点で、ESNに関する新たな知見を提供しました。



    図1　ESNにおける入力再構成の定式化

    上段：ESNの典型的な定式化。入力層・リザバー層・出力層から構成され、リザバー層から出力層への結合行列は教師データに基づき学習されます。入力再構成タスクにおいても、真の入力系列そのものを教師データとして与える必要がありました。
    下段：本研究による再定式化。特定の数学的条件が成り立つ場合、教師データを用いずにリザバー状態の系列のみから入力再構成を実現可能であることを示しました。

    今後の展開

    本研究で提案したESNにおける教師なし学習の定式化は、スマートスピーカーが周囲の状況を把握し、雑音の中からユーザーの声を正確に聞き取るといったAI技術の基盤にもなり得ます。また、この定式化を脳型情報処理の観点から検討することで、脳の自律的な学習機構の数理的解明にもつながります。
    　さらに、この定式化はリザバー計算に基づくより一般的なシステムへ拡張できると考えられます。今後は、コンピューター上に実装されたESNにとどまらず、光学系や電子回路といった物理系リザバーへの適用も期待されます。

     

    発表者・研究者等情報

    東京大学　
    大学院情報理工学系研究科 数理情報学専攻
    　山田　泰輝　博士課程/日本学術振興会特別研究員
    　　　兼：同大学大学院医学系研究科附属未病AI医療研究センター 特任研究員

    大学院医学系研究科 附属未病AI医療研究センター
    　藤原　寛太郎　准教授
    　　　兼：同大学国際高等研究所ニューロインテリジェンス国際研究機構（WPI-IRCN） 准教授
    　　　兼：同大学大学院情報理工学系研究科 数理情報学専攻 准教授

    公立はこだて未来大学 システム情報科学部 複雑系知能学科
    　香取　勇一　教授
    　　　兼：東京大学国際高等研究所ニューロインテリジェンス国際研究機構（WPI-IRCN）連携研究者

    論文情報

    雑誌名：Neural Computation
    題　名：Unsupervised Learning in Echo State Networks for Input Reconstruction
    著者名：Taiki Yamada*, Katori Yuichi, Kantaro Fujiwara
    DOI:10.1109/ACCESS.2023.3299296
    URL:https://doi.org/10.1162/NECO.a.38

    研究助成

    本研究は、科研費(JP20H00596, JP21K12105, JP22K18419, JP24K15161, JP24H02330)、JST CREST (JPMJCR19K2)、JST ムーンショット型研究開発事業 (JPMJMS2021)、戦略的イノベーション創造プログラム（SIP）「統合型ヘルスケアシステムの構築」(JPJ012425)の支援により実施されました。

    用語解説

    （注1）エコーステートネットワーク（ESN）
    時系列データのパターン認識や予測を効率的に行えるニューラルネットワークの一種。
    （注2）教師あり学習 / 教師なし学習
    教師あり学習は、入力に対してあらかじめ用意された正解（ラベルや数値）を出力できるように学習する方法。教師なし学習は正解を与えず、データに潜む規則や構造を自動的に見つけ出す方法。
    （注3）リザバー計算
    入力を高次元の動的システムに写像し、その状態を利用して効率的に計算する手法。

    問合せ先

    （研究内容については発表者にお問合せください）

    東京大学大学院情報理工学系研究科
    山田　泰輝（やまだ　たいき）
    　
    〈広報担当者連絡先〉
    東京大学国際高等研究所 ニューロインテリジェンス国際研究機構（WPI-IRCN）広報担当

    東京大学大学院医学系研究科 総務チーム

    東京大学大学院情報理工学系研究科 広報室

    公立はこだて未来大学 入試・広報・就職課