【記者発表】『深層学習に基づいた2光子顕微鏡画像のデノイズ・レストア法「Mu-net」の開発』

１． 発表のポイント：

◆ 2光子イメージング画像の劣化・ボケを回復するための深層学習に基づいたフィルタMu-netを開発しました。
◆ Mu-netを適用することにより、大きさ 1 μmのポストシナプススパインを保存しつつも、ショットノイズの低減から > 100 μmの深さ依存的なトレンドの除去まで超多スケールにわたる画像のデノイズ・レストアを行うことができます。
◆ 本研究の成果は、記憶シナプスの標識技術と組み合わせることで、記憶に関与する神経回路の抽出に役立つことが期待されます。

２．発表概要：

京都大学大学院情報学研究科のLee Sehyung特定研究員、石井信教授（東京大学国際高等研究所ニューロインテリジェンス国際研究機構(WPI-IRCN)連携研究者）、東京大学大学院医学系研究科疾患生命工学センター河西春郎教授（同　主任研究者）らの研究チームは、2光子イメージング像のデノイズ・レストアを行うために深層学習に基づくフィルタMu-netを開発しました。
神経科学において、2光子励起顕微鏡による蛍光生体イメージングは組織深部を低侵襲で観測する特長から幅広く用いられています。しかし、2光子イメージング像はボケ、ノイズ、退色、また，深さ依存的な画像トレンドといった様々なダメージを受けます。このような劣化画像の回復を行うことができれば、新皮質深層にまでいたる記憶神経回路の抽出が可能になります。しかし、多様かつ多スケールにわたる画像のノイズ・劣化を回復する画像フィルタは存在しませんでした。
そこで、本研究グループでは代表的な深層学習の一種であるU-netを基本としつつ、ガウシアンピラミッドの考え方に基づいて、画像を多段階にわたり空間的ダウンスケールして各々のスケール像をU-Netに適用するアプローチをとりました。さらに、深層学習器のトレーニングには敵対的生成ネットワーク(generative adversarial network, GAN)を用いることで、人手による処理（アノテーション）が少ない場合でも効果的なトレーニングを実現しました。その結果、2光子イメージング像に特有の >100 μmにわたる深度依存的なノイズ・ボケを除去しつつ、～1 μmのスパイン構造は保持するという、超多スケールにわたる画像のデノイズ・レストア行うフィルタの開発に成功しました（図１）。

人工的に劣化させた2光子イメージング像を用いて画像回復性能を評価したところ、既存の1) 逆畳み込みフィルタ、2) 一般的なCNNフィルタ、3) U-net のみならず、ごく最近公開された4) content-aware image restoration (CARE) (Nature Methods 15, pp. 1090–1097, 2018) に対しても優位性を持つことが明らかとなりました。研究グループは同フィルタをMu-netと命名いたしました。
開発した手法は、記憶シナプスの標識技術と組み合わせることで、記憶に関与する神経回路の抽出に役立つことが期待されます。成果は2020年2月20日に人工ニューラルネットワークの専門誌「Neural Networks」に掲載されました。

本研究は、東京大学国際高等研究所ニューロインテリジェンス国際研究機構、国立研究開発法人科学技術振興機構（JST CREST JPMJCR1652）、国立研究開発法人日本医療研究開発機構（AMED 17dm0107120h0002）、日本学術振興会科学研究費助成事業（JSPS KAKENHI 26221001, 17H06310, 17K00404）の助成を受けて実施されました。

３．論文情報：
掲載雑誌：Neural Networks
論文名：Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration
DOI：10.1016/j.neunet.2020.01.026.

４．著者：

５．研究内容に関する問い合わせ先：

【研究に関するお問合せ先】

京都大学　大学院情報学研究科　システム科学専攻
教授　石井　信（Shin Ishii）
〒606-8501　京都府京都市左京区吉田本町36-1　
E-mail：ishii@i.kyoto-u.ac.jp