D01 生体工学リザバ計算

情報学・物理学・生物学などの学際的分野では、我々の身の周りに様々な計算リソースが眠っていることが指摘されている。水面の波紋や、ロボットの動きなど、ありとあらゆる物理現象から計算能力を取り出す技術は物理リザバ計算と呼ばれ、”非線形な物理現象の多彩さ”を利用することで、ごくわずかな学習と計算コストにより推定・予測・識別といった高度な情報処理（推定、制御）を行えることが実証されている。

私たちは、リザバ計算の情報処理精度が高くなる力学系の特性（非線形性、非均質性、長期記憶特性）と、生体組織が持つ力学特性に多くの合致があることを見出した。非線形性、非均質性（異方性）は、生体組織の顕著な特性である。さらに、申請者が明らかにしたとおり、生体組織はその粘弾性特性に特有の長期記憶効果を持つため、それは高い情報処理精度に繋がるポテンシャルがある。これら生体組織に宿る生物の計算器を活用できれば、ごくわずかな学習と計算コストのみで、高度な情報処理をエッジかつローカルに実現できる。

そこで、人の組織を利用してコンピューティング・情報処理する研究を実施した。具体的には、物理リザバコンピューティングの中間層として、人の組織の変形を利用する研究を実施する。生体組織を利用したコンピューティングの基礎理論を構築すると共に、それを活用したエッジな計算を工学的に応用していく。私達はこのような人間の身体を計算資源化している研究を、生体工学的リザバ計算（Biomechanical reservoir computing）と名付け、その領域の研究を積極的に展開している。

また、生体組織特有の多種多様な形態（特性や構造）が、いかに運動制御や知覚に関わっているかという点を物理リザバ計算の観点から理解していき、認知科学や心理学の知見と統合させていく。近年、認知科学において提唱された「身体媒質論（Turveyら,2014）」では、生物の触知覚の情報の構造化が、筋や腱などの生体軟組織を媒体として処理されると考えられている。身体媒質論は、生体材料を中間層（媒質）とした物理リザバ計算とも考えられ、本研究構想は、これらの生物の知覚処理を活用・模倣した制御・情報処理となりうる。

(I) 生体内部の筋肉組織を利用した情報処理（非線形方程式のエミュレーション）

生体組織の特性を理解の基盤とし、生体内部の筋肉組織のダイナミクスを計算資源化する物理リザバ計算の研究を実施している。申請者の研究では、人の組織の内部変形場を利用した物理リザバ計算が可能であることを実証した。実験では、手関節を動作させることで、関連する筋肉の変形場を生じさせ、それを超音波画像として取得した。それを画像処理することで特徴点の位置を取得し、その変形場を物理リザバ計算の中間層とする計算システムを構築した。手首の関節角度をシステムへの入力として、ニューラルネットワークの評価で使われる非線形時系列データ処理のベンチマークテストであるNARMAモデル（時間の遅れが存在し複雑な非線形性を有する非線形方程式）のエミュレーションを行った。具体的には、手首関節を入力としてNARMAモデルを計算し、その出力を教師信号として、物理リザバ計算の出力層を学習させた。その結果、NARMAモデルで算出されたターゲット信号と、組織変形場の物理リザバ計算で推定した出力の間の相対誤差は0.5%程度であった。この結果から、生体組織を使った物理リザバ計算による情報処理が可能であることを実証している。これらから、組織変形場を利用した情報処理は、機械学習（ニューラルネットワーク）で実施されているような、高度な推定の計算が可能であることが示唆された。

＜主要論文＞

Preprint. Yo Kobayashi*,  "Information processing via human soft tissue", arXiv(2305.14366, Quantitative Biology , Neurons and Cognition), 2023: https://arxiv.org/abs/2305.14366 

(II) 超音波画像を利用した関節角度推定

超音波画像を用いて、手首の関節角度を連続的に推定する新しい手法を提案した。超音波画像から組織の変形場（オプティカルフローで取得した特徴点の位置情報）を取得し、これらを多変量線形回帰モデルの説明変数として利用した。目的変数を関節角度として、重み（リードアウト）を学習し、関節角度を推定した。この推定方法は、超音波画像から組織の変形場を中間層とする物理リザバ計算と同様であり、本手法は生体工学的物理リザバ計算の一種だとも捉えられる。推定の結果、約2degの精度で関節角度を推定可能であることを明らかにした。

＜主要論文＞

Preprint. Yo Kobayashi*,  Yoshihiro Katagi, "Estimating continuous data of wrist joint angles using ultrasound images", arXiv(2401.02152, Computer Science , Human-Computer Interaction), 2024: https://arxiv.org/abs/2401.02152

(III) 足圧分布情報を利用した関節角度推定

足圧分布情報を用いて、下肢の関節角度（足関節、膝関節、股関節）および上体の姿勢を連続的に推定する新しい手法を提案した。足圧分布情報を多変量線形回帰モデルの説明変数として利用した。目的変数を各関節角度として、重み（リードアウト）を学習し、各関節角度を推定した。この推定方法のプロセスは、超音波画像から人の足部と地面の境界の状態を中間層とする物理リザバ計算と同様であり、本手法は生体工学的物理リザバ計算の一種だとも捉えられる。推定の結果、決定係数R2=0.9程度のの精度で、４つの関節角度を推定可能であることを明らかにした。１つのソース（圧力分布情報）から、複数の関節角度を推定できることに特徴がある。また、センシングしている足部から、遠い位置にある情報（股関節角度、上体の姿勢）を推定できている。

＜主要論文＞

Preprint.  Yo Kobayashi, Yasutaka Nakashima, "Estimation of posture and joint angle of human body using foot pressure distribution: Morphological computation with human foot ", arXiv(2401.12464,  Computer Science , Human-Computer Interaction), 2024: https://arxiv.org/abs/2401.12464