こんにちは、データアナリティクス部門のロバート・フバチです。この投稿では、「Neural Operator」[1] についてお話しします。このモデルは、ニューラルネットワークをベースにしたもので、データを活用したアプローチ（データ駆動型アプローチ）によって、さまざまなプロセスをシミュレーションすることができます。インターネットには、このモデルに関する興味深い講義や記事、またその実際の応用例がたくさんあります。そこで、このトピックをわかりやすく紹介し、どのように役立てることができるのかをお伝えします。
Neural Operatorモデルの開発を指揮したのはアニマ・アナンドクマール教授です。彼女のチームは、モデルの実用的な応用にも取り組み、昨年、NeuralOperatorというPythonのライブラリ [2]（オープンソースの演算子学習用ライブラリ）を開発しました。
この投稿があなたの興味を引き、刺激を与えるものになれば嬉しいです！
Neural Operatorの動作の説明
Neural Operatorは、以前紹介した「DeepONet」と同様に、データを使って一つの関数を別の関数に変換するルールを学習することができます。これは、データ駆動型モデル（data-driven model）の一例です。
「一つの関数を別の関数に変換する」という考え方は難しく感じるかもしれませんが、実際には、コンピュータシミュレーションのようなものを指します。たとえば、金属棒の中で熱が広がる様子を想像してください。初めは棒の各部分の温度が決まっています（たとえば、一方の端は冷たく、もう一方の端は熱い、中間はその中間の温度）。時間が経つと、熱は物理法則（たとえば熱伝導方程式）に従って広がります。
棒全体で温度が時間とともにどのように変化するかを計算するには、この現象を説明するルールが必要です。このルールは、条件（たとえば、一方の端が加熱され、もう一方が冷却される場合）によって温度がどのように変化するかを説明します。Neural Operatorは、このようなルールを学習するツールです。
この場合:
入力関数 （Neural Operatorが変換するもの）は、棒の初期の温度分布です。
出力関数（変換後）は、一定時間後の棒の温度分布です。
Neural Operatorのアーキテクチャ
図１．Neural Operatorのアーキテクチャ。図は記事[1]を参考に作成されました。a(x) は入力関数で、u(x) は出力関数です。
Neural Operatorは、以下のいくつかの重要な要素で構成されています （図１）:
入力射影 (P) – これは前処理の段階です。入力関数（例えば、初期の温度分布）を、ネットワークが処理できる形式（数値のベクトルやその他の適切なデータ形状）に変換します。
処理層 (Layer 1, Layer 2, …, Layer L) – Neural Operatorの中心部分です。これらの層は、線形積分演算子と非線形活性化関数で構成されています。Neural Operatorは単なるニューラルネットワークではなく、その機能は線形積分演算子の設計に大きく依存しています。このため、研究者たちはさまざまな種類の演算子を提案しました。その中で最も良い結果が得られたのが、フーリエ変換に基づいたアーキテクチャであるFourier Neural Operatorです。
出力射影 (Q) – これは最終段階で、データの内部表現を出力関数（例えば、一定時間後の温度予測）に変換します。
これらの要素により、Neural Operatorは正確な物理現象のモデリングを可能にします。提供されたデータを基にして動作し、正確な物理方程式を知らなくても利用できる点が特徴です。Neural Operatorの追加の利点は、学習が完了した後、新しい類似した問題に対して迅速に解を提供できることです。
Neural Operatorの応用例
肺疾患の診断支援
肺の超音波検査は、短期的（急性）および長期的（慢性）な肺疾患の診断やモニタリングに役立つため、病院や診療所でますます普及しています。この技術は、ラジオ周波数（RF）データを生成し、それを画像に変換する仕組みです。ただし、これらの画像を正しく解釈するには、熟練した放射線技師が必要です。
診断をより簡単にするために、科学者たちはFourier Neural Operatorに基づく人工知能モデル[3]を開発しました。このAIモデルは、超音波RFデータをもとに肺のエアレーションマップ（肺にどれだけ空気が含まれているかを示すマップ）を作成することができます。また、肺のエアレーション率を正確に推定することもできます。
興味深いことに、このAIは合成データ（超音波波がどのように動作するかを示すコンピュータシミュレーション）を使って訓練されましたが、それでも体外（ex vivo）の実際の生物学的サンプルでテストしても良好に動作します。
地層内における二酸化炭素の貯蔵時の挙動のモデリング
二酸化炭素の回収と貯留技術（CCS, Carbon Capture and Storage）は、気候変動と戦うための重要な手段です。この技術は、大気中や排出源から二酸化炭素を回収し、それを地下深くの地質構造内に永久的に貯留することを目的としています。
二酸化炭素を貯留することは、世界規模での排出削減（脱炭素化）における重要なステップです。この技術をさらに発展させるためには、地下貯留層内での圧力の上昇や、CO2が広範囲の地層内でどのように移動するかを正確にモデル化する必要があります。
このため、科学者たちはNested Fourier Neural Operator と呼ばれるNeural Operatorの改良版を使用しました [4]。
このモデルは、リアルタイムでの迅速なモデリングや確率的シミュレーションを可能にし、CCS技術の世界的な拡大を支援します。
FourCastNet (Fourier ForeCasting Neural Network)
FourCastNet [5] は、天気予報モデルです。大量のデータを使用して、短期および中期の正確なグローバル天気予報を提供します。このモデルは、以下のようなさまざまな気象パラメータを予測できます: 地表付近の風速、降雨量、大気中の水蒸気の量。FourCastNetは、Fourier Neural OperatorとVision Transformersという2つの高度な技術を統合して作られたため、非常に精度が高く効率的です。
文献：
[1] N. Kovachki, Z. Li, B. Liu, K. Azizzadenesheli, K. Bhattacharya, A. Stuart, A. Anandkumar: Neural Operator: Learning Maps Between Function Spaces, arXiv:2108.08481
[2] J. Kossaifi, N. Kovachki, Z. Li, D. Pitt, M. Liu-Schiaffini,R. J. George, B. Bonev, K. Azizzadenesheli, J. Berner, A. Anandkumar: A Library for Learning Neural Operators, arXiv:2412.10354v2
[3] J. Wang, O. Ostras, M. Sode, B. Tolooshams, Z. Li , K. Azizzadenesheli, G. F. Pinton, A. Anandkumar: Ultrasound Lung Aeration Map via Physics-Aware Neural Operators, arXiv:2501.01157v1
[4] G. Wen, Z. Li, Q. Long, K. Azizzadenesheli, A. Anandkumar, S. M. Benson: Real-time High-resolution CO2 Geological Storage Prediction using Nested Fourier Neural Operators. arXiv:2210.17051v2
[5] J. Pathak, S. Subramanian, P. Harrington, S. Raja, A. Chattopadhyay, M. Mardani, T. Kurth, D. Hall, Z. Li, K. Azizzadenesheli, P. Hassanzadeh, K. Kashinath, A. Anandkumar: FourCastNet: A Global Data-driven High-resolution Weather Model using Adaptive Fourier Neural Operators, arXiv:2202.11214
