[ 日本語 ]
Kanada, Yasusi
not yet published, 2026
DOI: 10.13140/RG.2.2.34602.89284
Deep learning has historically developed around discrete, matrix-based representations that align naturally with GPU-oriented, globally synchronized computation. While this paradigm has enabled remarkable computational performance, the power required for large-scale training and inference has become a significant practical and societal constraint as model size and deployment scale continue to grow. In recent years, continuous-time and dynamical formulations such as Neural Ordinary Differential Equations, diffusion models, and state-space models have gained increasing attention. This paper argues that this representational shift has implications beyond modeling style. First, it challenges the implicit reliance on global synchronization inherent in matrix-centric computation, opening possibilities for more asynchronous or locally coordinated execution. Second, it suggests new opportunities for improving energy efficiency by reducing synchronization and data movement overhead. Third, this transition admits a limited but informative structural analogy with the historical development of quantum mechanics, in which matrix mechanics and wave mechanics emerged as distinct yet complementary representational frameworks. Without claiming mathematical equivalence, this analogy is proposed as a conceptual perspective for understanding an ongoing transition in the foundations of deep learning.
深層学習はこれまで、GPU 指向の全体同期型計算と自然に適合する、離散的かつ行列ベースの表現を中心として発展してきた。この枠組みは卓越した計算性能を可能にしてきた一方で、モデル規模や運用規模の拡大にともない、大規模な学習および推論に要する電力は、実用面および社会的側面の双方において重大な制約となりつつある。
近年では、Neural Ordinary Differential Equations（ニューラル常微分方程式）、拡散モデル、状態空間モデルといった連続時間的・動力学的な定式化が、ますます注目を集めている。本論文は、このような表現の転換が、単なるモデリング手法の違いにとどまらない意味をもつことを論じる。
第一に、この転換は、行列中心の計算に内在してきた「グローバル同期」への暗黙の依存を問い直すものであり、より非同期的、あるいは局所的に協調する実行形態への可能性を開く。第二に、同期処理やデータ移動にともなうオーバーヘッドを低減することで、エネルギー効率の改善に向けた新たな機会を示唆する。第三に、この移行は、量子力学の歴史的発展――すなわち行列力学と波動力学という、相互に異なりながら補完的な表現枠組みが成立した過程――とのあいだに、限定的ではあるが示唆的な構造的アナロジーを認めることができる。
本論文は数学的な同値性を主張するものではないが、このアナロジーを、深層学習の基盤において現在進行している転換を理解するための概念的視座として提示する。
Generated on 2026-01-21