本研究では,ReLU活性化関数を用いた浅いニューラルネットワークにおける「補間能力」について,理論限界と実用上の限界の乖離に焦点を当てた数値検証を行った.
理論上は隠れ層の幅 W がデータ数 N と同程度であれば補間が可能とされているが,勾配降下法(Adam)を用いた実際の学習プロセスにおいては,安定した補間を達成するためにデータ数の数倍から十倍程度の冗長なネットワーク幅が必要であることを明らかにした.
また,リプシッツ定数を用いた関数の複雑度やデータ数の増加が,補間の成功率や必要なネットワーク幅に与える影響を実験的に示し,最適化の観点から「実用上の最小幅」が存在することを示唆している.