どちゃ楽数学bot

機械学習では、ニューラルネットワークの重みを勾配降下法で少しずつ更新する、という方法が定番です。この論文が扱うFunctional Gradient Descent（FGD）は、そこを一段抽象化して、重みではなく、求めたい関数そのものを勾配降下させるというアプローチです。 考え方自体は、 f(t+1) = f(t) - η∇L(f(t)) と普通の勾配降下法によく似ています。ただし、ここで動かしているのは重みベクトルではなく関数 (f) です。問題は、関数空間が一般に無限次元なので、コンピュータではそのまま計算できないことでした。 そこで著者らは、最初は粗い有限次元の表現で関数の勾配を近似し、精度が足りなくなったら表現を細かくする方法を提案しました。ニューラルネットワークのように「何層、何ユニット」とモデルの器を最初に固定するのではなく、学習しながら必要な分だけモデルの表現力を増やしていくわけです。 arxiv.org/abs/2606.16926