Masayuki Kobayashi

分散学習では頻繁にモデルを同期しないと性能が落ちると考えられ、連合学習でも学習初期から頻繁な平均化を必要としていた。 これに対し、各ノードが独立に学習し、途中適当に選んだペアについて平均をとり、一番最後だけ全体の平均をとってもほぼ同じ性能に到達することが実験的、理論的に示された これは疎なピア間平均によってモデル達を同じ谷（basin）の周辺に留めておき、多様性は保たれつつ、マージ可能性を作り、最後の一回の平均でその中心（basinの底）をとるということが可能となる。 コメント === 従来より分散学習は有望とされつつも、LLMをはじめ頻繁に同期を取らないと性能が劣化することがわかっていた。 今回行われた実験は標準的な画像分類（ただかなり非i.i.d）であり、この結果がそのまま他の問題に適用可能かは不明だが、大きなモデルでのマージも成功していることから可能と考えられる。 パラメータの高次元空間におけるbasinという考えは、凸と非凸と違って、別の形状的な直感を必要とする（star convexというのもあった）。これらの底は繋がっていると示されているが、よりうまく扱える理論と手法が必要だろう。 今回の結果は実用的にも大きな意味を持つと考えられる（たまに同期さえとれば後でマージできる）