Masaki Saito (@rezoolab) header
Masaki Saito (@rezoolab) profile picture

東北大学理学部物理学科→東北大学大学院情報科学研究科 岡谷研究室→DC2→博士(情報工学)→Preferred Networks リサーチャー→独立研究者(いまここ)。詳細はWebサイトを参照いただけると〜

Tokyo, Japan
Joined August 2009
Photo by Masaki Saito (@rezoolab)Photo by Masaki Saito (@rezoolab)Photo by Masaki Saito (@rezoolab)Photo by Masaki Saito (@rezoolab)Photo by Masaki Saito (@rezoolab)Photo by Masaki Saito (@rezoolab)Photo by Masaki Saito (@rezoolab)Photo by Masaki Saito (@rezoolab)Photo by Masaki Saito (@rezoolab)Photo by Masaki Saito (@rezoolab)
Preferred Networksを退職し、8/1から独立研究者(フリーランス)として活動いたします。様々な産業分野のお仕事を経験しつつ、研究活動を行なっていくのが理想です。業務委託・コンサル等のお問い合わせにつきましては、以下のURLからお気軽にご連絡ください: rezoo.github.io/
21
75
5
561
150,263
保活や中受みたいな、競争が激化した結果謎の最適化された行動を強制する装置好きくないんだよな 終いには最適化された行動をしなかったお前が悪いというマウンティングの道具に使われるし それで生産性が上がればぎり理解出来るが、保活に関してはただの椅子取りゲームだからな……
14
534
研プリは確かにあるが、しかしアラフォーが楽しいことだけをやるのは良くないという思想に最近なってきた
1
9
1,204
企業研究者たるもの、論文は出版し、社会実装も行い、査読も行い、OSSにも貢献し、コード品質を高く保ち、申請書も書いて、家事育児を均等に分担し、保育園の突発的な要請にも応え、住宅ローンもきちんと払い、運動や筋トレも定期的に行い、食事も節制し、睡眠も8時間確保する
1
10
349
准教授に昇任しました。頑張ります。(写真は二号館民のソウルフードの家家家)
31
11
1
485
20,844
東京の保活の話になったので、自分の区では一歳の途中入園の募集数は全部の保育園合わせて1名だよという話をしたら、笑いが取れた
9
725
パンどろぼう vs にせパンどろぼう
1
448
パンどろぼうが、にせパンどろぼうに、モデルは蒸留して盗むんじゃなく、フルスクラッチで作ったほうが何倍も良いって説教してた
2
333
トマトジュース飲んだら、あまりに美味すぎて、拍手しながらうまいうまい言っている
2
228
Museかわいい(かわいい)
12
523
東京都23区の認可保育園、1歳児途中入園の難易度は
25%自分の自治体では無理ゲー
11%40点なら希望あり
3%40点未満でも余裕
61%閲覧用
36 votes • Final results
1
547
少なくとも、自分の自治体での担当者の会話はこんな感じだった
1
2
181
なんかこうR&Dに関しては無駄に凝った提案しがちなんだよな べつにそこまで拘らなくて良いのにみたいなのを提案する傾向がある 詰めると撤回したりする、ただときどきこちらが折れる場合もあるので真面目に読む必要があってそれは疲れる(こなみ)
4
597
やっぱ藤原書記踊らせるミーム存在するやろ‼️ オタクがまた誇大広告打ってるよと叩かれたこといまだに覚えとる😢😢😢
3
442
Masaki Saito retweeted
another day, another llm-made cybersec horror beyond your comprehension
49
407
91
3,529
857,856
個人的な達成感と業務上の達成というのは違うものがあり、いわゆるAIによって個人的な達成感を感じることは多くなったけど、業務上の達成という意味ではあんま解決していないことが多い気がしないでもない
1
297
これ、PRAでDINO v2使ってるのがメインで効いている気がしていて、DINOの表現力にだいぶ助けられているなという印象持った(べつに使えるもんは使っていいと思うんですけど、当初持っていた印象とは微妙に違っていた)
325
Energy-Based Model(EBM)を大規模化し、さまざまな改良を加えることで、少ない計算量で高品質な画像生成を実現するTransformer Energy-Based Model(TEM)が提案された。 “Scaling Transformer Energy-Based Models for High Quality Image Synthesis” 609MパラメータのTransformerを用いて、ImageNet 256×256のクラス条件付き画像生成でFID 3.82を達成した。これはClassifier-Free Guidance(CFG)を使用しないDiffusion Transformerと競争できる水準である。 EBMは、データの確率分布をエネルギー関数E_θ(x)で表現するモデルである。 p_θ(x) = exp(−E_θ(x)) / Z_θ EBMはエネルギー関数を直接学習し、その勾配を使ってMCMCでサンプリングする。 x_{t+1} = x_t − η∇E_θ(x_t) + σε ランジュバンサンプリングと同様に、エネルギーの低い領域に向かって状態を更新しながら、ノイズを加える。 EBMの強みとして、分布外検出ができること(エネルギーが高いほどモデル上の相対的な確率密度が低いこと)、補完ができること、そして複数の確率分布の積に対応する分布からサンプリングできることが挙げられる。 例えば、2つの確率分布p₁(x)、p₂(x)の積に比例する分布を生成したい場合、 p(x) ∝ p₁(x)p₂(x) E(x) = E₁(x) + E₂(x) となる。そのため複数の制約を保った上でのサンプリングは、それらの制約に対応するエネルギーを足し合わせ、その勾配を使ってサンプリングするだけでよい EBMは従来から研究されてきた手法だが、高次元空間でのMCMCサンプリングが難しいことや、大規模モデルの学習が不安定になるという問題があった。 TEMでは、主に以下の5つの工夫によってこれらの問題に取り組んでいる。 ・VAEの潜在空間でエネルギー関数を学習 元の画像空間ではなく、VAEによって変換された32×32×4の潜在変数空間でエネルギー関数を学習し、MCMCサンプリングを行う。これにより、サンプリングする空間の次元数を大幅に削減する。 ・Transformerの複数層からエネルギーを抽出 Transformerの浅い層、中間層、深い層からそれぞれエネルギーを抽出し、それらの和を最終的なエネルギーとする。 浅い層由来のエネルギーはテクスチャ、中間層は物体の配置、深い層は大域的な意味構造に対応する傾向があり、異なる抽象度の制約を組み合わせることで生成品質を改善する。 ・Positive Representation Alignment(PRA) 事前学習済みのDINOv2-Largeの特徴表現と、Transformerの中間表現を一致させる学習を、Positiveサンプル(実データ)に対してのみ適用する。 Negativeサンプルはデータ分布から外れている場合が多く、その特徴表現まで一致させようとすると、本来の対比学習と矛盾する可能性があるためである。 ・Sampler Matching Loss EBMの最尤学習では、実データのエネルギーを下げ、モデルが生成したサンプルのエネルギーを上げるように学習する。 しかし、実際には有限ステップのMCMCで生成される分布q_θは、エネルギー関数が定義する本来の分布p_θと一致しない。 そこで、KL(q_θ || p_θ) に由来する正則化を追加し、エネルギー関数側を固定したうえで、 E_q[E_θ(x)] − H(q_θ) を最小化するようにする。 1つ目の項は、MCMCで生成したサンプルのエネルギーを下げる項である。エネルギー関数の直接の勾配ではなく、サンプリング過程を通じて勾配を流すことで、生成サンプルがより低エネルギーの領域に到達するように学習する。 この計算には二階微分が必要となるが、40ステップすべてを逆伝播するのではなく、最後の1ステップだけを微分することで計算量を抑えている。 2つ目の項は、生成サンプルのエントロピーを最大化することに対応する。Replay Bufferに保存された過去のサンプルとの最近傍距離を利用し、サンプル同士が近すぎないようにする。 これによって、低エネルギー領域に向かうだけでなく、生成サンプルの多様性も維持する。 ・Persistent Replay Buffer 毎回ガウスノイズから生成を開始するのではなく、過去のMCMCで生成した潜在変数を保存して再利用する。 Replay Bufferの容量は16,000で、99%の確率で過去のサンプルを再利用し、1%の確率で新たにガウスノイズからサンプリングを開始する。 また、クラス条件を毎回独立に与えるため、あるクラスの生成途中の潜在変数を、別のクラスの生成に利用することもできる。 学習時には40ステップ、推論時には主に60ステップのサンプリングを行う。 これらの工夫の中でも、特にPRAとSampler Matchingの効果が大きいとみられる。 実際、122Mパラメータのモデルによるアブレーションでは、Contrastive Lossのみの場合のFID 121.11が、Sampler Matchingの導入によって42.76まで改善し、さらにPRAを加えることで19.86まで改善している。 また、エネルギー関数を組み合わせた画像生成、追加学習なしのInpainting、エネルギー値による分布外検出など、EBM本来の特徴も実証している。 コメント === EBMは理論的に柔軟で興味深いモデルであり、非正規化確率密度を直接評価できるなどの利点がある。一方、これまではDiffusionやFlow Matchingほど高い画像生成品質を実現することが難しかった。 今回、さまざまな工夫を組み合わせることで、EBMでも高品質な画像生成が可能であることが示された。 この中で個人的に一番興味があるのはEBMでは、複数の確率分布の積に対応する分布を、エネルギーの加算によって自然に表現できる点である。 例えば、複数の制約を同時に満たすような生成を比較的簡単に実現できるだけでなく、それぞれのエネルギー項を調べることで、生成したものがどの制約をどの程度満たしているかを評価する手がかりにもなる。 ロボット制御や化合物生成などで複数の制約を考慮するといったことが自然に実現できる。 また、今回の手法でPersistent Replay Bufferの役割も注目している。 DiffusionやFlow Matchingは、多峰性を持つ複雑な分布からの生成という問題に対して、ガウス分布から目標分布への経路を学習することで対処している。 一方、EBMでは多峰性を持つエネルギー地形におけるMCMCのMixingの難しさがあったが、これをPersistent Replay Bufferが、学習過程を通じて分布の輸送を実現している可能性がある。 学習初期にはReplay Bufferのサンプルはガウス分布から初期化されるが、学習が進むにつれてエネルギー関数自体が変化し、それに従ってBuffer内のサンプルも徐々に移動していく。 つまり、エネルギー関数が徐々にデータ分布を表現するようになる過程で、Replay Bufferの分布も単峰性のガウス分布から多峰性のデータ分布へと変化していくと考えられる。 このように考えると、DiffusionやFlow Matchingが生成時にガウス分布からデータ分布への輸送を行うのに対し、今回のEBMでは学習過程そのものが輸送の役割を果たしているとも解釈できる。 特に、学習初期にはまだエネルギー障壁が十分に形成されていないため、サンプルがさまざまなモードへ分かれていき、その状態がReplay Bufferに維持されることで、最終的なエネルギー地形におけるMixingの難しさを緩和している可能性がある。 これは今回の論文では直接検証されていないが、興味深い仮説である。
3
18
1
136
15,804
やっぱ株価背景に藤原書記踊らせるミームあるやろ‼️ たぶん人類滅亡しても、その最中に藤原書記が踊ってるミーム流れてる
1
3
492
Masaki Saito retweeted
Anthropic has filed an S-1 registration statement with the SEC related to its proposed IPO. Read more: anthropic.com/news/s1-sec Legal disclaimer: A registration statement relating to these securities has been filed with the SEC but has not yet become effective. These securities may not be sold, nor may offers to buy be accepted, prior to the time the registration statement becomes effective. This post does not constitute an offer to sell or the solicitation of an offer to buy these securities, nor shall there be any sale of these securities in any state or jurisdiction in which such offer, solicitation or sale would be unlawful prior to registration or qualification under the securities laws of any such state or jurisdiction.
33
423
31
4,894
180,043