IBIS2026の企画セッション「最適化の理論と実践の最前線」での講演スライドを公開しました。
当日は色々と質問をいただき、議論できて良かったです。
speakerdeck.com/takase/ibis2…
オーガナイザーの包さんにお声がけいただきまして、IBIS2026の企画セッション「最適化の理論と実践の最前線」で講演します。大規模言語モデルの学習の安定性など、事前学習周りの研究を紹介する予定です。
ibisml.org/ibis2026/os/
来週開催されるYANSで招待ポスターの枠で呼んでいただきまして、発表します。
大規模言語モデルの学習における安定性など、いくつか研究を紹介するポスターを用意しましたが、自分の研究内容以外にも、キャリアや研究の進め方など何でも質問いただければと思います。
yans.anlp.jp/entry/yans2026i…
Sho Takase retweeted
先週7/6に慶應大学にて
"From Chat AI to Robots: How can we build AI We Can Trust?"
と題した講演を実施しました。
「秘密を守れるAI」の核となるConfidential AIとAI Safety、フィジカルAI等の応用についてお話しました。
講演資料をSpeakerDeckで公開しております。
speakerdeck.com/acompany/fro…
Sho Takase retweeted
Finally!! Accepted to ICLR 2026! 🎉
Cited by Nemotron 3 Nano and OLMo 3, yet it was a long journey to get this through academic peer review. So glad to cross the finish line.
📄 Rewriting Pre-Training Data Boosts LLM Performance in Math and Code: arxiv.org/abs/2505.02881
We are thrilled to see our dataset improvement method (SwallowCode) mentioned in the Pre-Training Code Dataset section of the NVIDIA Nemotron 3 Nano Technical Report. Thank you @NVIDIAAI for citing the Swallow Project's work!
The Swallow Project is a research initiative developing open bilingual LLMs excelling in both Japanese and English.
swallow-llm.github.io/index.…
Sho Takase retweeted
My first author paper (work done at Turing Inc.) has been accepted to ICLR 2026! #ICLR2026
Thanks for all co-authors and ex-colleagues!!
共著の論文がICLRに採択されました。
大規模言語モデルの事前学習において学習率を下げずに終わらせた方がチューニング後の性能まで含めると性能が良いということを示しています。査読者の3/4がReject寄りの点数でしたが逆転できました。
My first-author paper has been accepted to #ICLR2026!
Huge thanks to my co-authors: @shunkiyono, @sosk_sosk, @shot4410, and @drJunSuzuki!
Sho Takase retweeted
My first-author paper has been accepted to #ICLR2026!
Huge thanks to my co-authors: @shunkiyono, @sosk_sosk, @shot4410, and @drJunSuzuki!
Sho Takase retweeted
サイバーエージェントAI lab アドベントカレンダー16日目の記事を公開しました！タイトルの通り、Geminiに謎解きをさせてみましたという話です。簡単な検証しかしてないですが、面白い結果になっているかと。どうしたら解けるようになりそうか分かったら教えて欲しいです。
zenn.dev/kosyamada/articles/…
Sho Takase retweeted
CyberAgent AI Labアドベントカレンダー (adventar.org/calendars/11573) 15日目の記事を公開しました！
爆弾解除ゲームをGemini 3 Proとプレイしてみた話になります💣️
zenn.dev/yaelanya/articles/7…
前編の佐藤さん( @shiki_satou )の記事とあわせて是非ご覧ください🙏
zenn.dev/ssato_ds/articles/0…
Sho Takase retweeted
＼ アドベントカレンダー更新中 ／
研究開発組織AI Labにおいて、有志メンバーによる「CyberAgent AI Lab Advent Calendar 2025」を毎日更新しています✨
皆さまぜひご覧ください！
adventar.org/calendars/11573
CyberAgent AI Labアドベントカレンダーとして記事を書きました。
Transformerの発展を概説していて、元々の論文で提案されている構造と、LLMで使用されている構造は全然違います、という話です。
zenn.dev/shot4410/articles/5…
Sho Takase retweeted
COLM2025参加します！高瀬さんの論文の発表をさせてもらいます。よろしくお願いします。
COLM 2025で発表予定の論文の紹介スライドをアップしました。
大規模言語モデルの学習を制御するために Transformer の勾配のノルムの上界を算出し、これを抑える条件を提示しています。
speakerdeck.com/takase/snlp2…
COLM 2025で発表予定の論文の紹介スライドをアップしました。
大規模言語モデルの学習を制御するために Transformer の勾配のノルムの上界を算出し、これを抑える条件を提示しています。
speakerdeck.com/takase/snlp2…
なお、この論文に関してCOLMでは「2020年以前の論文は古すぎるから議論の俎上に載せるな」「引用数が数件の論文は無価値」という、だいぶ強い主張をする査読者が出現し、なかなかエキサイティングでした
openreview.net/forum?id=52YB…
Sho Takase retweeted
Webブラウザを人間よりも高い精度で操作することに（世界で初めて）成功しました！
今回、開発した cotomi Act というエージェント技術はWebArena というWebエージェントのベンチマークで8/27現在、人間も上回って世界トップ性能の実現に成功しています。
jpn.nec.com/press/202508/202…
🧵
著者の福地成彦さんから『LLMとハルシネーション 基礎と対策』をご恵贈いただきました。自然言語処理の基礎を概観した後にLLMを紹介し、ハルシネーションやRAGにふれるという盛り沢山な内容。ところどころに挿入されているノートは読み物として面白く、より詳しく知るための文献案内があるのも親切。
結構前からarXivに出していた主著論文がCOLM 2025に採択されました（w/ @shunkiyono, @sosk_sosk, @drJunSuzuki）
ようやく成仏成功した……
xitter.gq/shot4410/status/184467…
LLMの学習の安定性に関する論文を大幅に書き直しました。
勾配のノルムの上界と、それを抑える条件として中間層のパラメータの分散を小さく、ショートカットの分散を大きくすれば良いことを提示しています。以前と比べると証明がきちんとして、式の数も3倍以上に増えました。
arxiv.org/abs/2312.16903
