Mengsay Loem (@loem_ms) header
Mengsay Loem (@loem_ms) profile picture

Engineer @ PFN ← Researcher @ Sansan Interested in low-resource languages Opinions are my own.

Japan
Joined March 2013
Photo by Mengsay Loem (@loem_ms)Photo by Mengsay Loem (@loem_ms)Photo by Mengsay Loem (@loem_ms)Photo by Mengsay Loem (@loem_ms)Photo by Mengsay Loem (@loem_ms)Photo by Mengsay Loem (@loem_ms)Photo by Mengsay Loem (@loem_ms)Photo by Mengsay Loem (@loem_ms)Photo by Mengsay Loem (@loem_ms)Photo by Mengsay Loem (@loem_ms)
Merci beaucoup ! Revenez nous voir !
សូមថ្លែងអំណរគុណយ៉ាងជ្រាលជ្រៅចំពោះការទទួលស្វាគមន៍យ៉ាងកក់ក្តៅ!
50
សូមថ្លែងអំណរគុណយ៉ាងជ្រាលជ្រៅចំពោះការទទួលស្វាគមន៍យ៉ាងកក់ក្តៅ!
775
2,633
171
14,078
413,229
Mengsay Loem retweeted
PLaMo翻訳の開発についてGIGAZINEからインタビュー受けました🎉 編集長がファンになってくれててとても嬉しいです。事業として軌道に乗せるのにはまだまだ課題が多いので頑張ります💪
ゼロから独自開発した国産AIでトップクラスの日本語翻訳精度を実現する「PLaMo翻訳」を開発したPreferred Networksエンジニアに編集長が根掘り葉掘り聞いてみたよインタビュー
1
28
2
176
10,248
Mengsay Loem retweeted
🚨 MUSE FEATURE ALERT!!! 🚨 muse officially has its own email address 💌 forward it stuff or add it to a thread and watch it go. out now to paid subs in US and Canada.
214
123
75
2,356
332,194
Mengsay Loem retweeted
Rakuten Technology Excellence Awards 2026を岡崎研、横田研、産総研が受賞することになりました! 日本語LLM「Swallow」など、私たちの取り組みを評価していただき大変光栄です。一緒に取り組んできた皆さんに感謝します。引き続き、日本のオープンLLMの研究開発を盛り上げていきたいと思います!
14
108
6,155
Mengsay Loem retweeted
「PLaMoコミュニティライセンス契約」を改訂しました📚 「PLaMo 3 Translate」のオープンウェイト公開以降、多くの方にお試しいただき、ありがとうございます! 皆さまからいただいたお声を元に、より広くご活用いただきやすい形へと改訂を行いました。ぜひご確認ください。 plamo.preferredai.jp/info/pl…
106
11
392
30,543
【受賞】PFNが開発するAI文章指導システム「ろんじろう」が第23回日本e-Learning大賞「AI特別部門賞(学習支援)」を受賞🏆しました。日本語に強いPLaMoなどの生成AIを活用し、中高生の小論文・作文学習を支援します。 ろんじろうの特長: 1⃣PFNがフルスクラッチ開発する国産のPLaMoなどの生成AIと独自の文章構造解析アルゴリズムにより文章の論理構造を可視化 2⃣最短1 分の添削で学習サイクルを高速化 3⃣小論文の専門家の知見に基づく評価基準と独自評価システム 4⃣多様な課題や出題形式に対応 5⃣独自の学習管理システム preferred.jp/ja/news/pr20261… ろんじろうは、やる気スイッチグループを中心に全国の教室に導入が進んでいます。
27
4
85
6,828
Mengsay Loem retweeted
弊チームで開発してた8Bモデルがリリースになりました。金融特化の日本語リーゾニング w/ tool useで、モデルもplamoライセンスで公開しています。chatでもAPIでもお試しできるので是非。
【発表】国産の金融特化型小規模言語モデルPLaMo 3.0 Finをオープンウェイトで公開しました。金融実務への実装を想定し、クラウド閉域・オンプレミス環境で利用可能です。本モデルは、Reasoning機能などの指示追従学習を自社開発AI半導体MN-Core 2で実施しています。 preferred.jp/ja/news/pr20261…
8
1
30
3,722
Mengsay Loem retweeted
【ブログ】金融特化型の小規模言語モデルPLaMo 3.0 Finをリリースし、モデル重みをHugging Faceで公開しました。日本語でreasoningを行って回答する金融特化モデルで、ツール利用にも対応しています。 動作例や開発に関する技術ブログ:preferred.jp/ja/blog/tech/pl… Hugging Face:huggingface.co/pfnet/plamo-3…
31
5
132
16,031
Mengsay Loem retweeted
PLaMo 3翻訳の0.8Bモデル、LLMの一般的なアーキテクチャでありながら小さくて遊びやすい(壊せば壊れているのも可視化できるし、振る舞いも変わったのが説明しやすい)ので、色んな研究にも使って欲しいなという気持ちがある。
PLaMoの中間層を消したり強めたりして遊ぼう
2
35
1
236
15,811
Mengsay Loem retweeted
逆に、PLaMo 3 Translateの入力側を編集することでローマ字の「読み」を移植し、plamo-3-translateをIMEとして使えるようにしました. Museくんすごい! 埋め込み移植: ローマ字として読めるラテントークン3,775個の入力埋め込みを、「その読みのひらがなをトークナイズした埋め込みの平均」で置き換え(kyo←きょ、shita←した、など)。これでTransformer本体がローマ字を「かな」として読みます。言語タグに使う ja/en だけは保護しました トークナイザのスコア手術: 元のままだと連続ローマ字が英語サブワードに割れる(kyouhai... → k/you/hai/iten/kid/...)ので、unigramスコアを書き換えてモーラ単位に割れるようにしました。
先日話題になったLLMにウェイトを書き換えさせる方法でPLaMo 3 Translateをお嬢様言葉にできたっぽい。Opus使った。ぽいというのは今外出中で家で行われたことを直接確認できてないから… —- 光は音よりも速く進みますわ。
エラーが解消されない場合は、システム管理者に問い合わせてくださいまし。
京都行きの電車はどれですの? —- 変わったもの •ファイル: 13個のうち、違うのは model.safetensors だけです。同梱コード、トークナイザー、設定はバイト単位で同じです。 •重み: 全 890,344,960 値のうち 1,534 値で、すべて ja(トークン番号 1385)の埋め込みの1行に収まっています。 •値の例: 先頭の4値は -1.18, 1.281, -1.281, 2.438 から -0.12, 1.586, -2.969, 3.281 に変わりました。行のノルムは 85.31 から 97.09 になっています。
1
21
4
136
8,796
Mengsay Loem retweeted
I recently contributed an article to @tokyodev_com about doing a PhD in Japan while working part time. Doing my PhD this way was quite fun. The Japanese PhD system is not without flaws, but it also has some really nice advantages compared to the US/etc. Plus the added benefit of living in Japan, of course. tokyodev.com/articles/doing-…
2
4
1
23
1,848
PFN's translation LLM PLaMo Translate is now available for download as a suite of open-weight models in 4 sizes. The models outperform major translation LLMs and run on smartphones and PCs, bypassing the cloud. preferred.jp/en/news/pr20261…
1
5
9
1,554
Mengsay Loem retweeted
新しいPLaMo翻訳モデル公開しました🎉今回は小さいモデルで革命が起きて、同サイズ比較ならまず数年間は記録更新されないのではと思える(依然、翻訳の評価は難しいので我々の軸ではありますが)世界最強な翻訳モデルができました💪(スマホで爆速で動くデモもあるので是非見てください)
8
201
19
1,107
90,140
Mengsay Loem retweeted
最近は翻訳特化LLMの開発リードをやっていました。 翻訳特化LLMとしてはぶっちぎりで世界最高クラスで、特にSLM領域のフロンティアを開拓できたと思います 開発秘話とモデル重みを公開したので見てね!4サイズで量子化とかGGUF全部出したので28リポジトリも準備しました
【ブログ】翻訳特化LLM PLaMo 3 Translateのモデル重みをリリースしました。0.8B / 2B / 8B / 31Bの4パターンで、いずれも世界最高レベルの翻訳能力です。ダウンロードして、ローカルで試せます。開発秘話を描いたTech Blog: preferred.jp/ja/blog/tech/pl… Hugging Face: huggingface.co/collections/p…
66
7
477
52,159
Mengsay Loem retweeted
The EmbeddingGemma 2 paper is out! Enjoy! arxiv.org/abs/2610.37364
29
160
13
1,288
62,207
Mengsay Loem retweeted
LLM、昔は言語モデルらしい振る舞いをしていたけど、最先端モデルはもはや数学・コーディングばかりやらされエージェント専用モデルとしか言いようがない状況になっており、その中で唯一言語モデルらしい振る舞いをしてくれているGeminiは貴重。
126
15
849
47,915