mogmod (@mogmod) profile picture

おなかすいた族 !

Tokyo
Joined November 2008
Photo by mogmod (@mogmod)Photo by mogmod (@mogmod)Photo by mogmod (@mogmod)Photo by mogmod (@mogmod)Photo by mogmod (@mogmod)Photo by mogmod (@mogmod)Photo by mogmod (@mogmod)Photo by mogmod (@mogmod)Photo by mogmod (@mogmod)Photo by mogmod (@mogmod)
いくらためとけばいいんですか?
Intel 刚发了一份「350W 新卡暴打英伟达 600W RTX PRO 6000 Blackwell、性能快 5.9 倍」的官方跑分。 刚看到标题第一反应是:Intel 疯了还是喝多了? 结果把测试报告和小字附录扒完,发现这波操作既鸡贼,又真捅到了老黄的肺管子: 1. 5.9 倍是怎么跑出来的?专挑老黄阉割的 1:64 软肋打 Intel 跑出 5.9 倍领先的项目,全是华尔街量化金融在用的双精度浮点(FP64)期权定价(欧式蒙特卡洛模拟 5.9x、Black-Scholes 5.6x、二叉树定价 4.6x)。 为什么差这么多?因为老黄为了保 B200 / H200 的天价利润,把工作站旗舰 RTX PRO 6000 Blackwell 的 FP64 双精度算力阉到了 1:64;而 Intel 这张 D270(Xe3P 架构) 给的是原生全速 FP64(每核心 64 个 FP64 FMA)。 更绝的是报告末尾的小字附录:Intel 的测试机里插了 1 张 D270 + 3 张 Arc Pro B70,英伟达那台插了 8 张 RTX PRO 6000,但小字里压根没写跑金融测试时到底开了几张卡。 2. 切回大模型推理,真实的能效比居然真能打 抛开田忌赛马的 FP64,真拿去单卡跑 Qwen3-30B-A3B(FP8),D270 的输出吞吐是 RTX PRO 6000 Blackwell 的 1.12 倍,跑 Drex 2.0 延迟低了 29%。 5.9 倍的噱头没了,但别忘了功耗:350W 打 600W,花一半出头的电,在 30B MoE 模型上正面反超了 Blackwell 工作站顶配卡。 3. 真正让本地大模型玩家流口水的是显存:单卡最高 480GB 老黄死卡显存容量,一张 600W 的 RTX PRO 6000 才给 96GB GDDR7。 Intel 这次干脆不抢又贵又缺的 HBM,直接在 350W 风冷 PCIe 卡上堆 LPDDR5X:公版起步就是 160GB(带宽 1.5 TB/s),板卡厂定制版单卡最高直接干到 480GB。 单张风冷 PCIe 卡塞进 480GB 显存是什么概念?以前得凑一整机柜的卡或者买天价集群才能塞下的满血超大模型权重,现在一张 350W 的卡就能全装进去。在 SC26 上 Intel 已经拉着 SambaNova 搞出了新玩法:用超大显存的 D270 专门吃下大模型海量上下文的 Prefill(预填充),再丢给高带宽的 SambaNova SN50 吐 Token。 老黄要是再接着搞小显存精准刀法,大显存推理这块肥肉是真要被这种「LPDDR5X 堆料怪」撬走了。
20
まさかArcにこんな勝ち筋があるとは思わんかったじゃん。
非NVIDIA GPUのLLM推論(Qwen3.8 27B)で450tok/s達成 CPUは10年前のオンボロ。PCIe-3.0でこれはなかなかなもんじゃない?
1
62
独自ベンチがいくつかできてきたので、LLM評価の枠がきまってきた感ある。
1
1
114
いやこんなの延々とメンテを…?やめたくなってきたな…でも目の前の案件に使えるか判断したいわけよな…
22
さくらのAI Engine、クソお世話になりました!また来月!!
1
75
もうさぁ!!!!手元のローカルLLMのシステムの高速化とか効率化とかの研究と、ローカルLLM実用あるいは実用研究が両立しないの何とかなんとかしないと進まないじゃん!!!!!!
60
ええやん… infiniband買い集めておけば良い?
Lumiere GPUのScalable Compute Clusterというのを設計しています。EthernetでGPUボードをいくつか接続して、AIの計算を安価で高速に行おうというものです。 ホストのメインメモリを利用しつつ、多少のDRAMをノードのボードにキャッシュとして搭載することで、安価で実用的なLLM推論ができないかと考えています。 ボード1枚あたり$200で、12個接続すればA100くらいの性能を$2,400で実現、メモリはホストにいっぱい、というのが目標です。(スイッチやケーブルの価格は除く) もちろんNVIDIAの高価なスーパーコンピュータに敵うとは思わないのですが、個人でも手に入るLLM推論の安価なソリューションになるのでは、と期待しながら開発しています。 ぜひ応援していただければうれしいです!
2
91
両手の指を組んでv100を表現してよって追加したら久しぶりに破綻した生成画像を見るハメにw
🤖 Made with AI
57
犬は!犬はでますか?
灰色の魔女をネタバレなしに薦めると、 ・押井監督が老け込むどころかめちゃくちゃアップデートしてる ・ドローンとか戦闘のアクションとかCGとか御隠居の仕事ではない最先端を描いてる ・でも、カットが押井守監督の作家性は残ってる ・音楽が川井さんでパトレイバー感はあれど、これもアップデートされてる ・あ、でも、榊班長みたいなキャラは出る ・お話もエンタメシフト。観念論は一切なし ・立ち食いそばも出ない
1
1
158
簡単に任せられる程度の仕事や脳の体操になるような仕事あるいはちょっとした勉強みたいな仕事は全部AIが持って行ってしまった。
ClaudeにローカルLLMのベンチマークさせてチューニングさせながら、Claudeに試験対策問題作ってもらいつつ、Copilotにパワポのトンマナ合わせさせながら、Teamsで会議してるという……、、、昔の人からすると脳みそ焼けそうなのが今の仕事なんよな~
2
89
さくらのAI Engine、無料枠だけで遊ぶつもりだったのにこの勢いで使っていくと課金待ったなしだな???いや、これ以上課金先を増やすの嫌でござる…🤢
2
1
109
でも割と面白いんだよ… いやせめてもっと選択肢があるところに… いやでも国内に… でも…
29
さくらインターネット、gpt-oss-120Bなんてホストしてるんだったらそこを空けて、 Qwen3.8 27B BF16, Q8, Q4とかQwen3.8 Flash Nextの各種量子化をホストして「えー、ローカルLLMってどこをめざして機材・環境をそろえればいいのかわかんなーい」っていってる連中を救ってやってくれよ、と思いました。
1
208
「…ふざけるな。私は40年以上日本語を使ってきた日本人だぞ…」 「アウラ、お前の前にいるのは、累計数万年以上日本語資料を学習させられたSIだ。」
AIが書いた文章に「かせ!日本語はこう書く!!」と私が手直しした部分について、AIが「ここがAIスロップ感強いので直しましょうねぇ」と言ってきて苦しい。お、俺は…
3
166
AIが書いた文章に「かせ!日本語はこう書く!!」と私が手直しした部分について、AIが「ここがAIスロップ感強いので直しましょうねぇ」と言ってきて苦しい。お、俺は…
1
1
3
291
Adobe, AIの実アプリ組込の最先端にいたようなイメージだったが、一瞬でいなくなった感じするな?今どういう立ち位置なの?
57
あと17%で1日… ギリギリだな…
53
イナゴユーザーからしたら生かさず殺さず、重くならないようにさりとてサ終しない程度のにぎわい方が良いよな。運営側にしても、金になる大口顧客には直接営業してるしSNSでイナゴが押し寄せるような宣伝はしたくなかろう。
さくらのAI Engine全く宣伝が流れてこないのが不可解だがユーザ増えてほしくないんか…?
65
捕鯨再開してるし動力はゼンマイだな!
MRI室用のロボットとか需要ないかな、非磁性部品だけで組んでさ
93
いや、あのペンギン、何やっても良い立場になるんだろ… 大変なことになるぜ。
Replying to @NemuNemuOjisanQ
後進に託した最晩年 会議で途中退席させられて可哀想だったよ
3
638