@CloudNativeFdn Ambassador, @Microsoft MVP, PyCon China & KCD Beijing organizer.🥑Open Source + Cloud Native + AI Infra. Working at @Kong . Opinions are my own
Joined August 2024
- Tweets4.6K
- Following843
- Followers5.1K
- Likes10.1K
Pinned Tweet
感谢大家的支持和热情，一下子就又到了例行的抽奖环节了 （我的习惯是每次破整数来一次）
送一个月我自部署的 DeepSeek。一键三连，下周三开奖。😁
PS：其实没啥额度限制，但为了防滥用，以及不影响我正常体验，我会设置并发 1，先按谷价给它先设置个 $200 的额度，用完我再加。
看到这个文章，就想起来前些天看人吐槽过一个现象：
Q：为啥你总能那么有活力和很多人聊天？
A：因为是 e 人。
然后下一句就是：因为是 e 人，所以能聊。
但 e 人到底咋回事？不知道。
很多时候只是把一个新名词当了解释，实际上什么都没解释🤣
algoroxyolo.github.io/blog/2…
好了，我当时要说的就是这个了。
SGLang PD 分离部署下，一个被中止的请求的 prompt 片段可能出现其他被会话里，进而导致数据泄露的情况。
t.me/moelove9020/2178
SGLang security update: improving request isolation.
Joint work published in coordination with Cloudflare, this post covers the KV cache issue in disaggregated serving, the fixes, and recommended actions for operators: lmsys.org/blog/2026-10-26-cf…
还以为 Terra 应该就被砍掉了, 没想到还是发布了个 GPT-6.1 Terra ， 不过看起来好像还是和之前差不多，大活用不上，小活不值得 🤣
等我今天试试看
openai.com/index/introducing…
这是 cerebras 首次详细介绍怎么把万亿级别参数的模型部署在 WSE3 上。
以前我们看 cerebras/groq 这些厂商时，最想知道的就是大参数下部署的问题，虽然看这篇说明他们解决了一些问题，但成本难搞。
59 片晶圆，只硬件按估算价可能就上亿了，换 K3 1000+ token/s ，值吗 🤣
cerebras.ai/blog/how-we-depl…
Jintao Zhang 张晋涛 retweeted
The Kong engineering team has built a home-grown code reviewer agent. We have switched our reviewer to GLM-5.3, which gave us an 85% reduction in per-review cost compared with Opus-5, without meaningful loss of review quality.
Adding a basic classifier upfront in the PR reviewer pipeline cut our costs by another 37% by routing simple tasks to a cheaper model. Of course, we enforce all the budget caps using our Kong AI cost management module to manage tokenomics. Full post in the comments.
来了来了， SGLang 和 vLLM 都在今天宣布各自对 DeepSeek v4.1 flash 的推理效率已经达到了 Deepinfer 的水平。
大概看了眼，基本上把 Mega系列，DSpark 啥的各种集成过来，再加上各自本身的各种能力整合到了一起（Deepinfer 毕竟不是整套东西）
lmsys.org/blog/2026-10-24-ds…
vllm.ai/blog/2026-10-23-deep…
我还说为啥 Chroma 最近没啥动作了，原来是要加入 Replit 了。
Chroma 最知名的是它的向量数据库，但后来它推出 Cloud 版本时，定价很便宜，我当时还讨论这怎么持续下去。
加入 Replit 也算是个好事儿，据说 Replit 增长还不错的
trychroma.com/blog/chroma-jo…
最近 OpenAI 和 Grok 的吵吵闹闹，结果 Anthropic 的人离职了？
🤣 这也不是第一第二吵架把第三干没的桥段啊
I’ve left Anthropic after more than a year of working on Claude Code and seeing it scale larger than I ever imagined.
I have really loved working at Ant and believe deeply in the mission, and most of all, the idea of a race to the top.
The idea that if we work hard and responsibly, we can raise the bar and inspire others to great outcomes. And if we all push each other to be better, things can be radically good. I will carry the spirit of this with me forever.
My colleagues at Anthropic are the most talented, thoughtful, competent, and earnest people I have ever met. I am glad they are at the wheel and trust them deeply.
To the community on X, thank you for everything. You’ve made this the most fun (and sometimes stressful) job I’ve ever had.
For me, it is time for a bit of a break before diving into something new.
If you want more excellent Claude Code content, you should follow @addyosmani , @lydiahallie, @_catwu, @ClaudeDevs and of course @bcherny who started it all.
在别家都先发 flash 的情况下， Kimi 直接发了 K3.1 Pro, 这是 Kimi 对这个模型的表现很有信心吗？
Introducing Kimi K3.1 Pro: our most capable 3T-class open-weight model.
🔹 1M-token context, 2.8T total / 104B active params (MoE), Multimodal.
🔹 Full-project coding: games in Unreal, Unity & Godot.
🔹 Excels at parametric 3D modeling in Blender & CAD.
🔹 More reliable at finance work: Accurate modeling with hallucination down by 65%.
🔹 Matching the strongest proprietary models across coding, agentic and knowledge benchmarks.
Kimi K3.1 Pro and K3.1 Pro Highspeed (2–3× faster) are now live on Kimi.ai, Kimi Work, Kimi Code, and the Kimi API.
Open weights by Nov 4, 2026.
🔗 API: platform.kimi.ai
🔗 Tech blog: kimi.ai/blog/kimi-k3-1-pro
xuanwo 提醒的合理！ 主要是我也在折腾（我还想试试看怎么让它更快！）
而且也不是什么商业服务，所以可用性不做保证。至于数据的话，这里不存，但也请勿上传啥敏感信息或者私钥啥的🤣 要不然有点啥事儿说不清
你们想要的活动来了， @aiandcloud 自己部署的 deepseek 集群，每个月 200 刀，按照低谷价格计算的 deepseek-v4.1-flash-1017，为了防止滥用限制了单并发。
替涛哥补充几个注意事项：
- 非盈利服务，不做稳定性保证
- 不会蒸馏，但是不要把什么敏感的东西传上来，什么私钥丢了这种事情不要倒打一耙
虽然这也不是这个事件的结束， eMudhra 已经被列入历史了 🤣
eMudhra 宣布退出全球 SSL/TLS 证书业务了，这里提到一条，这个业务只占它全球营收的 1% 是很小的一块。
我记得我旧账号也聊过一家卖证书厂商的骚操作，最后它也是关闭了相关业务结束的🤣
emudhra.com/en/press-release…
越来越魔幻了，eMudhra 的 8 张中间 CA 证书私钥已泄露，泄露原因据说是因为密钥生成随机数不足 🤣
其中 6 张为 TLS 中间 CA、2 张为代码签名 CA，各家浏览器/厂商啥的本身还信任了这个证书。不过事情曝光后，现在都已经撤销了信任，摘掉了根证书。
最近的安全事件太多了啊
emudhra.we-have-a-problem.co…
今天在 @AgenticAIFdn 迎来了 4 个新项目，这样就十个了。
这样的话，其实也可以看出来当前主要的一些方向和重心。 标准/Agent/网关/sandbox 就是基本盘了
我也没闲着 😁 也许还能努努力更快点
迄今为止，我用过的最爽的推理服务是 @aiandcloud 部署的 deepseek，背后是最新的 v4.1-flash-1017
400 tok/s + 99% 的缓存命中，还给我送每月 $10000 额度，根本用不完（每月限额对他来说只是个数字 🤣）
