Archie retweeted
You Can See Everything w/ Jamie Lee Curtis 🤣 #FallonTonight
Together 提供的速度大概稳定在 500 tok/s 很不错！ Deepseek 官方 API 的速度稳定在 100 tok/s 左右，5 倍的速度！
一直在用 OpenRouter 提供的 Deepseek，就好奇在想在在平台下有很多的算力供应商，请求经常在轮换供应商处理。然而 Cache 是由供应商处理，是不是一旦切换供应商缓存就没法复用了。
查了一下好像的确是这么回事，OpenRouter 的解决方案是 Sticky Routing，给同一段会话传稳定的 session_id，会尽量把后续请求继续发往第一次成功的 provider endpoint，从而保持 cache hit。但是有点脱裤子放屁的感觉 😂 不太稳定。
所以目前最好的解决方案是直接指定一家算力提供商，看了看最近的数据 Together AI 是最快的，能跑到接近 272 tps，就锁定了这家 Provider。Together AI 的方向好像和 FireWorks 差不多，也是做加速基础设施的，指定后体感比随机供应商的确要快很多！
Fireworks 最近在炒作 Deepseek 1521+ tps 的速度，估计还是面向签合同的企业，很难开放给终端消费者市场。在 OpenRouter 上的目前速度是 114 tps 归属垫底梯队真的是拉完了。
期待力大飞砖🧱
2,100+ tokens per second per user on DeepSeek V4.1 Flash, at full model quality, on eight AMD Instinct MI355X GPUs.
In our benchmarks, the Lithos engine delivers:
→ Up to 3.4× faster inference for DeepSeek V4.1 Flash
→ Up to 2.5× faster inference for Kimi K3
Compared with tested open-source engines on the same eight GPUs.
The key challenge is reducing the coordination tax: time spent waiting between kernels and across GPUs. Our approach combines persistent megakernels, overlapping execution, and communication inside computation.
Our technical deep dive covers:
- Decode speed, cost per token, and latency up to 1M context.
- How Lithos engine reduces launch overhead and overlap computation with communication across GPUs.
- How MI355X’s register capacity and direct instruction-level control enable hardware-specific optimizations.
- What our roofline analysis reveals about opportunities for further speedups.
Read the full analysis: lithosai.com/blog/ultra-fast…
为了节省 Claude 额度用量，让他派 Deepseek 作为 Subagents 去做一些拆解的子任务。结果真的是太雷霆了，速度很快地跑了半天边读代码边理解边改，也没交付完。最后还是让 Opus 5.5 接手唰唰两下思考完毕解决问题 😓
一直在用 OpenRouter 提供的 Deepseek，就好奇在想在在平台下有很多的算力供应商，请求经常在轮换供应商处理。然而 Cache 是由供应商处理，是不是一旦切换供应商缓存就没法复用了。
查了一下好像的确是这么回事，OpenRouter 的解决方案是 Sticky Routing，给同一段会话传稳定的 session_id，会尽量把后续请求继续发往第一次成功的 provider endpoint，从而保持 cache hit。但是有点脱裤子放屁的感觉 😂 不太稳定。
所以目前最好的解决方案是直接指定一家算力提供商，看了看最近的数据 Together AI 是最快的，能跑到接近 272 tps，就锁定了这家 Provider。Together AI 的方向好像和 FireWorks 差不多，也是做加速基础设施的，指定后体感比随机供应商的确要快很多！
Fireworks 最近在炒作 Deepseek 1521+ tps 的速度，估计还是面向签合同的企业，很难开放给终端消费者市场。在 OpenRouter 上的目前速度是 114 tps 归属垫底梯队真的是拉完了。
一直在用 OpenRouter 提供的 Deepseek，就好奇在想在在平台下有很多的算力供应商，请求经常在轮换供应商处理。然而 Cache 是由供应商处理，是不是一旦切换供应商缓存就没法复用了。
查了一下好像的确是这么回事，OpenRouter 的解决方案是 Sticky Routing，给同一段会话传稳定的 session_id，会尽量把后续请求继续发往第一次成功的 provider endpoint，从而保持 cache hit。但是有点脱裤子放屁的感觉 😂 不太稳定。
所以目前最好的解决方案是直接指定一家算力提供商，看了看最近的数据 Together AI 是最快的，能跑到接近 272 tps，就锁定了这家 Provider。Together AI 的方向好像和 FireWorks 差不多，也是做加速基础设施的，指定后体感比随机供应商的确要快很多！
Fireworks 最近在炒作 Deepseek 1521+ tps 的速度，估计还是面向签合同的企业，很难开放给终端消费者市场。在 OpenRouter 上的目前速度是 114 tps 归属垫底梯队真的是拉完了。
同事提离职了，洗澡的时候突然想到，可能一个很本质的是可能工作所得到的反馈。
身处一个职能繁杂的组，组内日常的工作内容彼此关联不大，主要的工作又是在为另外两个组负责。做得好，成果体现在另外两个组，但最终却要接受自己组内的评价体系。真正了解工作价值的人没有评价权，而有评价权的人又未必了解工作的价值。
久而久之，不仅很难获得正向反馈，也很难建立起归属感。毕竟工作上属于另外两个组，组织上却属于自己的组，最后好像哪个组都不真正属于。