Together 提供的速度大概稳定在 500 tok/s 很不错! Deepseek 官方 API 的速度稳定在 100 tok/s 左右,5 倍的速度!
一直在用 OpenRouter 提供的 Deepseek,就好奇在想在在平台下有很多的算力供应商,请求经常在轮换供应商处理。然而 Cache 是由供应商处理,是不是一旦切换供应商缓存就没法复用了。
查了一下好像的确是这么回事,OpenRouter 的解决方案是 Sticky Routing,给同一段会话传稳定的 session_id,会尽量把后续请求继续发往第一次成功的 provider endpoint,从而保持 cache hit。但是有点脱裤子放屁的感觉 😂 不太稳定。
所以目前最好的解决方案是直接指定一家算力提供商,看了看最近的数据 Together AI 是最快的,能跑到接近 272 tps,就锁定了这家 Provider。Together AI 的方向好像和 FireWorks 差不多,也是做加速基础设施的,指定后体感比随机供应商的确要快很多!
Fireworks 最近在炒作 Deepseek 1521+ tps 的速度,估计还是面向签合同的企业,很难开放给终端消费者市场。在 OpenRouter 上的目前速度是 114 tps 归属垫底梯队真的是拉完了。
一直在用 OpenRouter 提供的 Deepseek,就好奇在想在在平台下有很多的算力供应商,请求经常在轮换供应商处理。然而 Cache 是由供应商处理,是不是一旦切换供应商缓存就没法复用了。
查了一下好像的确是这么回事,OpenRouter 的解决方案是 Sticky Routing,给同一段会话传稳定的 session_id,会尽量把后续请求继续发往第一次成功的 provider endpoint,从而保持 cache hit。但是有点脱裤子放屁的感觉 😂 不太稳定。
所以目前最好的解决方案是直接指定一家算力提供商,看了看最近的数据 Together AI 是最快的,能跑到接近 272 tps,就锁定了这家 Provider。Together AI 的方向好像和 FireWorks 差不多,也是做加速基础设施的,指定后体感比随机供应商的确要快很多!
Fireworks 最近在炒作 Deepseek 1521+ tps 的速度,估计还是面向签合同的企业,很难开放给终端消费者市场。在 OpenRouter 上的目前速度是 114 tps 归属垫底梯队真的是拉完了。




















