Inworld AI· inworld·· 2026-10-15AI 评分22
Inworld AI 以KV缓存感知路由减少重复计算
KV-cache-aware routing: each request goes to the replica that already holds its prefix in KV cache, so shared context isn't recomputed.
AI 导读
KV-cache-aware routing:每个请求都会被分配到已在 KV cache 中保存其前缀的副本,因此共享的上下文无需重新计算。 重复提示的缓存命中率最高可达 90%,缓存输入的成本最高可降低 99%。每条回复仍会重新生成。
来源:Inworld AI · x.com