Inworld AI· inworld·· 2 天前精选AI 评分37
Inworld 优化 Gemma 4 26B,首 token 延迟最低 0.23s、输入价格降近 40%
We’ve optimized Gemma 4 26B on Inworld to help consumer apps respond faster at lower cost.
AI 导读
Inworld 在自家平台上优化了 Gemma 4 26B,称首 token 时间最高快 8.6 倍,p95 为 0.23s,而 OpenRouter 上 15 家提供同款模型的服务商中位数为 1.97s(11 月 16 日数据)。输入定价较同款模型中位服务商低近 40%,缓存上下文还可进一步节省。每 100 万 token 价格为输入 $0.07、输出 $0.34、缓存输入 $0.035。
推荐理由
原文给出首 token 延迟与三家对比基准及每百万 token 定价,可据此估算对话类应用的响应与成本。
来源:Inworld AI · x.com