Inworld AI· inworld·· 2026-10-15AI 评分14
Inworld 重构模型推理,多项性能显著提升
We rebuilt how each model is served:
AI 导读
我们重构了每个模型的服务方式: - 投机解码,草稿模型针对每个模型调优 - 自定义注意力内核:验证速度最多快 7.5 倍(Gemma 4 26B) - 融合 MoE 内核:首个 token 快 3 倍(MiMo 2.6 Pro) - 尾延迟优化:p99 首个 token 延迟约快 10 倍(DS V4 Flash)
来源:Inworld AI · x.com