Inworld AI 重构模型推理服务栈,称多模型性能显著提升
热点事件历史事件
Inworld AI 重构模型推理服务栈,称多模型性能显著提升
1 篇报道1 个报道来源2026-10-15更新
先了解这件事
AI 综述
Inworld AI 在 X 上称,已重构每个模型的在线服务方式,主要包括为各模型分别调优投机解码的草稿模型、使用自定义注意力内核和融合 MoE 内核,并做了尾延迟优化。这些性能结果来自该公司自述。 公司给出的数字各自对应特定模型和指标:自定义注意力内核使 Gemma 4 26B 的验证速度最多快 7.5 倍;融合 MoE 内核使 MiMo 2.6 Pro 的首个 token 速度快 3 倍;尾延迟优化使 DS V4 Flash 的 p99 首个 token 延迟约快 10 倍。这些数字不能直接推广到其他模型或场景。
AI 根据报道生成 · 2026-10-15更新
最新进展10月15日 00:37
Inworld 重构模型推理,多项性能显著提升报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- Inworld AIInworld 重构模型推理,多项性能显著提升
我们重构了每个模型的服务方式: - 投机解码,草稿模型针对每个模型调优 - 自定义注意力内核:验证速度最多快 7.5 倍(Gemma 4 26B) - 融合 MoE 内核:首个 token 快 3 倍(MiMo 2.6 Pro) - 尾延迟优化:p99 首个 token 延迟约快 10 倍(DS V4 Flash)