UnityBench-Mini3D:评测LLM智能体Unity 3D开发能力的基准
热点事件历史事件
UnityBench-Mini3D:评测LLM智能体Unity 3D开发能力的基准
1 篇报道1 个报道来源27 天前更新
先了解这件事
AI 综述
Yijun Zhou等研究者发布了UnityBench-Mini3D,这是一个用于评测大语言模型编码智能体Unity 3D游戏开发能力的基准。该基准包含77个项目级Unity任务,任务按七类专家定义的技能组织,而非按教程或游戏类型划分,并分为三个难度等级。 每个任务配有1,178个人工编写的里程碑测试,可给出部分得分,并定位智能体在哪个环节失败。据论文报告,在21个模型和9种编码框架的测试中,简单任务平均通过率为80.9%,困难任务降至35.2%,总体为57.7%。这些是该论文自行报告的测试结果。
AI 根据报道生成 · 25 天前更新
最新进展10月26日 18:19
UnityBench-Mini3D:评测 LLM 智能体的 Unity 3D 游戏开发能力报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- arXiv 游戏 AI 检索精选UnityBench-Mini3D:评测 LLM 智能体的 Unity 3D 游戏开发能力
研究者提出 UnityBench-Mini3D,用 77 个项目级 Unity 任务评测 LLM 编码智能体的 3D 游戏开发能力。每个任务配有 1,178 个人工编写的里程碑测试,可给出部分得分并定位失败环节。在 21 个模型和 9 种编码框架的测试中,简单任务平均通过率为 80.9%,困难任务降至 35.2%,总体为 57.7%。