可执行智能体中文基准首测结果：Claude3.5领先未达50分

AgentCLUE测评基准旨在评估大语言模型（LLM）在Agent任务上的能力。测评结果显示，国内外大模型在Agent任务上的得分普遍较低，最高分也未超过50分。国内顶尖大模型与国外顶尖大模型仍存在差距。复杂Agent任务的完成率随解题步数增加而显著下降，长上下文处理、信息缺失识别和权限边界界定是需要优化的重点。环境反馈和反思有助于提升任务完成率。