部署 AI 智能体的公司在演示之外，难以比较不同选项。标准化基准测试将有所帮助。
创建一个测试套件，衡量常见工作流程中的准确性、速度和成本。发布排名和详细报告。
通过高级评估和为企业定制基准测试来盈利。
从开源测试定义开始。稍后构建托管测试。
风险：主要实验室可能会发布自己的基准测试。
AI 智能体基准测试套件
标准化测试，在客户支持或研究等真实任务上比较 AI 智能体的表现。
为什么是现在
随着智能体激增，团队缺乏客观评估性能的方法。
- 做给谁
- AI 采购团队
- 商业模式
- 付费评估
- 投入量级
- 几个月