AI 研究人员难以客观地比较不同实验室和架构的模型性能。
构建一套标准化测试，用于衡量计算效率、训练稳定性和实际泛化能力，而不仅仅是准确性。
向需要可信基准测试的 AI 实验室和云服务提供商销售企业许可证。
MVP 可以是一套用于常见基准测试的简单容器化评估脚本。
风险：实验室可能偏爱有利于其自身模型的专有基准测试。
AI 实验室基准测试工具
创建标准化的基准测试工具，用于比较不同实验室的 AI 模型性能。帮助研究人员衡量真正的进展。
为什么是现在
AI 实验室需要比简单指标更好的方法来比较模型。
- 做给谁
- AI 研究人员、云服务提供商
- 商业模式
- 企业许可证
- 投入量级
- 几周