在没有针对真实世界任务的标准化基准的情况下，选择 AI 模型非常耗时。
创建一个平台，在不同模型（编码、写作、分析）上运行相同的测试套件，并显示可比较的指标。
AI 开发者愿意付费列出他们的模型。企业买家将订阅以获取比较数据。
首先对 3-4 个流行模型在基本编码任务上进行基准测试。
主要风险在于跟上快速发展的模型能力。
aibenchmarkcomparison
AI 模型评测对比工具
开发一项服务，客观比较不同任务上 AI 模型性能。团队在评估多个模型上浪费时间。
为什么是现在
每周都有新的 AI 模型发布，开发者需要更好的方法来对它们进行头对头比较。
- 做给谁
- AI 工程师和产品团队
- 商业模式
- SaaS 订阅
- 投入量级
- 几周