AI 研究人员和开发者需要更好的工具来评估他们的模型在 ARC-AGI 等 AGI 基准测试上的表现。
创建一个基于 Web 的沙盒，用户可以在其中上传他们的 AI 模型或 API 端点，并针对 ARC-AGI 测试用例运行它们。
研究团队和 AI 初创公司愿意为详细的性能分析和与其他模型的比较付费。
从一个简单的界面开始，用于上传响应并获得针对基本测试用例的分数。
最大的风险是吸引力有限——只有认真的 AGI 研究人员才会关心这些特定的基准测试。
aibenchmarkingagitesting
ARC-AGI 测试沙盒
构建一个 Web 应用，让开发者可以针对 ARC-AGI 基准测试他们的 AI 模型。提供可视化工具和比较指标。
为什么是现在
随着 OpenAI 的 GPT-6 Astra 在 ARC-AGI-3 上取得进展，人们对根据此标准评估 AI 能力的兴趣日益浓厚。
- 做给谁
- AI 研究人员和开发者
- 商业模式
- 高级分析和比较
- 投入量级
- 几周