随着新模型每周涌现，研究人员缺乏对不同 AI 架构如何处理数学推理的集中可见性。
构建一个动态仪表板，收集来自开放数学基准测试的结果，标准化评分，并可视化趋势。通过高级分析功能和 API 访问进行盈利。
首先抓取主要数学数据集的 GitHub 存储库。风险在于依赖于不一致的社区基准报告。
AI 数学问题基准仪表板
创建一个排行榜，跟踪哪些 AI 模型在数学推理任务上表现最佳。服务于 AI 实验室和量化研究人员。
为什么是现在
专门数学数据集的公开发布，创造了对客观性能比较的需求，以应对不断变化的模型。
- 做给谁
- AI 研究人员
- 商业模式
- 高级分析
- 投入量级
- 几周