选择AI推理硬件涉及成本、延迟和吞吐量之间的复杂权衡，这些很难预测。
构建一个跨CPU、GPU和专用AI加速器的基准测试结果数据库。让用户模拟他们预期的工作负载。
通过云提供商的推荐费和企业订阅定制基准测试来盈利。
从常见模型在主要硬件上的简单比较表开始，然后添加模拟功能。
风险在于跟上快速发展的硬件——需要不断更新才能保持相关性。
AI推理比较引擎
创建一个基准测试工具，比较不同硬件配置下AI模型的性能。帮助团队优化其推理成本。
为什么是现在
随着新的专用AI芯片的出现，团队需要更好的方法来评估其工作负载的价格/性能权衡。
- 做给谁
- AI工程团队
- 商业模式
- 推荐和订阅
- 投入量级
- 几个月