开发人员经常将性能问题归咎于模型，而实际问题却在于预/后处理代码。构建一个可插拔的基准测试系统，单独测量模型的推理和框架开销。
面向需要优化生产部署的 ML 工程师。提供每个管道阶段花费时间的视觉化。
作为 SaaS 产品销售，按次付费或企业许可证。
MVP 可以是一个 Python 库，它使用标准化的仪器来包装现有的基准测试工具。
风险是与开源替代品竞争，因此要专注于与主要 ML 框架的无缝集成。
aiperformancebenchmarking
AI 模型基准测试框架
一个标准化的测试框架，用于将其与自己的实现进行比较 AI 模型性能。帮助开发人员识别真正的瓶颈。
为什么是现在
随着 AI 的普及，团队会浪费时间优化其管道的错误部分。
- 做给谁
- 机器学习工程师
- 商业模式
- SaaS 订阅
- 投入量级
- 几周