数据科学家在比较不同决策模型的性能时常常感到困难。现有的基准测试不一致且难以复现。 创建一个SaaS平台,对决策模型运行标准化测试。提供准确性、速度和资源使用情况的清晰指标。 出售给构建AI/ML系统的公司。根据测试模型的数量收费。 从一个简单的Web界面开始,该界面接受常见格式的模型并返回基本的性能报告。逐步添加更多测试用例。 最大的风险是无法提供有意义的见解。初期专注于金融预测等狭窄领域。
benchmarkingdecision-models
决策模型基准测试服务
构建一项基准测试决策模型的服务。数据科学家需要可靠的性能指标。
为什么是现在
日益复杂的决策模型催生了对标准化基准测试工具的需求。
- 做给谁
- 数据科学家
- 商业模式
- 按次付费
- 投入量级
- 几周