随着数据变化,机器学习模型在生产环境中经常会悄无声息地退化。创建一个服务,针对真实数据运行持续的基准测试,并在准确性下降时向团队发出警报。根据模型的复杂性和测试频率收费。首先支持PyTorch等流行框架。主要风险在于创建不能代表实际用例的基准测试。