AI 应用负载测试

开发 AI 应用的开发者难以预测实际使用模式。标准的负载测试工具无法考虑对话式工作流程和可变输入长度。

创建一项服务，生成具有不同复杂度和跟进率的真实聊天流。在负载下测量延迟、错误率和每次查询成本。

根据测试的复杂性和持续时间收费。目标是为 AI 产品发布做准备的团队。

从基本的对话模板开始。然后扩展到学习生产流量中的模式。

与现有性能工具区分开将是成功的关键。