LLM性能基准测试服务

采用LLM的团队缺乏客观基准来比较不同提供商的模型速度、成本和质量。一个独立的测试服务可以在受控条件下运行标准化评估。

从基本延迟和吞吐量测量开始，针对常见任务。稍后添加质量评估和价格/性能指标。

初始版本可以测试2-3个模型上的简单任务。主要风险是跟上快速的模型变化。