开发者在没有一致基准测试的情况下，花费数天时间测试不同的本地 LLM。
创建一个 Docker 镜像，在模型和硬件配置上运行标准化测试。
销售精选的基准报告和用于团队部署跟踪的企业功能。
MVP 可以仅在常见的消费级 GPU 上测试吞吐量和延迟。
风险：快速的模型改进会使基准测试很快过时。
本地 LLM 基准测试工具
帮助开发者比较本地 LLM 选项的性能。消除混淆的宣传。
为什么是现在
本地 LLM 选项的激增产生了对标准化测试的需求。
- 做给谁
- LLM 开发者
- 商业模式
- 付费报告
- 投入量级
- 几周