团队在没有可复现基准测试的情况下，花费数周时间测试不同的内存优化方法。
创建一个容器化的测试套件，测量 vLLM、TGI 等框架以及新进入者之间的吞吐量/延迟/内存权衡。
将年度许可销售给标准化其 ML 部署堆栈的企业。
从基本的 GPT 类型模型分析开始，扩展到多模态。
风险：快速发展的生态系统可能需要持续更新。
AI 内存优化基准测试
标准化测试套件，比较各种 LLM 推理解决方案的内存效率。面向部署模型的 ML 工程师。
为什么是现在
新的内存优化技术每周都在出现，但缺乏可进行直接比较的工具。
- 做给谁
- ML 基础设施团队
- 商业模式
- 企业许可
- 投入量级
- 几个月