运行本地大模型的开发者缺乏关于不同硬件如何处理框架更改后模型变体的清晰数据。
创建一个测试套件，对模型、量化方法和硬件的组合进行性能、内存使用和准确性基准测试。
AI 初创公司愿意为选择部署目标时的可靠兼容性数据付费。
从一个简单的脚本开始，测试几个常见的 ggml 模型。
风险在于量化方法的快速变化，可能导致结果很快过时。
llmbenchmarkaihardware
本地大模型兼容性测试器
构建一个工具，跨硬件配置基准测试开源模型。面向关注大模型生态系统稳定性的开发者。
为什么是现在
AI 基础设施的整合给本地模型部署带来了不确定性。
- 做给谁
- 本地大模型开发者
- 商业模式
- 赞助硬件合作伙伴
- 投入量级
- 几周