AMD GPU 在机器学习中的使用越来越多，但与 NVIDIA 的 CUDA 生态系统相比，开发人员在优化 LLM 推理方面面临挑战。一个简化 AMD GPU 投机解码的工具可以弥合这一差距。从一个与 vLLM 集成并提供基准测试的 CLI 工具开始。最大的风险是 AMD 的生态系统不可预测地发展。
mlamdgpu
优化 AMD GPU LLM 推理
构建一个工具，简化 AMD GPU 上的 LLM 推理投机解码。面向使用 AMD 硬件并需要更快模型推理的开发者。
为什么是现在
AMD GPU 越来越受欢迎，但 LLM 推理工具落后于 NVIDIA。
- 做给谁
- 使用 AMD GPU 的 ML 开发者
- 商业模式
- 企业功能付费许可
- 投入量级
- 几周