运行本地 AI 模型的开发者在有效利用多个 Apple 设备方面遇到困难。
构建一个轻量级的协调器，将 Mac Studio、iPhone 和 iPad 汇集到一个计算集群中，以处理更大的模型。
面向希望获得隐私但缺乏专用 GPU 服务器的小型工作室和研究人员。
MVP 可以简单地在两台设备之间平衡负载。
挑战在于与无需设置的云解决方案竞争。
本地 ML 模型协调器
创建工具，在家庭或办公室的 Apple Silicon 设备之间分发推理。面向运行本地 AI 模型的团队。
为什么是现在
Apple 的 MLX 框架使本地模型分发突然变得可行，但缺乏编排工具。
- 做给谁
- 本地 AI 模型用户
- 商业模式
- 专业版许可证
- 投入量级
- 几周