运行大型AI模型需要可突发计算资源,这些资源可以根据工作负载需求进行扩展/缩减。当前的解决方案缺乏跨提供商透明的性能/成本基准测试。
创建一个SaaS,使用标准化基准测试跨云GPU提供商(AWS、GCP、Azure等)自动测试模型训练/推理。按特定工作负载类型的性价比进行排名。
研究实验室和AI初创公司将为此付费以优化云支出。该服务可以按基准测试收费或通过订阅收费。
MVP:简单的CLI工具,在用户的云账户上运行预定义的基准测试,并提供基本的成本效益报告。
最大风险:主要的云提供商可能会发布自己的基准测试工具,从而削弱需求。