为消费级 GPU 优化大型 AI 模型

在本地运行大型 AI 模型可以节省成本并保护隐私。目前的解决方案难以处理超过 100B 参数的模型。

开发优化层，将计算分配到 GPU 内存层级中。专注于减少内存开销并最大化 Transformer 架构的吞吐量。

通过面向研究人员和商业用户的专业版许可证，以及面向企业的付费支持合同来盈利。

从一个概念验证开始，展示 100B 参数以上的模型在 4090 上以可用速度运行，然后针对特定用例进行优化。

风险：在您的解决方案获得关注之前，云服务提供商可能会以更便宜的推理 API 抢占市场。