使用 AI 编码助手的开发者经常面临在昂贵的高性能模型和更便宜、功能较弱的模型之间进行选择。为每个任务选择正确的模型既耗时又不是最优的。
构建一个路由服务,根据成本、延迟和准确性等因素,为每个编码任务自动选择最佳 AI 模型。为开发者提供统一的 API 端点。
根据使用量向开发者收费,并提供批量折扣。将其定位为在保持高质量输出的同时节省资金的一种方式。
MVP 可以只在两个模型(例如 GPT-4 和一个更便宜的替代品)之间进行路由。随着时间的推移扩展到更多模型和自定义选项。
最大的风险是直接与大型 AI 提供商自己的路由解决方案竞争。