使用多个 AI 模型的开发者在为每项任务决定使用哪个模型时浪费时间。不同模型的性能和成本差异很大。
构建一个代理层，分析查询并将其路由到最优模型（例如，GPT-4 用于复杂推理，Claude 用于文档处理）。包括成本跟踪和回退逻辑。
通过基于使用量的 API 向工程团队销售。提供比直接使用单个模型更好的结果和更低的成本。
从一个带有简单路由规则包装了主要模型 API 的 CLI 工具开始。逐步添加更复杂的分析。
风险在于大型厂商（如 GitHub Copilot）会自己构建此功能，因此要通过透明度和控制来区分。