现在有几十种 LLM 可供选择，为每个任务选择正确的模型是一件令人头疼的事。路由 API 可以分析请求，并将它们发送到最佳模型——复杂的查询使用 GPT-4，简单的查询使用更便宜的模型。按路由的请求收费。MVP 可以只支持三个流行的模型。风险在于路由过程带来的延迟。
用于经济高效 AI 的 LLM 路由引擎
创建一个 API，根据任务复杂性和预算智能地将请求路由到最佳 LLM。
为什么是现在
随着 LLM 选项的激增，开发人员需要帮助来平衡成本、速度和准确性。
- 做给谁
- AI 开发人员
- 商业模式
- 按请求付费的 API
- 投入量级
- 几个月