工程团队缺乏对哪些部门/功能在使用LLM、使用频率以及使用何种提示/结果的可见性。
构建一个轻量级代理，位于应用程序和LLM API之间，记录带有上下文元数据的请求/响应。
根据记录的请求量收费，面向需要治理的技术负责人。
从OpenAI API日志记录和基本分析开始。
风险：性能开销可能会阻碍采用。
LLM审计日志服务
创建代理记录所有LLM API交互及其元数据。让团队能够了解其整个技术栈中AI的使用情况。
为什么是现在
随着公司在LLM基础上进行构建，他们对这些模型在生产环境中实际使用情况却一无所知。
- 做给谁
- 使用LLM的工程团队
- 商业模式
- 基于使用量的定价
- 投入量级
- 几周