LLM 提供的置信度评分往往不能准确反映其输出的可靠性。这导致 AI 驱动的工作流程中出现不信任和效率低下。
你可以构建一个工具，使用外部验证方法来评估 LLM 的输出，例如与数据库进行交叉引用或进行逻辑一致性检查。
付费客户将是 AI 开发者和将 LLM 集成到关键系统中的企业。
MVP 可以专注于通过与精选数据集进行交叉引用来验证事实声明。
最大的风险是跟上快速发展的 LLM 功能，因此要专注于模块化设计。
LLM 置信度评分替代方案
开发一个评估 LLM 输出可靠性的工具，无需依赖置信度评分。面向 AI 开发者和研究人员。
为什么是现在
随着 LLM 的普及，不可靠的置信度评分已成为一个明显的痛点。
- 做给谁
- AI 开发者和研究人员
- 商业模式
- 付费 SaaS 或 API
- 投入量级
- 几个月