当推理过程可能具有误导性或虚构时，AI 开发者难以信任模型的输出。
构建一个库，接收模型输出和推理过程，然后使用反事实测试和时间分析等技术分析其一致性。
出售给实施 LLM 的中型公司中的 AI 团队，他们需要审计能力但缺乏内部构建资源。
MVP 可以是一个 Jupyter Notebook 插件，用于标记现有推理过程中可疑的模式。
最大的风险是该领域转向不同的解释范式，使推理过程分析变得过时。
aidebugging
AI推理透明化工具
创建一个分析和可视化 AI 推理过程的工具，以区分真实推理和事后辩解。面向调试 AI 系统的开发者。
为什么是现在
随着 AI 应用的增长，开发者需要更好的工具来审计模型推理。近期研究表明，许多“解释”是虚构的。
- 做给谁
- AI 开发者
- 商业模式
- 开发者工具SaaS
- 投入量级
- 几周