AI 社区缺乏用于检查专有模型架构和决策过程的标准工具。
创建一个开源工具包，用于探测模型行为、架构推断和组件分析。通过企业支持和高级功能实现盈利。
从为流行模型类型提供基本检测和分析开始。挑战在于跟上快速发展的架构。
这服务于使用不透明第三方模型的 AI 安全研究人员和开发人员。
aireverseengineeringsafetyresearch
AI 模型内省工具包
开发用于分析黑箱 AI 系统的工具。研究人员需要更好的方法来理解专有模型架构和行为。
为什么是现在
随着封闭式 AI 系统占据主导地位，对独立分析工具的需求日益增长。
- 做给谁
- AI 研究人员和开发人员
- 商业模式
- 企业支持合同
- 投入量级
- 几个月