评估高级 AI 系统潜在风险缺乏标准化工具和方法。
构建一个系统化测试模型行为的框架，包括对抗性测试场景。
销售给关注负责任开发的人工智能实验室和研究机构。
从基础安全测试套件开始，然后根据研究人员反馈进行扩展。
风险：小众市场可能对新测试方法采纳缓慢。
aisafetyresearch
AI 安全测试框架
开发用于测试前沿 AI 系统安全性与对齐性的工具和方法。面向开发高级模型的人工智能实验室和研究人员。
为什么是现在
随着人工智能能力飞速发展，强大的安全测试需求日益紧迫。
- 做给谁
- AI 研究人员
- 商业模式
- 企业工具授权
- 投入量级
- 几个月