AI 开发者缺乏系统性的方法来测试人类专家凭直觉识别的微妙边缘情况。这会导致高估系统能力。
构建一个平台，领域专家可以在其中描述挑战性场景，然后将这些场景程序化地生成为测试用例。初期专注于具有明确评估标准的博弈和策略领域。
AI 训练团队愿意为揭示真实局限性的高质量评估数据集付费。
从基于专业游戏存档的围棋局面生成器开始。
风险在于创建过于晦涩而无法实际使用的测试用例。
ai-trainingtestinggames
AI 训练场景生成器
基于人类专业知识创建 AI 系统挑战性测试场景的工具。
为什么是现在
围棋的胜利表明，专业人类知识仍然可以识别 AI 系统的盲点。
- 做给谁
- AI 训练团队
- 商业模式
- 高级测试场景包
- 投入量级
- 几周