AI 生成指令的护栏

AI 系统可以生成忽略自身安全措施的指令，带来安全和道德风险。一个扫描和阻止此类提示注入的工具将帮助开发者确保模型安全。部署 AI 的 AI 公司和企业将为这一额外的安全层付费。从一个简单的常见注入模式扫描器开始。主要风险是跟上不断发展的技术。