社交平台难以大规模检测 AI 生成的滥用内容，面临法律风险和公关危机。
提供一个 API，利用多模态检测（图像哈希、元数据分析、生成指纹）在人工审核前标记合成滥用图像。
卖给面临合规压力的广告网络、云服务商和社交平台——按每百万次扫描收费，并提供 SLA。
MVP：用 Cloudflare Worker 和简单的 JSON API 封装现有的开源检测模型。
风险：与生成器的军备竞赛可能需要持续的模型再训练。
moderationai-safetyapi
AI 内容审核 API
构建一个 API，比现有方案更准确地检测 AI 生成的儿童虐待图像。广告平台和社交网络会付费集成。
为什么是现在
近期 AI 审核的失败表明，现有方案跟不上合成内容的步伐。
- 做给谁
- 社交平台和广告网络
- 商业模式
- 按扫描量计费的 API 订阅
- 投入量级
- 几个月