处理 Transformer 模型的开发人员经常难以解释模型为何做出某些预测。
构建交互式可视化，显示跨层和头的注意力模式，并提供突出显示有问题注意力的工具。
销售给需要调试其微调模型的 AI 初创公司和企业。
MVP 可以是一个带有基本注意力可视化的 Colab 笔记本。
风险：随着大型框架添加类似功能，可能会被商品化。
aideveloper-tools
LLM 注意力调试器
创建开发工具，可视化语言模型中的注意力机制。帮助 AI 工程师理解模型在微调期间的行为。
为什么是现在
随着越来越多的团队微调开放权重模型，调试工具正成为必不可少的底层架构。
- 做给谁
- 机器学习工程师和研究员
- 商业模式
- 付费桌面应用程序或云服务
- 投入量级
- 几周