许多开发者希望利用 LLM，但又不想受限于云端模型。构建一个本地 AI 决策工具可以赋能用户创建尊重隐私且仍能利用 AI 功能的应用程序。主要客户将是寻求维护数据机密性和控制应用程序的开发者。最小可行产品可以是一个基本的命令行界面，接受类型化输入并根据预训练模型返回决策。最大的风险是有效部署本地模型的潜在复杂性。
本地 LLM 决策，无需 Token 生成
开发一个工具，允许在本地使用 LLM 进行类型化决策。面向寻求 AI 交互隐私和效率的开发者。
为什么是现在
随着 AI 隐私担忧的增长，本地处理解决方案的需求日益增长。
- 做给谁
- 希望使用本地 AI 解决方案的开发者
- 商业模式
- 高级功能或支持的订阅费
- 投入量级
- 几个月