随着模型向设备端迁移,开发者需要更好的方法来优化它们以适应受限环境。
创建工具,自动为特定硬件目标进行模型量化、剪枝和编译。
销售给集成 AI 功能的移动/应用开发者。
从支持流行的模型架构和常见移动芯片组开始。
风险在于硬件供应商发布自己的优化工具链。
开发工具以缩小和加速模型在边缘设备上的运行。
隐私担忧和延迟需求正将 AI 推向设备端。
随着模型向设备端迁移,开发者需要更好的方法来优化它们以适应受限环境。
创建工具,自动为特定硬件目标进行模型量化、剪枝和编译。
销售给集成 AI 功能的移动/应用开发者。
从支持流行的模型架构和常见移动芯片组开始。
风险在于硬件供应商发布自己的优化工具链。