Reddit · r/LocalLLaMA· /u/WeGoToMars7·· 7 天前精选AI 评分61
Tinkerbox 应用在 Apple Neural Engine 上高效运行 LiquidAI d1-3B 决策模型
I built an app to efficiently run decision models on the Apple Neural Engine with Shortcuts actions for OS automations
来源与原文
Reddit · r/LocalLLaMA
作者：/u/WeGoToMars7
发布时间：（北京时间）
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xa7ytv/i_built_an_app_to_efficiently_run_decision_models/
本站目前仅有 AI 导读与摘要，未展示原文正文；技术细节、代码和完整结论请查看原始来源。
AI 导读
/u/WeGoToMars7 发布 Tinkerbox 应用，可在 Apple Neural Engine 上运行 LiquidAI d1-3B 决策模型，M5 Pro 上热启动短上下文（<256 tokens）决策延迟约 40 ms。该实现用树结构单次评估多个决策以降低延迟，并集成 Shortcuts，可对收邮件、iMessage、文件修改、定时和闹钟等触发事件执行决策而无需写代码。源码与 AOT 编译模型已在 GitHub 和 Hugging Face 开放，作者还在开发基于 Qwen3.5 的 vLLM d3 模型集成，0.8B、2B 和 4B 版本即将推出。
推荐理由
作者实测给出 M5 Pro 上约 40 ms 的短上下文决策延迟，并解释了决策模型适配 ANE 的原因，方法可迁移到本地部署场景。
来源：Reddit · r/LocalLLaMA · reddit.com