mlx-decision 开源工具:在 Apple Silicon 上用 MLX 本地运行和微调决策模型
Open-source tool to run and fine-tune the new decision models (Clef, pplx-decider, d3, H2O, ...) locally on Apple Silicon with MLX
来源与原文
Reddit · r/LocalLLaMA
作者:/u/armbues
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1xed2a8/opensource_tool_to_run_and_finetune_the_new/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
作者发布开源 Python 包 mlx-decision,可在 Mac 上用 MLX 本地运行 Clef、pplx-decider、d3、H2O-Lightning、LiquidAI d1 等开放决策模型。输入消息、文档或截图加带类型的问题,一次前向即返回各选项的概率与置信度;与原 PyTorch 代码逐 token 校验,同答案下在 MPS 上通常快 1.4–6 倍,M5 Pro 上 d1-3B 短请求 0.06 秒。附带本地 Web Studio 支持对比模型、跑数据集评测和微调,d1-3B 微调 4 分钟在 TREC 上从 86.6% 提到 96.4%;MIT 协议,需 macOS 14+ 和 Python 3.12+,仓库 https://github.com/armbues/mlx-decision。
作者给出了各模型在 Apple Silicon 上的实测延迟和微调前后准确率对比,本地部署决策模型时可参考这些数字选型。
来源:Reddit · r/LocalLLaMA · reddit.com