跳到正文
我的
Reddit · r/LocalLLaMA· /u/CodeSamurai·· 15 小时前AI 评分52

Lamplight:作者分享本地优先 AI harness 的搭建经验

Lamplight - Lessons Learned from Building a Local-First Harness

来源与原文

Reddit · r/LocalLLaMA

作者:/u/CodeSamurai

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1xpkqo2/lamplight_lessons_learned_from_building_a/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

/u/CodeSamurai 分享了自己搭建的本地 AI harness Lamplight,把 MacBook Pro M5 Max 与 RTX 5090 主机连成一套系统,约 95% 的 AI 使用已转到本地。两台机器都跑 Qwen 3.8 Flash-Next,Jade 用 Basalt IQ3_S 量化、262K 上下文,平均解码 302 tok/s,Slate 用 mlx-serve 4.7bpw MLX,平均解码 100 tok/s;HumanEval 分别为 99.4% 和 98.8%,LiveCodeBench v6 为 85.7% 和 85.1%。作者还记录了硬件调优前后的功耗与温度对比,以及 thinking 设为 medium 比 high 更少触发 32K 输出上限的经验。

来源:Reddit · r/LocalLLaMA · reddit.com

这条消息,你怎么看?

把新闻带到 MickerBook,和社区伙伴聊聊;也可以去 AIHER 看看模型背后的角色与梗。