Reddit · r/LocalLLaMA· /u/Sleepybear2611·· 13 天前精选AI 评分62
Llamaforge v0.16 发布:面向上游 llama.cpp 的浏览器控制面板,新增本地 agent 与引用校验
I made a browser control panel for upstream llama.cpp. v0.16 adds local agents that have to quote their sources, and code checks the quotes
来源与原文
Reddit · r/LocalLLaMA
作者:/u/Sleepybear2611
发布时间:(北京时间)
阅读原始来源 · reddit.com ↗完整链接与内容说明
https://www.reddit.com/r/LocalLLaMA/comments/1x5k53h/i_made_a_browser_control_panel_for_upstream/
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布 Llamaforge v0.16,这是一个驱动上游 llama.cpp 的浏览器控制面板,不改动 llama.cpp 本体。加载模型前按本机实测大小显示模型在各 GPU 上的落位,不合适会提示,支持多模型同时运行且主模型占用最快 GPU、worker 模型避开该卡。v0.16 新增 embers 本地 agent,夜间读取指定来源生成 wiki 和晨间简报,每条论断必须逐字引用来源并由代码对照快照校验,不匹配即丢弃;agent 无浏览器和工具,除非开启推送否则数据不出本机。
推荐理由
作者实测了 llama.cpp 面板的多 GPU 显存预估与本地 agent 引用校验机制,读者可了解其部署与防幻觉做法。
来源:Reddit · r/LocalLLaMA · reddit.com