跳到正文
Reddit · r/LocalLLaMA· /u/Sleepybear2611·· 13 天前精选AI 评分62

Llamaforge v0.16 发布:面向上游 llama.cpp 的浏览器控制面板,新增本地 agent 与引用校验

I made a browser control panel for upstream llama.cpp. v0.16 adds local agents that have to quote their sources, and code checks the quotes

来源与原文

Reddit · r/LocalLLaMA

作者:/u/Sleepybear2611

发布时间:(北京时间)

阅读原始来源 · reddit.com ↗
完整链接与内容说明

https://www.reddit.com/r/LocalLLaMA/comments/1x5k53h/i_made_a_browser_control_panel_for_upstream/

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

作者发布 Llamaforge v0.16,这是一个驱动上游 llama.cpp 的浏览器控制面板,不改动 llama.cpp 本体。加载模型前按本机实测大小显示模型在各 GPU 上的落位,不合适会提示,支持多模型同时运行且主模型占用最快 GPU、worker 模型避开该卡。v0.16 新增 embers 本地 agent,夜间读取指定来源生成 wiki 和晨间简报,每条论断必须逐字引用来源并由代码对照快照校验,不匹配即丢弃;agent 无浏览器和工具,除非开启推送否则数据不出本机。

推荐理由

作者实测了 llama.cpp 面板的多 GPU 显存预估与本地 agent 引用校验机制,读者可了解其部署与防幻觉做法。

来源:Reddit · r/LocalLLaMA · reddit.com