GitHub · 去对齐工具与仓库·· 21 天前AI 评分53
BOPIS 开源:用贝叶斯优化搜索 llama.cpp 配置以降低本地 LLM 推理能耗
yskooo/bopis
来源与原文
GitHub · 去对齐工具与仓库
发布时间:(北京时间)
阅读原始来源 · github.com ↗完整链接与内容说明
https://github.com/yskooo/bopis
本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。
AI 导读
作者发布论文配套软件工件 BOPIS,用贝叶斯优化与 Pareto 选择在 llama.cpp 运行时配置空间中搜索每 prompt GPU 能耗最低的设置,同时保持推理速度与输出质量,并与未优化默认配置和随机搜索基线做三方验证。搜索范围覆盖 Qwen2.5-Instruct 0.5B/1.5B/3B/7B 与 F16、Q8_0、Q4_K_M 精度组合,支持 llama-server、Ollama 和模拟后端;测量核心仅用 Python 标准库,BERTScore 评分作为独立离线阶段。对无功耗传感的 GPU(如 MX330)提供基于资源占用的估算模式并标注 energy_scope,文档还记录了论文第三章的多处修正,包括 Expected Improvement 公式符号写反等问题。
来源:GitHub · 去对齐工具与仓库 · github.com