跳到正文
10月7日周三
  1. Reddit · r/LocalLLaMA38

    原版 GLM-Edge-1.5B-Chat 在 4GB Galaxy A04e 上完成真实 Amazon 购物车任务

    GLM-Edge-1.5B-Chat(Q4_K_M GGUF 量化、无微调)通过 llama.cpp 在 4GB 内存的 Samsung Galaxy A04e 上本地运行,借普通桌面 Firefox 会话在 Amazon 完成了查找电池与黄色橡皮鸭并加入购物车的真实任务,两次运行均成功。A04e 全程约 8.5 分钟,Galaxy S21 上约 3 分钟。模型不接收截图或原始 HTML,而是通过结构化浏览器感知层(E2LLM/SiFR)在用户现有浏览器会话内操作,即"Browser-as-Shared-Space(BaSS)"思路。

  2. GitHub · 去对齐工具与仓库53

    BOPIS 开源:用贝叶斯优化搜索 llama.cpp 配置以降低本地 LLM 推理能耗

    作者发布论文配套软件工件 BOPIS,用贝叶斯优化与 Pareto 选择在 llama.cpp 运行时配置空间中搜索每 prompt GPU 能耗最低的设置,同时保持推理速度与输出质量,并与未优化默认配置和随机搜索基线做三方验证。搜索范围覆盖 Qwen2.5-Instruct 0.5B/1.5B/3B/7B 与 F16、Q8_0、Q4_K_M 精度组合,支持 llama-server、Ollama 和模拟后端;测量核心仅用 Python 标准库,BERTScore 评分作为独立离线阶段。对无功耗传感的 GPU(如 MX330)提供基于资源占用的估算模式并标注 energy_scope,文档还记录了论文第三章的多处修正,包括 Expected Improvement 公式符号写反等问题。

10月6日周二
  1. GitHub · 去对齐工具与仓库62

    dzaragoza 开源 LLM-benchmark:本地小模型选型与基准测试工具

    dzaragoza 发布 LLM-benchmark 仓库,配套独立研究 Small Models, Big Claims(DOI: 10.5281/zenodo.22855666),测量在集成 GPU 上经 llama.cpp Vulkan 后端从系统内存运行的小型 instruct 模型。

    推荐理由:作者把整套基准流程做成一条命令加两个离线选型页,读者可复用其量化阶梯与读速门槛方法来挑选本地小模型。