跳到正文
  1. Reddit · r/LocalLLaMA67

    Reddit 用户按性价比排序 76 款 GPU 的 llama.cpp Vulkan 基准,P102-100 和 MI50 居首

    Reddit 用户整理 llama.cpp Vulkan 后端的 76 款 GPU 基准数据(数据来自 Performance of llama.cpp with Vulkan #10879),结合 2026 年二手价格排出性价比 Top 20 与最不值 10 款。测试以 Llama 2 7B Q4_0 为基线,结果显示 Nvidia P102-100 约 $45 综合成本约 $0.1569/t/s 居首,AMD Instinct MI50 约 $120 可达 tg128 超过 100 t/s,宽位宽老卡和 HBM2 卡在解码性价比上明显优于窄位宽新卡;Tesla P40 同时出现在最佳与最差榜单中。

    推荐理由:作者把 llama.cpp Vulkan 基准数据与 2026 二手价格结合算出性价比排名,还列出最不值榜单,可直接用于预算装机选卡。

  1. Reddit · r/LocalLLaMA62

    llama.cpp 官方 ROCm 预编译版在 AMD 上可能静默回退到 CPU 运行

    Reddit 用户 /u/oppoftemp27 发现,在四台 AMD 主机上,llama.cpp 官方 ROCm 预编译版(b11327)从未真正使用 GPU,服务启动正常、/health 显示绿色,实际一直在 CPU 上运行。原因是预编译版的 HIP 后端需要 libamdhip64.so.7 / libhipblas.so.3 / librocblas.so.5,而装有 ROCm 6.3.0 的 Ubuntu 主机只有 .so.6 / .so.2 / .so.4,后端库加载失败后 llama-server 静默改用 CPU,控制台无报错,-ngl 999 也无效。作者建议用同一提示词集在 CPU 版上对比每条耗时,比值约 1.0 说明在跑 CPU,远低于 0.5 说明 GPU 正常工作。

    推荐理由:作者给出官方 ROCm 预编译版静默回退 CPU 的具体库版本原因,以及用 CPU 对照跑分检测该问题的可复用方法。

  1. Reddit · r/LocalLLaMA71

    Reddit 用户开源 Sentinel:用代码护栏而非提示词构建本地第二大脑

    Reddit 用户 /u/dimensionof0 开源了 the-sentinel(MIT 协议),一个在代码层而非提示词层设置护栏的本地 LLM 知识库系统,防止模型自引输出导致知识库被污染。

    推荐理由:作者用实测数据对比了提示词与代码护栏的效果,并给出 6 GB 显存下的具体运行方案,方法可直接迁移到类似知识库项目。

  2. GitHub · 灵魂体仓库62

    observability-deep-dive 仓库发布:离线实战搭建 LLM 应用长期可观测性

    alexvervloet 发布 observability-deep-dive 仓库,一个离线可运行的 LLM 应用可观测性实战教程,默认无需 API key。

    推荐理由:用确定性流量模拟器生成六周含真实事故的日志,读者可离线亲手搭出漂移检测、采样评审和告警调参的完整监控栈。

  3. GitHub · 灵魂体仓库63

    realtime-voice-deep-dive:从零构建实时语音Agent的离线模拟实验仓库

    alexvervloet 发布 realtime-voice-deep-dive 仓库,用完全离线、无需 API key 的确定性模拟器讲解实时语音Agent的构建。

    推荐理由:用离线模拟器拆解实时语音Agent的帧流、状态机、barge-in与延迟预算,并给出pipeline与speech-to-speech的选型对比。

已经到底了