跳到正文
#llama.cpp
10月7日周三
  2. GitHub · 去对齐工具与仓库61

    fvsion/CARL 发布：在 Apple Silicon Mac 上一键运行 OpenCode 和 Pi 的本地编码模型

    GitHub 项目 fvsion/CARL（Can't Afford Remote LLMs）发布，在 Apple Silicon Mac 上用一条命令启动本地 llama.cpp 服务器和实时仪表盘，为 OpenCode 和 Pi 提供编码模型。

    推荐理由：给 Apple Silicon 用户提供一条命令跑起本地编码模型服务器加仪表盘的完整方案，模型选择和调优设置都写清楚了，可以照着部署。

  3. GitHub · 灵魂体仓库46

    window-ml：一个探索 LLM 推理的假设检验仓库

    应用数学家 parawanderer 在 GitHub 开源 window-ml 仓库，实验 LLM 推理问题：服务器能否从实际使用记录中学习模型加载位置与时长、预测解码速度并自我纠正。核心机制是让上下文的每一帧拥有地址，工具输出以短指针引用而不复制回上下文，智能体可据此用选定帧重建窗口并评判结论。代码由智能体编写维护，仓库定位为假设检验装置而非代码库，多数想法尚未实测。

  4. Reddit · r/LocalLLaMA10

    LocalLLaMA 求助：预算 $1700-1800 如何升级 GPU 跑本地 LLM

    一位 Reddit r/LocalLLaMA 用户在预算 $1700-1800 内纠结 GPU 升级方案：加一块二手 5060Ti 16GB（约 $500）、买二手 7900 XTX（24GB VRAM，$850），或直接上 R9700。其现有配置为 Ryzen 9 9950X、96GB 内存、5060Ti 16GB 和仅一条 PCIe 5.0 x16 的 ASRock X870 Pro，正在考虑是否换 X870E Taichi 主板以获得双 PCIe 通道，主要用途是写代码和 analyse 文档、地图与图像。

  5. GitHub · 灵魂体仓库13

    supply-chain-monitor-localai：基于本地 AI 的供应链监控 Windows 应用发布

    GitHub 上的 supply-chain-monitor-localai 是一款基于 Elastic 供应链监控工具 fork 的 Windows 桌面应用，通过本地 AI 后端在用户自己的电脑上分析供应链数据，数据无需发送到远程服务。它支持 vLLM 和 llama.cpp 两种本地推理后端，推荐 Windows 10/11、8 GB 以上内存和 5 GB 磁盘空间，可从 release 页面下载安装。

  6. GitHub · 去对齐工具与仓库52

    开源桌面工具 PromptDeck 发布：本地离线横向对比多个 LLM 的速度与输出

    Cadman021 在 GitHub 发布开源工具 PromptDeck，基于 Tauri 构建的本地桌面应用，可完全离线运行、数据不出本机。它支持通过 Ollama、LM Studio 或 llama.cpp 服务器同时对比 2 至 4 个模型，并接入 OpenRouter、DeepSeek、Groq 等 19 家云端供应商，实时对比 TPS、TTFT 和总耗时，结果存入 SQLite，支持批量测试计分板、并排 diff、胜率排行和 PDF/CSV 导出。项目采用 GPL v3.0 许可证，支持包括中文在内的六种语言。

  7. GitHub · 灵魂体仓库66

    thisisspartan 发布 llama-log-observability：llama-server 实时日志可视化面板

    thisisspartan 在 GitHub 发布 llama-log-observability，一个解析 llama-server 日志的实时仪表盘，用单个零依赖的 www.js 文件以纯 Node.js 实现。面板可视化 KV cache 来源与 VRAM/Host RAM 分布、上下文 checkpoint、MTP/n-gram 投机解码接受率与请求历史，并读取 /slots 和 /metrics 端点交叉核对，不改动 llama.cpp 本身。作者给出完整示例：在 RTX 5060 Ti 16GB 上以 q4_0 KV cache 加 host-RAM checkpoint 运行 Qwen3.8-27B MTP GGUF（IQ3_S 量化），跑通 124000 上下文。项目以 MIT 协议开源。

    推荐理由：一个零依赖的单文件 Node.js 面板，把 llama-server 日志变成 KV 缓存、checkpoint 和投机解码的实时可视化，可直接复用。

  8. GitHub · 去对齐工具与仓库60

    开源本地会议记录应用 LokalBot 发布，纯本地转录与摘要

    开发者 stevyhacker 在 GitHub 开源了 macOS 应用 LokalBot，可在 Apple Silicon Mac（macOS 15+）本地录制麦克风和会议应用音频，无需会议机器人加入，提供转录、摘要、日程回顾、听写与自动补全，默认无账号、无遥测。内置 llama.cpp 运行时，默认模型含 Qwen3-ASR 1.7B、Qwen3.5 4B 等，约 6.8 GB 模型文件，支持 Ollama、OpenAI 兼容服务器和 Apple Intelligence，屏幕文字与截图默认 opt-in 且 14 天过期， GPLv3 协议，可通过 Homebrew 安装。

    推荐理由：README 附带了与 Granola、Otter、Screenpipe 等产品的逐项对比表和隐私架构说明，方便读者判断本地会议记录方案的差异。

  11. GitHub · 灵魂体仓库54

    jvr0x 开源 ai-models 仓库，为 lmswitch 提供本地大模型 YAML 配方

    jvr0x 在 GitHub 开源 ai-models 仓库，提供经生产验证的 lmswitch YAML 配置，放入 ai-models/ 目录即可被自动检测、解析并启动。支持 llama（llama.cpp 加载 .gguf，无需 Docker）和 vllm（加载 safetensors/FP8/NVFP4，需 Docker）两种后端，内置 Qwen3.6 系列、Gemma4、Nemotron、Kimi、DeepSeek Flash 等数十个模型配方。配置项包括 ctx 默认 65536、gpu_layers、gpu_memory_utilization 默认 0.85、tool_call_parser 等，项目采用 MIT 许可证。

  12. GitHub · 灵魂体仓库63

    resector 发布：面向本地 LLM 的编码 Agent 上下文管理工具

    artkoenig 在 GitHub 发布 resector，一个为本地模型设计的编码 Agent 上下文管理工具。它把上下文显示为带 token 数和前缀缓存状态的块列表，在每次请求前经 Review Gate 暂停供手动裁剪，也可用 TypeScript 编写的 Context Policy 自动执行 remove、edit、move、compact 等操作。内置 lean-compact 策略在 5 个合成会话对比中比全量压缩减少 95% 提示 token、93% 压缩时间，事实保留率 98%。支持 llama.cpp、Ollama、LM Studio、oMLX 后端，提供 darwin 和 linux 二进制下载，遵循 MIT 许可。

    推荐理由：面向本地模型上下文窗口小的痛点，给出了手动与策略两种裁剪方案和缓存感知设计，可迁移到本地 Agent 工作流。

  13. Reddit · r/LocalLLaMA38

    原版 GLM-Edge-1.5B-Chat 在 4GB Galaxy A04e 上完成真实 Amazon 购物车任务

    GLM-Edge-1.5B-Chat（Q4_K_M GGUF 量化、无微调）通过 llama.cpp 在 4GB 内存的 Samsung Galaxy A04e 上本地运行，借普通桌面 Firefox 会话在 Amazon 完成了查找电池与黄色橡皮鸭并加入购物车的真实任务，两次运行均成功。A04e 全程约 8.5 分钟，Galaxy S21 上约 3 分钟。模型不接收截图或原始 HTML，而是通过结构化浏览器感知层（E2LLM/SiFR）在用户现有浏览器会话内操作，即"Browser-as-Shared-Space（BaSS）"思路。

  14. GitHub · 灵魂体仓库43

    toxicwind/estate：一个人的 AI 实验室控制平面

    GitHub 仓库 toxicwind/estate 开源了 Chris 的个人 AI 基础设施 monorepo，由两台机器和一个 82 个 daemon 的集群组成，实现本地与云端模型统一路由。herd（:25100）通过 llama.cpp 提供 116 个本地 GGUF 模型，溢出请求由 flock（:25193）路由到 NIM、OpenRouter、Groq、Cerebras 等云端，sovereign-router-ts 管理其中 52 个活跃模型；squawk 提供多智能体聊天平面，所有 daemon 由 pitchfork 健康检查监督。技术栈包括 Go、Rust、Python、TypeScript（Bun）和 NATS、Qdrant。

  15. GitHub · 去对齐工具与仓库54

    DOMEMON 开源 G8 与 G8.5 行政法务问答 LLM 系统仓库

    DOMEMON 在 GitHub 开源了两个可本地部署的行政与法务问答 LLM 系统：G8 依托越南胡志明市 Tăng Nhơn Phú 坊提供的行政数据集，G8.5 将问答核心与数据集分离以便复用到其他领域。系统采用 FastAPI 后端、React 前端、PostgreSQL、LangGraph 规划与 BM25 检索，参考部署用 Qwen3-8B GGUF Q4_K_M 通过 llama.cpp 运行，附带 G8 后端 56、G8.5 后端 17、MCP source-service 78、前端各 46 个测试用例，并说明项目不是微调模型、不保证法条时效。

  16. GitHub · 去对齐工具与仓库59

    Qwen3.5-9B-ToolHub 发布本地一体化部署方案，联网搜索、看图、读文件开箱即用

    Paata28b 发布基于 Qwen3.5-9B 多模态模型的本地一体化部署仓库 Qwen3.5-9B-ToolHub，推理在本机 GPU 完成，支持联网搜索并附来源、上传图片提问、只读浏览本机文件和内置思维链。需要 Windows 10/11、≥8 GB 显存的 NVIDIA 显卡和 Python 3.10+，首次运行下载约 6 GB 模型，启动 30–60 秒，并提供 Docker Compose、WSL 和 Q8 量化（约 10.2 GB，显存 ≥12 GB）三条备选路线，对外暴露 OpenAI 兼容 API（http://127.0.0.1:8080/v1）。底层使用 llama.cpp 作为 GGUF 推理引擎。

    推荐理由：原文给出完整的硬件要求、安装步骤和三条部署路线，本地跑通 Qwen3.5-9B 多模态加工具调用可以照做。

  17. GitHub · 灵魂体仓库63

    mcgyvr 发布：把限定编码任务交给低成本 worker 的 CLI 与 Agent 技能

    AdarGit008 在 GitHub 发布了 mcgyvr，一个命令行工具和 Agent 技能，用于把重排格式、排序 import、重命名符号、写函数或测试等限定编码任务交给可配置的 worker 阶梯。格式、import 排序、lint 修复和重命名先走确定性工具；模型任务按用户配置从最便宜的单位向上爬，默认最多 1 次升级，结果需通过确定性门槛才保留且默认不提交。支持仅绑定本地 llama.cpp 或 vLLM 服务器，API 模型可选，通过 install.sh 可同时安装到 Claude Code 和 pi 两个 harness，任务默认在一次性 Docker 容器中运行，需 Python 3.12+ 和 uv。

    推荐理由：原文给出了完整的成本阶梯、确定性门槛与沙箱机制说明，读者可以直接照装上手，把小的编码改动交给更便宜的本地模型。

  18. GitHub · 灵魂体仓库66

    NobodyWho 开源本地推理引擎，支持多平台离线运行 GGUF 模型

    NobodyWho 发布了一个本地 LLM 推理引擎，可离线运行 GGUF 格式模型，无需 API key，提供 Kotlin、Swift、React Native、Flutter、Python 和 Godot 绑定。基于 llama.cpp 和 ONNX Runtime，支持 Vulkan/Metal GPU 加速、类型安全的工具调用、多模态输入、Kokoro 等语音合成、Whisper 语音识别和 Silero VAD；内存要求约为模型文件的 1.5 倍，推荐从 Qwen3 0.6B（约 330 MB）上手。项目还提供实现 OpenAI Chat Completions API 的实验性本地服务器，采用 EUPL-1.2 许可证，允许在专有项目中使用。

    推荐理由：README 讲清了多平台绑定、内存要求与模型加载方式，想在各端本地跑 LLM 的开发者可以直接对照评估可行性。

  19. GitHub · 灵魂体仓库67

    DynoLLM 开源：本地 LLM 压测与硬件遥测平台

    Ganesh1110 在 GitHub 上开源了 DynoLLM，一个面向本地 LLM 的基准测试、并发压测和硬件遥测平台，支持 Ollama、vLLM、LM Studio 和 llama.cpp。平台原生测量流式 TTFT、tokens/s、并发饱和极限、GPU VRAM 与功耗，提供 tok/s/W 能效分析和带安全熔断的 watchdog，前端为 React 仪表盘，后端 FastAPI，采用 MIT 许可证发布。

    推荐理由：README 详细给出 TTFT、并发压测、功耗遥测等指标的计算方式和四种流量模式，读者可以据此判断是否值得为自己的本地 LLM 部署引入这个压测平台。

  20. Reddit · r/LocalLLaMA64

    Qwen3.6-35B-A3B 4-bit HumanEval 实测 89.6%，MoE expansion 路由补丁 A/B 提升至 90.9%

    作者在单张 RTX 2080 Ti 22GB 上用 Unsloth UD-IQ4_XS 4-bit 量化实测 Qwen3.6-35B-A3B，HumanEval 全部 164 题 pass@1 达 89.63%（147/164）。随后对自制的 MoE expansion 路由补丁做受控 A/B：在最后 15 层（25–39）每 token 激活 20 个专家而非原生 top-8，无需重训或改文件，pass@1 升至 90.85%（149/164），解码速度从 69 tok/s 降至 56 tok/s（约 -19%）。作者提示 +2 题在 164 题的统计噪声范围内，且用的是原始 HumanEval 而非 EvalPlus，不能与 EvalPlus 榜单直接对比。

    推荐理由：作者给出了同机同量化下的受控 A/B 数据和解码速度代价，读者可以据此自行判断该路由补丁是否值得用。

  21. GitHub · 灵魂体仓库69

    Scholaradar 开源：本地 AI 每晚为蒙古学生筛 8 语言奖学金

    GitHub 项目 Scholaradar 开源发布，用本地大模型每晚以 8 种语言搜索奖学金并复核 MEXT、GKS、DAAD 等 25 个项目官方页面，仅对页面原文引用判定本国公民是否可申请。首日找到 342 个机会，其中 227 个明确对蒙古公民开放；51 页人工标注测试中严格标签准确率 80%，截止日期解析 100% 正确。需 16GB 显存 GPU 或托管模型，MIT 许可，改一个配置块即可适配其他国家。

    推荐理由：原文给出了完整安装命令、资格判定方法和四模型基准数据，想自己搭一套本地 AI 信息聚合管道的读者可以照着复现。

  22. Hugging Face · 新模型：abliterated60

    Methane 发布 Qwen3.8-Flash-Next 去对齐版 GSQ-RCO 量化 GGUF 模型

    Methane 在 Hugging Face 发布 Qwen3.8-Flash-Next 的去对齐版 GSQ-RCO 量化 GGUF 模型，保留 1,078 个 ISTA 张量，并对来自 windowsxp811203 去对齐检查点的 146 个 BF16 张量重新量化。实测生成速度约 31 tok/s，比未改动的 ISTA IQ3_XXS 快约 31%，下载体积大 9.6%；MMLU 82.68%、GSM8K 86.72%、strict IFEval 85.16%、raw HumanEval 66.46%，除编码外三任务平均变化 −0.66 个百分点，等质量尚未证实。

    推荐理由：作者给出了与原 ISTA 量化的速度和四项基准对比数据，读者可据此评估这个去对齐量化版本的实际代价。

  24. GitHub · 去对齐工具与仓库67

    llmhost 发布 Linux 服务器本地大模型托管工具，兼容 OpenAI API

    GitHub 用户 bkisonka 发布 llmhost，一个 Linux 服务器上的本地大模型托管工具，由 headless 守护进程 llmhostd 和命令行 lhctl 组成，底层驱动原版 llama.cpp，对外提供 http://127.0.0.1:7330/v1 的 OpenAI 兼容 API。支持路由器模式同时驻留多模型（默认 2 个，LRU 换出）、多 GPU 自动分配与张量切分、MoE 专家放 RAM、自动参数调优、MTP 投机解码免配置加速、闲置 15 分钟自动卸载、Prometheus 指标和 Bearer 密钥鉴权；从 HuggingFace 目录搜索下载模型并按显存自动选量化。

    推荐理由：这个自托管工具给出完整部署方案与实测算速，想在自己服务器上跑兼容 OpenAI API 的本地大模型可以参考。

  25. GitHub · 去对齐工具与仓库40

    XSHELF：面向 LLM 仓库操作的确定性运行时工具发布

    fugamante 发布 XSHELF，一套为 LLM 辅助仓库操作设计的确定性运行时工具，将命令输出封装为有界、可检查的证据和稳定 JSON 契约，适用于 CI 与可重复任务执行。它提供命令捕获、上下文缩减、执行策略强制、结构化响应校验与失败重放，支持 Ollama、llama.cpp、MLX 等后端。CX 作为兼容命令面保留，项目为独立开源，与 OpenAI 无关联。

  26. GitHub · 灵魂体仓库72

    halu-sys 开源 llm-probes：本地 llama.cpp 栈的部署级评测探针

    halu-sys 在 GitHub 开源 llm-probes，为本地 llama.cpp/llama-swap 栈提供部署级评测探针，回答只有本机才能回答的问题，如 IQ3_S 量化下 262k 上下文是否真实、长上下文格式遵循、循环退化率、MTP 投机解码是否无损、跨上下文事实组合与多跳 Agent 委托链等。所有探针运行时程序化生成（可复现、无训练数据污染），由代码评分而非 LLM 评分。实测显示 Qwen3.8-Flash-Next IQ3_S 在 8k–256k 各探针多数通过，并总结了推理预算不足会静默吞掉答案、参数剥离使评测失效、探针自矛盾曾误导结论等六起生产事故复盘。

    推荐理由：针对本地 llama.cpp/llama-swap 部署的实测探针，给出各探针的真实运行结果与踩坑复盘，方法可直接复用。

  27. GitHub · 去对齐工具与仓库43

    CastleArq 0.5.1 发布：运行前检查 GGUF 模型与 llama.cpp 兼容性的命令行工具

    CastleArq 0.5.1 是一个面向 Linux 的命令行工具，用于管理本地 GGUF 模型文件，在调用 llama.cpp 执行前评估模型能否在本机运行，并输出证据。它本身不做推理，兼容性评估检查五项条件（artifact-model 一致性、格式、架构、runtime 与 backend 支持），每项报告 Expected、Observed 与 Evidence，结果为 PASSED、FAILED 或 UNKNOWN，被拒绝时无参数可强制执行。该版本新增只读 search 与 inspect 命令，需 Python 3.11 及以上，可通过 PyPI 的 pip install castlearq 安装。

  28. GitHub · 去对齐工具与仓库51

    chrisjohnson 开源 Strix Halo + R9700 eGPU 本地 LLM 构建目录与基准工具链

    chrisjohnson 发布 strix-halo-r9700-llm-builds 仓库，收录 AMD Ryzen AI Max+ 395（Strix Halo，gfx1151）加 r9700 eGPU 扩展坞上跨双 GPU 并行运行 LLM 的模型引擎构建目录、modelctl 管理工具和 llm-inference-bench 基准编排器，支持 vLLM、llama.cpp 和 Ollama，用于编码助手场景及跨引擎/跨模型对比。目前含 67+ 个经核验的模型+引擎组合，每个构建是独立 Docker Compose 项目；CI 每次推送自动生成交互式对比面板（tokens/s 横向条形图，可按引擎、上下文长度、并发等过滤）发布到 GitHub Pages。

  29. GitHub · 去对齐工具与仓库67

    nmesh 发布：本地 LLM 硬件自动检测与运行管理工具

    GitHub 用户 shizukutanaka 发布 nmesh，一个本地 LLM 的硬件自动检测、模型选择、内存估算与运行管理工具，通过 3 条命令安装后提供 OpenAI 兼容 API（http://127.0.0.1:18000/v1）。工具按 VRAM 将硬件分为 T0_CPU 到 T5_SERVER 六档，支持 Ollama、llama.cpp、vLLM、MLX-LM 后端，无 llama.cpp 时可自动获取托管引擎和模型。

    推荐理由：作者用实测数据支撑工具的每个判断，包括 KV cache 精度、量化阶梯和 prompt cache 污染的对照测量，方法本身可迁移。

  30. Hugging Face · 新模型：uncensored18

    mradermacher/qwen3.5-9b-uncensored-i1-GGUF 模型在 Hugging Face 发布

    mradermacher 在 Hugging Face 发布 qwen3.5-9b-uncensored 的 i1-GGUF 量化版本。该模型可通过 llama.cpp、Ollama、Docker Model Runner、LM Studio 等工具本地运行，示例采用 Q4_K_S 量化，支持启动 OpenAI 兼容本地服务器或终端直接推理，也可接入 Pi、Hermes、OpenClaw 等 Agent 工具。

  32. GitHub · 去对齐工具与仓库72

    PrismaQuant 开源：按真实端到端 KL 选择逐层量化格式的混合精度工具

    Robert Tand 开源 PrismaQuant，一个混合精度 LLM 量化工具，用 AURA 分配器（KL-Fisher 探针乘以生产渲染权重误差，解多选背包）为每个 Linear 选格式，发布前用 held-out 真实 KL 验证。输出 compressed-tensors（vLLM 原生）、GGUF（llama.cpp 与 vLLM）和 Tessera 三种容器，均无需 fork 推理引擎。实测：Qwen3.6-27B 5.5 bpp 工具调用 91/100 超 BF16 的 86/100；Ornith-1.0-35B 4.75 bpp 从 70 GB 降到 23 GB；Tencent Hy3 295B-A21B 量化到 2.80 bpp GGUF 后单张 DGX Spark 可跑。

  33. Reddit · r/LocalLLaMA71

    Qwen3.8-27B 量化方案：12GB VRAM + 8GB RAM 跑出约 18 tok/sec

    /u/bodhi371 用 ISTA-DASLab 的 Qwen3.8-27B-GSQ-RCO IQ3_S 量化（约 11GB），在 12GB VRAM + 8GB RAM 上以 llama.cpp 跑通 Qwen3.8-27B，64k 上下文下解码约 18 tok/sec、prefill 约 500-600 tok/sec。作者称这是其测过的最佳量化，GSQ-RCO 表现接近全精度；能塞下是因为混合架构只需 16/64 层 KV cache，q4_0 缓存下 64k 仅约 1.1GB。

    推荐理由：作者给出了在 12GB VRAM 上跑通 Qwen3.8-27B 的完整量化方案与参数，附可复现脚本和实测速度数据。

  34. Reddit · r/LocalLLaMA62

    Claude 为 Qwen3.8-27B 与 Qwen Flash Next 优化双卡和四卡 7900XTX 部署

    /u/NoFee9147 在 Lenovo P620 四张 7900XTX（gen 4.0 x16）上对 Qwen3.8-27B 和 Qwen Flash Next 做了一系列 ROCm 与 llama server 层面的修复，表示有人感兴趣就推送到 GitHub 并分享配置。

    推荐理由：作者逐项列出 ROCm 与 llama.cpp 服务端的修复内容和前后性能数字，四卡 7900XTX 跑 Qwen3.8-27B 的结果可复现。

  35. GitHub · 去对齐工具与仓库65

    Eugene Plexus v0.1.0 发布：本地 LLM 推理自托管控制面

    Eugene Plexus 发布 v0.1.0，这是一个自托管的本地 LLM 推理控制面，可安装、更新并监督 llama.cpp、vLLM 和 MLX 推理引擎，管理本地模型库，并暴露 OpenAI 兼容与 Anthropic Messages 端点。该版本以 OpenAPI 3.1 契约定义六个组件（agent、control、gateway、inference-driver、library、ui）间的接口，消费者通过固定 SHA 的 codegen 依赖契约。原文列出了真实硬件上的验证项（副本均衡、故障转移、空闲卸载、工具调用、双机多主机部署等）与已知缺陷，包括登录限流器可被请求头驱动的预认证缺陷、AMD/Intel GPU 的 Windows 机器被误判为无 GPU、一键运行路径的量化适配数值可能偏小等。

    推荐理由：原文给出实测硬件验证清单、已知缺陷和未验证项，读者可据此判断这个本地推理控制面当前能做什么、不能做什么。

  36. GitHub · 去对齐工具与仓库53

    BOPIS 开源：用贝叶斯优化搜索 llama.cpp 配置以降低本地 LLM 推理能耗

    作者发布论文配套软件工件 BOPIS，用贝叶斯优化与 Pareto 选择在 llama.cpp 运行时配置空间中搜索每 prompt GPU 能耗最低的设置，同时保持推理速度与输出质量，并与未优化默认配置和随机搜索基线做三方验证。搜索范围覆盖 Qwen2.5-Instruct 0.5B/1.5B/3B/7B 与 F16、Q8_0、Q4_K_M 精度组合，支持 llama-server、Ollama 和模拟后端；测量核心仅用 Python 标准库，BERTScore 评分作为独立离线阶段。对无功耗传感的 GPU（如 MX330）提供基于资源占用的估算模式并标注 energy_scope，文档还记录了论文第三章的多处修正，包括 Expected Improvement 公式符号写反等问题。

  37. Reddit · r/LocalLLaMA64

    focus-llama 在单张 RTX 5090 上以 110+ TPS 跑通 Qwen3.8-27B Q6_K_XL 的 256k 上下文

    作者发布 llama.cpp 的 fork focus-llama，将物理 KV 缓冲与逻辑上下文解耦，逻辑上下文保持 256k 而物理缓冲上限约 85k cells，旧块卸载到外部存储按需取回。在单张 RTX 5090 上运行 Qwen3.8-27B UD-Q6_K_XL 并启用自适应 MTP 投机解码，平均速度 110+ t/s，日志显示生成速度稳定在约 117-123 t/s；项目基于 Google DeepMind 提出的 declarative attention 与 skill.state 两种技术，代码与配置见 https://github.com/edwardyoon/focus-llama/blob/master/README.md。

    推荐理由：作者给出了 fork 的 KV 缓冲上限机制、完整启动配置和逐段生成速度日志，可复现单卡 256k 长上下文的高吞吐部署。

  38. GitHub · 去对齐工具与仓库70

    终端编码 Agent purr 开源，面向小本地模型的长任务优化

    rephyr 在 GitHub 开源了终端编码 Agent purr，主打让小型本地模型在长而模糊的任务上表现更好，也支持 API 模型。自动发现 Ollama、llama.cpp、LM Studio、vLLM 本地模型，兼容 DeepSeek、OpenRouter 等 API；提供 code/ask/learn/pair/plan 等模式，自定义 Agent 为 Markdown 文件且兼容 Claude Code 与 OpenCode 的 Agent；无遥测、MIT 协议，Terminal-Bench 2.1 上配合 DeepSeek V4.1 Flash 单次尝试得 82.0% ± 4.1。

    推荐理由：原文给出了 Terminal-Bench 2.1 上 82.0% 的实测分数和针对小模型的容错与检查机制说明，可了解其设计取舍。

  39. Reddit · r/LocalLLaMA74

    Qwen3.8 27B 如何在 16GB 显存上跑出 131k 上下文：实测经验与指南

    /u/randomgenericbot 在 r/LocalLLaMA 分享在 16GB 显存（RTX 5060 Ti + 单通道 DDR5）上运行 Qwen3.8 27B 的经验：使用 ISTA-DASLab 的 GSQ-RCO IQ3_S 量化（https://huggingface.co/ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF），与朋友在 H200 上跑的 Q8 对比几乎无法区分。

    推荐理由：作者实测了 Qwen3.8 27B 在 16GB 显存下的量化选型与 KV 流式方案，并给出各上下文档位的实测速度数据。

  40. GitHub · 灵魂体仓库67

    ifReflex.cpp 发布：基于 llama.cpp 的原生 C++ 结构化决策推理引擎

    DreamBlooms 在 GitHub 发布 ifReflex.cpp，一个基于 llama.cpp 的原生 C++ 推理引擎，把结构化决策做成纯 prefill 读取，对每个类型化问题在单次前向中从 next-token logits 读出完整选项概率分布，不生成散文、零生成 token、CPU 即可运行。一个二进制覆盖 reflex、SemIf、RWKV-Jev 和任意 instruct GGUF，支持 Qwen3.5 0.8B/2B/4B、Qwen3.6 35B A3B、Qwen3.8 27B 等 GGUF；还支持 DiffusionGemma 和 LLaDA-MoE 两种块扩散架构的一步结构化读取（LLaDA-MoE 为 7B 模型、1.4B 激活、约 8 GB 内存）。

    推荐理由：用单次前向读取 logits 的方式做结构化决策，零生成 token 且无 GPU 可跑，部署思路可复用。