跳到正文
GitHub · 灵魂体仓库·· 3 天前精选AI 评分58

Local Quench 发布:在你已有的 GPU 上运行本地 LLM 的 AI 编码智能体

majmichu1/local-quench

来源与原文

GitHub · 灵魂体仓库

发布时间:(北京时间)

阅读原始来源 · github.com ↗
完整链接与内容说明

https://github.com/majmichu1/local-quench

本站目前仅有 AI 导读与摘要,未展示原文正文;技术细节、代码和完整结论请查看原始来源。

AI 导读

Local Quench 发布,这是一款面向本地 LLM 的 AI 编码智能体,支持 LM Studio、llama.cpp、Ollama 和 vLLM,代码不出本机,提供 Windows、Linux 和 Android 版本。它针对本地模型常见失误(宣布步骤后停止、改测试直到通过等)设计了 harness 纠偏规则,且每条规则可单独关闭并测量;内置 QuenchBench 基准,还可通过 quenchbench.py 一条命令跑 SWE-bench Verified、Terminal-Bench 2.0、Aider Polyglot 等评测。8 GB VRAM 即可起步,应用自带模型顾问推荐适配显存的模型和量化方案。源码不开放,仓库提供发布包、issue 跟踪和基准脚本。

推荐理由

为本地模型设计了针对常见失误的 harness 纠偏机制,且每条规则都可单独关闭并用 QuenchBench 实测,方法可迁移到自己的本地部署。

来源:GitHub · 灵魂体仓库 · github.com