Local Quench 发布:在你已有的 GPU 上运行本地 LLM 的 AI 编码智能体
Local Quench 发布,这是一款面向本地 LLM 的 AI 编码智能体,支持 LM Studio、llama.cpp、Ollama 和 vLLM,代码不出本机,提供 Windows、Linux 和 Android 版本。它针对本地模型常见失误(宣布步骤后停止、改测试直到通过等)设计了 harness 纠偏规则,且每条规则可单独关闭并测量;内置 QuenchBench 基准,还可通过 quenchbench.py 一条命令跑 SWE-bench Verified、Terminal-Bench 2.0、Aider Polyglot 等评测。8 GB VRAM 即可起步,应用自带模型顾问推荐适配显存的模型和量化方案。源码不开放,仓库提供发布包、issue 跟踪和基准脚本。
推荐理由:为本地模型设计了针对常见失误的 harness 纠偏机制,且每条规则都可单独关闭并用 QuenchBench 实测,方法可迁移到自己的本地部署。