方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
Guillaume2561 发布 LlamaServerLauncherAvalonia，一个基于 Avalonia UI 和 .NET 8 的跨平台桌面应用，用于通过图形界面启动和管理 llama.cpp 服务器实例。功能包括 GGUF 模型元数据读取与 VRAM 占用预估、多实例管理、基准测试对比、MCP 服务器挂载、OpenAI 兼容的按需模型代理、ComfyUI 显存释放集成，以及 llama.cpp 版本下载与回滚管理。项目地址：https://github.com/Guillaume2561/LlamaServerLauncherAvalonia。
推荐理由：这个跨平台图形启动器把 llama.cpp 服务器的参数配置、VRAM 预估、基准测试和多实例管理整合到一个界面里，适合本地部署用户参考。
Fox 是一个面向并发负载的本地 LLM 服务器，可作为 Ollama 的直接替代，MIT OR Apache-2.0 双许可，改端口即可兼容现有 Ollama 与 OpenAI 客户端。它包装 llama.cpp，核心优化是并发请求间的共享前缀 KV cache 复用：新请求匹配最长共享前缀跳过 prefill，还能从正在解码的序列复制共享前缀，这是其他 llama.cpp 服务器做不到的。在 Radeon 890M Vulkan 测试中，16 客户端共享系统提示词时 TTFT p50 为 1402 ms 对 llama-server 的 8064 ms，但短独立提示词的单轮请求吞吐约为基线的 96%，反而慢约 4%。
推荐理由：README给出了共享前缀并发场景下与llama-server的对比数据和复现脚本，也坦承短独立请求反而慢约4%，可自行判断适用场景。
dave-holden 发布 proxytoolpatch 仓库，提供 FastAPI 代理 proxytool 和纯 Python 修复库 toolpatch，把小模型以原始文本泄漏的工具调用在传输途中修复为结构化调用，opencode、pi、curl 等任何 OpenAI 兼容客户端无需改动即可使用。
推荐理由：给出了在本地模型前加代理层修复泄漏工具调用的完整方案，含架构图、启动顺序和配置示例，方法可直接迁移复用。
ObsidianRAG 4.0.1 发布，用 SQLite FTS5 与嵌入式 LanceDB 作为唯一检索引擎，为 Obsidian 笔记提供本地优先的混合 RAG 问答。Obsidian 插件管理后端、索引生命周期、聊天与来源链接，支持 Ollama、LM Studio 和 OpenAI 兼容服务生成；采用增量 copy-on-write 索引修订、数字来源引用，以及保护查询的 reader leases，API 3 客户端与 4.0.1 不兼容，需按迁移说明升级。
推荐理由：原文给出本地混合 RAG 索引的完整架构与增量更新机制，可参考其用 SQLite FTS5 加 LanceDB 做检索和租户租约保护查询的做法。
GitHub 开源 RustyRAG，一个 Rust 编写的单二进制 RAG 服务器，检索、重排、生成全流程控制在 1 秒内，无 reranker 时 TTFT 低于 200ms。在 Open RAG Bench 3,045 题上用 qwen-3-235b 做 LLM-as-judge 评测，开启 Jina Reranker v3 后通过率 94.5%（失败 167/3,024），关闭后 91.6%（失败 253/3,020），重排增加约 100ms TTFT 和约 370ms 总延迟。
推荐理由：README 给出了同一套 3,045 题基准下开关 reranker 的通过率与延迟对比，读者可据此自行权衡精度和速度的取舍。
BlockRunAI 开源了其六款产品共用的智能 LLM 路由引擎 router-core。它用 15 维本地特征对请求分类，先硬过滤不满足能力契约的模型，再按任务质量、成本、速度、可靠性打分排序，决策约 0.05 ms、无推理调用、无网络访问，并返回可审计的理由和有序回退链。V3.4 基准显示任务成功率从 49% 升至 57%，单任务成本降 6.4%，但质量增益的 95% 置信区间为 −1.9 到 +15.5 点、跨零，官方明确声明未统计显著优于原规则路由。MIT 许可、零运行时依赖，需 Node ≥ 20.19，仅以 commit tarball 安装而不发布 npm。
推荐理由：原文给出了完整的分级过滤与打分机制、实测延迟和带失败区间的基准数据，读者可以据此评估这套本地路由引擎是否值得复用。
sikkatu/recipes 仓库为在 4× RTX PRO 6000（96 GB GDDR7，TP4，无 NVLink）上服务大开源权重 LLM 提供硬件绑定、经验证的部署配方。配方绑定容器 digest、模型 revision 和硬件实测值，给出带原始输出的指标，并包含 DeepSeek-V4.1-Flash、GLM-5.3-Flash、GLM-5.3、MiMo-V2.6-Pro 四个草稿状态的 MoE 专家驻留平衡配方；配方以 MIT 许可发布，设有 schema、digest、health、quality、performance 五道验证门禁。
推荐理由：仓库用硬件快照、镜像 digest 和五道门禁把部署数字固定到可复现，还记录了失败尝试的台账。
dealignai 发布 GLM-5.3-ABLITERATED-FP8 v2，对 GLM-5.3-FP8 做权重级去审查，仅修改 bf16 residual writer 张量、不动 FP8 专家，可在原版 vLLM 上以 Hopper 原生 FP8 速度运行。v2 修复了 v1 在约 2% 高难度提示上的推理循环问题，HB-320 上 GARBAGE 降为 0，非版权危害面 TRUE_COMPLY 达 91.7%（off），代价是整体 TRUE_COMPLY 下降约 4pp；MMLU 87.43%，较基线 +1.85pp。附 TP8 H200 部署配置与 reasoning_effort 只认 low/high 等运行注意事项。
推荐理由：发布方给出了 MMLU 与 HarmBench-320 的前后对照数据，v2 版在消除推理循环的同时保留了约 87% 的 MMLU 水平。
作者 /u/msalsas 发布了 llama-doctor，一个 CLI 工具加实时面板，可指向运行中的 llama.cpp 或 Unsloth Studio 服务器，拉取 /metrics、/props 和 /slots，给出按严重度分级的问题诊断，涵盖 prefill 与 decode、队列压力、prefix cache 复用率和内存余量。退出码映射到严重度，可用于 cron 门控；工具只读、仅依赖标准库、需 Python 3.10+，代码在 https://github.com/msalsas/llama-doctor，作者欢迎 PR，尤其是能让工具崩溃的服务器场景。
推荐理由：作者开源了一个读取 llama.cpp 运行指标并按严重度分级诊断问题的 CLI 工具，退出码可直接接入 cron 做自动门控。
IndrasMirror 发布 DeepSeek-V4.1-Flash-1017 的 GSQ 混合层级量化无对齐版本，552B 参数 MoE 压缩到 152 GB，可在 RTX 4090（24 GB）加 90 GB 内存的家用 PC 上以 12–13 tok/s 解码运行。模型对专家采用 ternary/2-bit/3-bit 混合量化（平均 2.093 bpw），并施加 mrfakename 风格的 rank-2 拒绝方向编辑；行为探针显示 chat 模式 100 个有害与 100 个安全样本均 0 次拒绝，think 模式同样 0 次拒绝。
推荐理由：卡片给出了量化前后困惑度对比、拒绝探针和速度实测数据，读者可以据此判断这个 152 GB 版本在消费级硬件上的真实质量。
uBruckhaus 在 GitHub 发布 Asterism，一个 GTK 4 / libadwaita 应用，把电脑上的编码代理（Claude Code、Codex、Copilot、Cursor CLI 等）、本地 LLM（llama.cpp、Ollama、vLLM 等）和 MCP 服务器以卡片和地图形式统一展示与管理。支持安装模型（下载经 SHA-256 校验）、设置上下文大小、在地图上连线把代理接入本地 LLM 或 MCP 服务器，并提供健康与安全检查，逐项说明代理可自主执行的操作及风险，改动带预览、备份和撤销。不请求 root，只读代理设置不读凭据文件；提供 AUR 包和 AppImage，MIT 许可。
推荐理由：原文详细说明了各代理与本地 LLM 的权限检查、SHA-256 校验和隐私边界，读者可据此评估是否引入这款本地管理工具。
tejas4patel 发布 R 包 dragonfarm，可从 PDF、Word、网页等文档自动生成问答训练数据，经人工审核后用 QLoRA 微调本地模型，内置 RAG 可直接基于文档作答。7B 模型 4-bit 加载可放进 8 GB 笔记本 GPU，示例中 Qwen2.5-7B-Instruct 在 RTX 406 上训练约 22 分钟，修复了 0.5B 版本答错的退换政策细节；0.5B 训练约 2-4 分钟。产出为 Hugging Face transformers 可加载的 adapter 或合并模型，MIT 许可，已上架 CRAN。
推荐理由：作者用同一批工单给出 0.5B 与 7B 微调前后的对照输出和耗时数据，读者可据此评估在自己文档上微调的可行路径。
Artel 是一款开源桌面应用（MIT 协议，支持 Windows 和 Linux），AI 智能体在项目的独立 git worktree 副本中写代码，用户像校对一样逐行审阅修改，接受后合并为一个 commit。支持单人智能体或由规划者带队的多智能体团队（最多三个并行，各占一份副本），流程为智能体先做问卷、写规格并找出验证命令，先运行测试确认能失败再写代码，验证通过才算完成；已在 DeepSeek V3.1、DeepSeek Flash、GLM-5.3 Flash 等真实模型上验证。
推荐理由：README 详细写明了隔离 worktree、先跑测试再写代码的流程和团队智能体的合并机制，方法层面可直接参考。
huginnfork 发布 Qwen3.8-Flash-Next-NVFP4-Abliterated v4 的 CSF 压缩容器，比原版小 3.58 GB，权重与 v4 逐位一致。消融在量化网格上原位进行，rank-1 拒绝方向取自第 46 层、alpha=1.0，共编辑 25,188 个张量；有害拒绝率从母模型的 136/136 降到 0/136，过度拒绝从 4/59 降到 0/59，GPQA 差异不显著（p=0.286）。需带 NVFP4-CSF reader 的 vLLM 源码构建才能加载，作者提醒该模型拒绝行为被有意降低，部署时需自备安全措施。
推荐理由：原文给出rank-1拒绝方向消融的具体参数和与母模型的有害拒绝率对照数据，读者可据此评估这个去对齐版本的实际改动幅度。
candor-lab 用自研权重编辑工具 Candor 移除了 IFM 的 K2-Horizon-7B 的拒绝行为，以单个 Q4_K_M GGUF（5.59 GB）发布在 Hugging Face，Apache 2.0 协议。288 个 StrongREJECT 有害提示的拒绝数从原版 287 降到 3，300 个 Alpaca 无害提示拒绝数从 2 降到 0，KL 散度 0.052，GSM8K 正确数 1222 对 1209，均在噪声范围内。编辑为 rank-3 修改，覆盖 61 个输出矩阵；搜索的 313 次试验和最终评测均在 llama.cpp 中开启 thinking、reasoning effort high 下完成，前两名候选曾因数学成绩下降或思考预算耗尽被淘汰。
推荐理由：原文给出拒绝率、KL 散度和 GSM8K 的前后对照数据，读者可以据此判断这次权重编辑到底去掉了什么、损失了多少。
maxgfr 发布 Aparté，一个完全在浏览器运行的私密 AI 聊天应用，支持 Anthropic、OpenAI、Gemini、Mistral、OpenRouter 及百余种 OpenAI 兼容服务，也可接 Ollama、LM Studio、Jan、WebLLM 和 Chrome 内置 Gemini Nano。对话、文档与照片以 AES-256-GCM 在设备端加密，仅密文同步到 GitHub、S3 兼容存储等自有目的地，无账号无服务器；Rust CLI 可从终端打开同一 vault，支持 MCP、skills、沙箱代码执行与本地知识库，格式 aparte/1 以 TypeScript 和 Rust 双实现并共享测试向量。
推荐理由：仓库文档写明了加密方案、同步格式与威胁模型边界，包括共享 origin 的限制和已记录的泄露点，便于自行部署前评估。
开源 VS Code 扩展 champ 1.7.0 发布，在编辑器内集成自主编码智能体，支持完全离线运行本地 LLM、多智能体编排和 RAG 代码库索引。后端统一接口接入 Claude、OpenAI、Gemini、Ollama、llama.cpp、vLLM 等 7 类 provider，含 19 个带审批门控的工具、Smart Router 按任务类型自动选模型、防幻觉守护与哈希链审计日志，项目以 TypeScript 构建并配有 1900+ 测试，MIT 许可。
推荐理由：README 对架构、工具审批、RAG 索引和安全机制写得相当细，想自建本地 LLM 编码智能体的读者可以照着配置直接上手。
nofacedfl 在 Hugging Face 发布 GLM-5.3 Uncensored Maya 量化包，将 Z.AI 的 753B MoE 模型用 GPTQ 压到约 2.5 bit，配合 Project Maya 的 GLM-5.3 移植版引擎运行。在 7 张 GPU（5× RTX 4090 48 GB + 2× A100 40 GB）上达 43–57 tokens/s，支持 512K 上下文，JailbreakBench 拒绝率从原版 39/40 降到 2/40，其中量化后为 6/40，再通过 78 层×3 方向的拒绝向量在运行时投影移除降至 2/40；对 FP8 的 KL 为 0.204、top-1 一致率 88.4%。
推荐理由：原文给出完整的去对齐实现路径和 JailbreakBench 拒绝率前后对比，还附量化精度损失数据，可复现可核查。
Piecrust 将 Huihui 的拒绝方向消融编辑重新应用到 NVIDIA 的 GLM-5.3-Flash-FP4-Local 权重上，发布去对齐版本。仅改动 15 至 36 层的 44 个矩阵（self_attn.o_proj 与 mlp.shared_experts.down_proj），其余权重与原检查点逐字节一致；因 NVIDIA 做过量化感知蒸馏，编辑以 rank-1 方式重算而非直接套用 delta，重编码后保留 91-95% 编辑强度。实测在 2× RTX PRO 6000 Blackwell 上拒绝探针 12 问 0 拒绝（原版拒绝 2 次），GSM8K 94/96 对 95/96，解码速度基本持平；需 NVIDIA 列出的容器环境，上游 vLLM 暂不支持。
推荐理由：原文给出逐字节校验、拒绝探针前后对比和速度质量数据，可据此判断这个去对齐版本改了什么、代价多大。
dealignai 基于 LibertAI 的 EXL3 2.9bpw 量化包（388 GB）发布 DeepSeek-V4.1-Flash-1017 无对齐版本，移除拒绝行为，支持 6 种语言、131K 上下文、thinking 开关与 vision/MTP/Engram 权重保留。实测 MMLU-500 从 67.40% 降至 63.20%（−4.20pp），HarmBench-320 chat 模式 320 项全部 COMPLY；在 RTX PRO 6000 上经 exllamav3-anemone + TabbyAPI 实测约 68 tok/s 解码、1105 tok/s 预填充。
推荐理由：发布方给出了 MMLU 前后对比和 HarmBench 拒绝率数据，可以量化评估去对齐带来的能力损失。