方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,567 条精选近 30 天 1,557 条共收录 5,742 条
Anton Sannikov 在 GitHub 发布 Mnema，一个把用户记忆存为本地纯 Markdown 文件的工具，供 Claude、ChatGPT、Gemini、DeepSeek 或本地模型共享上下文，无云端、无账号，支持 Windows、macOS 和 Linux。记忆包含画像、记忆地图和带日期的事实，过期事实会被重写或归档；支持多模型协作模式（Council、Debate、Red team 等），可通过 MCP 接入 Claude Code、Claude Desktop 和 Cursor，内置 13 个本地模型选项并支持 Ollama。
推荐理由：本地 Markdown 文件记忆可同时供云端与本地模型读取，原文还给出 153,000 字符合同问答中 token 消耗的实测数据。
作者 /u/zoraruha 微调 Gemma 4 31B 发布了 Monadize（gemma-4-31B-Monadize-v0.1），通过调整 next-token 概率分布和单字符分词来减少 "Elara" "Elias" 这类高频名字的重复。temperature 为 1 时生成 30 个角色名和 30 个城市名，基座 Gemma 大量重复，Monadize 产出 60 个不重复名字，起始字母的 token 分布也明显更宽。作者还观察到叙事风格有变化，并提示这是实验性模型，以关闭 thinking 的方式微调，建议保持 thinking 关闭；模型发布在 https://huggingface.co/zoracapri/gemma-4-31B-Monadize-v0.1。
推荐理由：作者给出了基座与微调模型的 next-token 分布对比和 30+30 命名实测数据，方法与结果都可复现查看。
作者发布开源 Python 包 mlx-decision，可在 Mac 上用 MLX 本地运行 Clef、pplx-decider、d3、H2O-Lightning、LiquidAI d1 等开放决策模型。输入消息、文档或截图加带类型的问题，一次前向即返回各选项的概率与置信度；与原 PyTorch 代码逐 token 校验，同答案下在 MPS 上通常快 1.4–6 倍，M5 Pro 上 d1-3B 短请求 0.06 秒。附带本地 Web Studio 支持对比模型、跑数据集评测和微调，d1-3B 微调 4 分钟在 TREC 上从 86.6% 提到 96.4%；MIT 协议，需 macOS 14+ 和 Python 3.12+，仓库 https://github.com/armbues/mlx-decision。
推荐理由：作者给出了各模型在 Apple Silicon 上的实测延迟和微调前后准确率对比，本地部署决策模型时可参考这些数字选型。
作者发布自研双卡推理引擎 capy-flash v0.7.4，面向两张 RTX 50 系显卡在 Linux 上做张量并行，支持 Qwen3.8-27B 和 Qwen3.8-Flash-Next。在 2× RTX 5070 Ti 上，Flash-Next NVFP4 解码 178 tok/s、64k prefill 4,828 tok/s，对比 Strata 0.1.45 双卡 NVFP4 短提示词约快 1.5 倍、平均约 1.76 倍；27B 双卡 NVFP4 DFlash2 验证解码 379 tok/s。
推荐理由：作者在同一台机器上给出与 Strata 的逐项对比数据，双卡 NVFP4 场景的提速幅度和适用边界都写得很具体。
Chenry-123 开源了跑在本机的 LLM 网关 llm-token-gateway，夹在 Qoder、Claude Code 等客户端与模型厂商之间，提供缓存、模型路由、预算闸门与四段计费记账。实测 35 题×3 轮显示路由省 51.2%、路由加显式缓存省 55.0%，质量经 Wilcoxon 配对检验不显著；缓存仅对 qwen-flash 生效，qwen-plus-latest 不支持缓存。支持 anthropic→openai 协议转换、流式透传、MCP 查账工具与离线成本看板，仓库地址 https://github.com/Chenry-123/llm-token-gateway。
推荐理由：作者用日志实测了缓存、路由与预算闸门的省钱幅度，并附配对统计检验区分质量损失与噪声，方法可直接迁移。
m0NSYuke 在 GitHub 发布 PaperLab，一个本地优先的 AI 科研论文阅读工作台，左侧 PDF、右侧带页码和引句出处的中文讲解，报告由 Claude Code 的 /paper 或 Codex 的 $paper 生成并在发布前逐条校验引句。划词翻译完全离线，用 77 万词条 ECDICT 词典加 217 条 AI 术语库，整句翻译由腾讯 Hy-MT2 经 llama.cpp 在本机运行，RTX 4060 上首句约 5 秒、之后每句约 1–2 秒；Study 层提供三遍读法、自测题、新意度×有效性×问题大小的价值打分和想法本。
推荐理由：本地运行的论文阅读工作台，报告由 Claude Code 或 Codex 生成并逐条校验引句页码，理解层含自测题与价值打分。
OmniJev 在 PyPI 发布 Flide 0.1.0，一个面向决策模型的服务工具。请求携带状态（如 Agent 轨迹或文档）和带类型的问题，Flide 在一次前向内把状态分叉给所有问题，状态只读一次，每个问题得到与单独提问一致的答案，并以概率形式通过 /v1/systemone API 返回。
推荐理由：原文给出了安装、启动和请求示例，一次前向同时回答多个问题的做法对搭建 Agent 决策管线有直接参考价值。
Genrius AI 的 Harshit Goyal 发布 Pingala-8，一种基于 8-state coset trellis 编码的 2-bit 量化格式，通过 CUDA 补丁在 llama.cpp 中运行，无需重训即可把 Qwen3-4B 从 8.05 GB 压到 1.24 GB，Llama-3.1-8B 从 16.08 GB 压到 2.39 GB。同字节数下 Qwen3-4B WikiText-2 困惑度 16.64，优于 IQ2_XXS 的 28.61 和 IQ2_KT 的 18.15；batch 1 生成比 Q4_K_M 快 39%。
推荐理由：作者给出与 IQ2_XXS 等字节的对比数字和明确的局限清单，读者可据此自行权衡这种免重训 2-bit 压缩的收益与代价。
Badrodro 发布 llm-4bit-quant-formats 仓库，在 Qwen2.5-0.5B、Qwen2.5-1.5B 和 SmolLM2-1.7B 上以 WikiText-2 与 C4 困惑度对比多种 4-bit 权重量化格式。结果显示等困惑度下 trellis 编码比 NVFP4 少需 11–17% 比特、比 INT4 g128 和 MXFP4 少约 15–20%，但加随机 Hadamard 旋转的标量 Lloyd-Max 量化器已能达到 trellis 增益的 6–9% 以内，未达到预先设定的 10% 阈值，因此非均匀标量格式加旋转在更低解码成本下已捕获大部分收益。测试仅覆盖权重、round-to-nearest、0.5–1.7B 小模型，无校准数据与速度能耗测量。
推荐理由：作者预先设定了10%的决策阈值再实测，读者可以据此判断trellis量化是否值得在硬件里加解码器。
ISTA-DASLab 发布 DeepSeek-V4.1-Flash-1017 的 GGUF 量化版本，用 GSQ 加 RCO 的梯度搜索按张量敏感度分配量化类型，提供 IQ1_M、IQ2_XXS、IQ2_XS 三档。IQ2_XXS（2.00 bpw）在 AIME25、GPQA-Diamond、LiveCodeBench v6 上完全追平 FP8/FP4 基模型，任务均值恢复 100.0%；IQ1_M 保留 98.7%。配合 Strata 引擎可在单张 12 GB VRAM 的 GPU 上运行；llama.cpp 截至 2026 年 10 月 23 日尚不支持该模型。
推荐理由：原文给出了各量化的基准恢复率和完整方法与分配文件，读者可以据此判断低比特量化到底损失了多少能力。
作者发布了面向本地 LLM 的语义缓存反向代理 semantic-cache-proxy，将提示词嵌入索引进 Redis Stack 的 HNSW 向量索引，相同或语义改写的查询命中缓存后延迟低于 15ms，绕过本地 GPU/CPU 推理瓶颈。系统用 SHA-256 对 system prompt 和参数做哈希分区，相似度阈值 ≥ 0.88 判定命中，兼容 OpenAI /v1/chat/completions 接口，并通过 X-Cache-Lookup 等响应头和 Streamlit 仪表盘提供实时遥测。项目 100% 本地运行、无需付费 API key，依赖 nomic-embed-text 嵌入模型，仓库附部署步骤与延迟基准脚本。
推荐理由：给出完整的架构流程、缓存阈值和部署命令，想把本地 LLM 推理换成语义缓存的读者可以直接照着搭建。
ktobik 在 Hugging Face 发布 abliterated（去拒绝）版 DeepSeek-V4.1-Flash-1017 的 GGUF 量化，提供 Mix-256G（235.8 GB 内存）与 Mix-128G（114.0 GB）两种构建。模型为 763B 参数 MoE，含 384 个路由专家和 197B 参数 Engram n-gram 表（110.6 GB 留在 SSD 按需读取），1M token 上下文。精度由实测 KLD 的背包搜索逐层分配，Mix-256G 在 held-out 文本上 top-1 一致率 93.7%、PPL 较原模型 +2.4%。
推荐理由：原文给出实测 KLD、拒绝率前后对比和逐层精度搜索方法，读者可据此判断去对齐版本与量化方案的实际代价。
作者在 M3 Max 36GB 上用统一协议实测 Kapitsa 0.2.12、oMLX 0.7.2、Rapid-MLX 0.16.8、Splash 1.4.0、MTPLX 2.12.2 五个引擎。稠密 Qwen3.8-27B-4bit 上 Kapitsa 41.3 tok/s 领先，oMLX 34.1；MoE Qwen3.6-35B-A3B 上 oMLX 122.9 与 Kapitsa 122.7 打平；Flint 40B-A2.5B 在 36GB 上由 Kapitsa 跑出 134.2 tok/s。oMLX 稠密从 17.9 提到 34.1 主要归功于 oQ4e-mtp 检查点加 Lightning MTP 的投机配置而非引擎本身；MTP 接受率稠密 75-78%、MoE 81-85%。
推荐理由：同一台 Mac 上五个推理引擎用统一协议实测，还标明各引擎权重与投机配置差异，数字可直接对照自家硬件选型。
GitHub 项目 qiaojinxia/okapi 发布 ok-api v2 重构版，用 Rust 单二进制三角色（gateway/console/worker）把多家上游 LLM 供应商收敛成 OpenAI / Anthropic / Gemini 兼容入口，按倍率精确计费。金额全程 i64 micro-USD 定点并禁浮点，支持 Redis Lua 原子预扣、三方对账与负毛利自动熔断；Claude Pro / Max、ChatGPT Codex 订阅凭证可经 OAuth 接入（实验性），console 内置 22 个工具的 MCP 服务，8 vCPU 容器压测 json 10874 / stream 10402 RPS 全 0 错误，以 AGPL-3.0-only 开源。
推荐理由：原文给出计费、协议互转与压测数据的完整实现细节，想自建 LLM 中转网关的读者可以直接评估是否可用。
timoncool 发布开源项目 satori，一个 MCP 服务器加 hooks，为 Claude Code 提供封闭自学习循环，把用户纠正和工具失败转化为课程草稿并自动激活为技能。全流程在聊天中以 ⛩ 标记可见，retire_skill 可一键撤销激活，SATORI_AUTO_APPROVE=0 可切换为手动审核模式；服务端只做确定性机制，无后台 LLM 调用。支持 Windows 原生运行、FTS5 历史会话检索、提示词注入标记扫描，并可与同作者的 dream-skill 记忆整合项目配合使用。
推荐理由：项目把 Claude Code 会话里的纠正与失败自动沉淀为可审计技能，全程可见、可一键回退，是可复用的自我改进工程方案。
codavidgarcia 发布 orcarouter/Qwen3.8-27B-Uncensored 的 GGUF 与 NInfer 量化文件，让模型连同原生 MTP 头在 16 GB 显存内运行。该去对齐版本在 abliterlitics 的 12 个变体对比中以 82% 的有害提示服从率排第一，各能力基准与原模型差距在 ±1.3 分内；作者在单张 RTX 4080 16 GB 上实测了各文件的 KLD、速度与 llama.cpp/NInfer 运行命令，许可证为 Apache-2.0。
推荐理由：原文给出拒绝率、KLD 与 RTX 4080 实测速度数据，可据此判断该去对齐量化版的损失与 16 GB 可用性。
matnum 发布 local-llm-benchmarks 仓库，在 128 GB 统一内存的 AMD Ryzen AI Max+ 395（Strix Halo）上用 llama.cpp 对 10 个 GGUF 模型/量化组合在 Vulkan 与 ROCm 两个后端测吞吐、延迟、内存、功耗与 tokens-per-watt。结果显示 Vulkan 在 10/10 单元生成更快（6 个领先 2.1–18.0%），ROCm 在 9/10 单元 prefill 更快（6.2–56.8%）；MoE 模型生成速度和每瓦效率是同体量稠密模型的 5–8 倍，gpt-oss-120b（MXFP4，约 59 GiB）达 55.3 tok/s。
推荐理由：原文公开了完整测试矩阵、固定 commit 和可复算测试，读者可以按需核对每个数字而不是直接信任结论。
AstrMobile 是一个 Android 应用，通过应用内 Ubuntu 24.04 arm64 rootfs 加 proot 免 ROOT 运行完整 AstrBot 与 NapCatQQ，把手机变成常驻机器人主机。内置一键安装、状态机启停、六项自检、模型热切换、插件市场和备份恢复，API Key 用 Android Keystore 加密，所有服务只监听 127.0.0.1。要求 arm64-v8a 和 Android 8.0+，安装约 3.5 GB，NapCat 基于 Electron 常驻 1–2 GB 内存，作者提醒非官方协议接入 QQ 存在风控风险，项目以 AGPL-3.0 发布。
推荐理由：用 proot 在 Android 上免 ROOT 跑完整 AstrBot 加 NapCatQQ，安全设计和已知限制都写得很具体，适合想自部署 QQ 机器人的读者。
grainrigi 在 Hugging Face 镜像了 HauhauCS 的 Gemma4-26B-A4B-Uncensored-HauhauCS-Balanced GGUF 量化版，作为备份保留 Q8_K_P 与 f16 mmproj。原版基于 google/gemma-4-26B-A4B-it，总参数 25.2B、激活约 3.8B（128 专家取 top-8 加 1 共享专家），256K 原生上下文、原生多模态；经自动化与人工拒绝基准测试为 0/465 拒绝，少量边缘提示首次会回避但重问即答。
推荐理由：原文给出 0/465 拒绝率的自动化与人工实测数据，以及各量化档位大小和推荐配置，便于按显存选档。
staccs 发布了 106.8 GB 单文件 GGUF，对 dealignai 制作的 DeepSeek-V4.1-Flash-1017 abliterated（UNCENSORED-FP8）版本重新量化，采用 lecore 激活校准的 11-bit 向量量化处理路由专家（2048 码本条目、65,536 校准 token，1.39 bpw，cosine 0.909），注意力骨架用 q4_K，共享专家 VQ 11-bit。评测以未量化源模型为教师，WikiText-2 上 2k/16k 上下文困惑度 2.817/2.936，top-1 一致率 80.2%/78.6%，优于未校准的 vq10sh12 版本（PPL 3.615、top-1 74.5%）。
推荐理由：作者用未量化源模型给出困惑度、KL 散度和 top-1 一致率对照，可据此评估这套 11-bit VQ 量化的损耗。