方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,564 条精选近 30 天 1,554 条共收录 5,726 条
Ollama 0.40.11 起支持文本转语音，首个语音模型是 Gradium 的 Phonon 系列，目前可用 macOS，Windows 和 Linux 支持即将推出。在 M5 Max MacBook Pro 上，Ollama 借助 MLX 加速，吞吐比次快的 Gradium ptts 运行时快 35%，词错率与 Hugging Face Transformers 参考实现持平；Phonon 采用 Apache 2.0 许可，40M 版本为 CC BY-NC 4.0 限非商用，支持英语、法语、德语、西班牙语、葡萄牙语，并提供 OpenAI 兼容的 /v1/audio/speech 接口和流式播放。
推荐理由：官方给出了与 Gradium 自家运行时的吞吐对比和词错率对照数据，读者可以据此判断在 Apple Silicon 上本地跑语音模型的真实表现。
ziuus 在 GitHub 发布 GoRoute，一个用 Go 核心 + Rust SIMD 编写的 LLM 网关与多供应商路由器，支持 338+ 供应商预设和 35 个编码 Agent 的一键配置。官方基准显示在 500 并发流式请求下空闲内存 4.7MB、路由开销 0.86ms、冷启动 11ms，并支持 0.5 秒内从 OmniRoute 加密库同步账号、凭证与 failover 组合。
推荐理由：README 附带与 OmniRoute、LiteLLM 的同条件基准数据，空闲内存、路由延迟和冷启动差距都有具体数字可查。
GitHub 仓库 zazuss/jetson-orin-tuning 公布了在 Jetson Orin（Nano 8GB、Super、NX、AGX）上做 LLM 推理的实测调优结论，所有数字来自 7.3 GiB Orin Nano 的真实测量。
推荐理由：全部数据来自作者在 7.3 GiB Orin Nano 上的实测，给出了瓶颈诊断表和量化格式、词表、KV 缓存的具体调优结论。
作者发布 GitHub 仓库 zazuss/mlc-llm-on-jetson，记录在 Jetson Orin Nano 8GB（L4T R39.2.1 / JetPack 7）上从源码编译 MLC-LLM 并运行 Qwen3-1.7B q4f16_1 的完整流程。因该平台无预编译 aarch64 CUDA wheel，四条分发路线均不可用，只能源码编译。实测空 prompt 下单流 decode 53.7 tok/s，比 llama.cpp 同模型快 32%；但 8K 上下文时 decode 掉到 14.96 tok/s，32K 直接 OOM，归因于 MLC 缺少 KV cache 量化（每 token 固定 112 KB）及 TVM 通用 GEMM 模板的低效 attention kernel。
推荐理由：作者给出从源码编译到跑分的完整记录，并用 tegrastats 数据把长上下文掉速归因到反量化 ALU 瓶颈。
Husk 项目发布 husk-0.2.0.mcpb 公共预览，为 Claude Desktop 等 AI 聊天提供带终端、文件和浏览器的命名本地工作区，结果可保存并在下次会话复用。工具含 8 个工作区工具加 26 个计算机工具，浏览器以 accessibility ref 驱动真实 Chromium，支持 docker、podman、ssh、fly、local 五种隔离提供者并明确说明各档隔离强度；还支持把 Claude Code、ChatGPT、Cursor 等会话记录经 distill 转成可运行的 YAML Agent 规格，不请求 API 密钥、无遥测，Apache-2.0 协议。
推荐理由：README 详细写明了隔离提供者分级、安全模型边界和已知限制，读者可据此判断这条 Agent 计算机工具链的实际可用性。
GeulPU 是一个在本地 GPU 上运行 GGUF 模型的推理引擎，通过书面精度契约保证同一请求在任意批量、slot、prompt 缓存和投机解码下输出逐位一致，exact 模式下 NVIDIA 与 AMD GPU 结果也一致。它自带调试器，可录制 agent 会话、逐位重放、从任意 token 分支并按请求对比不同量化版本；默认设置下速度多数场景快于 llama.cpp，投机解码在代码编辑任务上快 3.5-4 倍且输出逐位相同。引擎以韩语关键字编程语言 글(geul) 编写，下载约 1.5 MB，仅依赖显卡驱动，支持 Qwen3.6-35B-A3B、Qwen3.5、Qwen2.5、DeepSeek-R1-Distill、Llama 3 和 Mistral，提供 OpenAI 兼容 API，MIT 许可开源。
推荐理由：同一个请求在批量、缓存、投机解码甚至不同 GPU 上都得到逐位相同的结果，这个确定性契约让本地模型可以像程序一样调试和对比。
作者发布了一个 Strata 运行时去拒绝方案包，收录 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档 GSQ-RCO 量化权重（逐字节复制并校验 SHA256），外加一个 480 KB 的拒绝方向向量文件，来自 Huihui 对 144 个残差写入张量的秩一编辑，在推理时对每层残差流做投影 h = h - (h·r)r 以移除拒绝行为。
推荐理由：作者用拒绝率、KL 散度和解码速度实测了运行时去拒绝向量的效果，数据可直接用于判断这种方案对输出的改动幅度。
作者发布了一份经实测的非官方指南，介绍 macOS 27 自带的 /usr/bin/fm 命令，它可免费、离线调用 Apple Foundation Models 约 30 亿参数的端侧模型，无需账号或 API key。指南覆盖 sudo fm license 授权、fm respond 摘要与图像描述、fm schema object 结构化 JSON 输出、fm chat 会话管理，以及 fm serve 提供的 OpenAI 风格本地端点（模型名须为 system，默认流式输出）。实测发现单会话上限约 8,100 token，输入超约 6,000 token 后易被拒答，代码、数学和世界知识类问题表现较弱。
推荐理由：作者在 Apple Silicon iMac 上逐条实测了 fm 命令的设置、JSON 输出、本地 API 和约 8,100 token 上限，并标注了未验证之处。
HobbyCoders 发布免费开源（AGPL-3.0）的 AI Agent 工作区 AI Shuffle，可在 PC、家庭服务器或 NAS 上运行 Agent，支持 Claude、OpenAI、xAI、OpenRouter 订阅或 API key 以及 llama.cpp、Ollama 等本地模型，提供 Windows/Linux 桌面版、Docker Compose 服务端和 Android 客户端。其自研引擎 Fluid 主打不丢失信息的快速压缩、自我维护的记忆、可复用技能和批量工具调用；Claude Pro/Max 订阅经由官方 Claude Code CLI 驱动，另有可选付费的 AI Shuffle Cloud 用于免 VPN 远程访问。
推荐理由：原文详细说明了各接入模型的运行方式和 Fluid 引擎在压缩、记忆上的具体做法，想自托管多模型 Agent 的读者可以对照评估。
开源项目 Skybreaker 在用户自有 Linux 服务器上以 gVisor 沙箱按项目运行 Claude Code、Codex 和 pi，内置 broker 托管凭据、按策略逐请求放行、挂起或拒绝。支持经 Tailscale 从网页、手机、终端或 VS Code 驱动，提供审计与 kill switch、分支级 diff 审查与 PR 流程，AGPL-3.0 协议，当前为 pre-1.0。
推荐理由：这是一个开源的编码智能体沙箱方案，凭据由独立 broker 托管并逐请求审批，适合关注本地部署安全的开发者参考其架构设计。
1337hero 发布自托管聊天界面 Faster Chat，可接入 OpenAI、Anthropic、DeepSeek 等 17 个内置云端供应商，也能通过 Ollama、LM Studio、llama.cpp 完全离线运行，数据存于本地 SQLite。功能包括跨对话记忆抽取、Brave 搜索联网、图像分析与生成、多用户角色管理，支持一条 Docker 命令部署；项目已达成对标 Open WebUI 的目标，转入维护模式，不再计划 RAG、MCP 等功能。
推荐理由：这是一个自托管 AI 聊天界面的完整功能清单与部署文档，读者可以据此评估它作为 Open WebUI 私有化替代方案的取舍。
Nystic-Shadow 开源了 Opencode2api，一个零依赖的 Node.js API 网关，把上游 OpenCode Zen 免费模型转换成 OpenAI 和 Anthropic 兼容端点，供 Cursor、Cline、Roo Code 等客户端调用。核心实现包括注入反编译的 CLI 工具 schema 绕过反爬校验、按位取反算法生成会话 token、Cloudflare WARP SOCKS5 隧道自动换出口 IP（约 1.2 秒完成密钥轮换）、模型级联故障转移、思考流（thinking_delta）与多模态视觉支持。后端仅用 Node.js 核心模块，内存低于 30MB，附 15 项测试全部通过的验证套件，MIT 协议发布，支持 Docker Compose 一键部署。
推荐理由：README 详细披露了绕过 OpenCode Zen 反爬校验的具体实现，读者可以对照源码和测试向量自行复现这套网关方案。
作者发布 llm-deployment-benchmarks 项目，在 Fireworks AI 上做两组实验，比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中，GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5，9B 模型响应快 4–7 倍也打平，而对含噪标签微调反而变差；国际象棋任务中，对 73k 局面的微调把合法走子率从 36% 提到 71%，但最佳走子准确率仍是 3%，只有前沿级开源模型 Ember-1 接近 Claude，约为每步 4 倍时间和成本。
推荐理由：作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距，结论是 prompt 质量常比模型大小更关键。
RecursiveSI 的 Flint 40B-A2.5B 去对齐版本发布，用 abliterix 从 attention、共享与路由专家投影中移除拒绝方向，Optuna 在 100 条 MITRE 提示词上选强度。保留的 MITRE 拒绝率从 15% 降至 0%（n=100，Q8_0），无害提示词 KL 散度 0.0146 nats/token，HumanEval+、MBPP+、GSM8K、MMLU-Pro、CyberMetric、WMDP-cyber 无显著下降，pp512/tg128 速度变化在 3% 以内。
推荐理由：原文给出消融方法与拒绝率前后对照，MITRE 拒绝从 15% 降到 0% 且各基准无显著下降，便于评估该去对齐版本的取舍。
TensorSharp 开发者在 MiniMax-M3.1-Flash 开放权重发布当天加入支持，支持 GGUF 推理、MiniMax Sparse Attention 专用 CUDA kernel、图文输入、tool calling、多 GPU 拆分与张量并行、DSpark 投机解码和 MoE 专家 CPU offload。在 8× NVIDIA A40、双方使用相同 Unsloth UD-Q4_K_XL GGUF 的对比中，64K executor prefill 达 2,567 tok/s，对比被测 llama.cpp 分支的 262 tok/s 提升约 9.8 倍，server 首字时间从 293.4 秒降至 40.0 秒；64K decode 提升 1.49 倍，短对话 decode 基本持平。
推荐理由：开发者给出两引擎在8× A40上的prefill与decode实测，并解释长上下文差距来自稀疏注意力的实现差异，可复现。
Reddit 用户 /u/TheSpicyBoi123 发布改进 llama.cpp 对 Kepler 等 Ampere 之前 NVIDIA GPU 支持的高性能分支，目标是让旧 CUDA 硬件继续可用。在 4x Tesla K40c 上以 Q8_0 量化运行 MTP Qwen3.6-35B-A3B，从原先无法启动提升到 35 tps，修复主线上 cc35-50 的 cuBLAS 计算类型选择问题；启用 CUDA graphs 后达约 55 tps，Windows NCCL 集成带来约 5–10% 端到端提升，吞吐超 60 tps，P.P. 速度在 70-100 tps 之间波动。作者声明这是其个人系统的初步结果，并征集 Kepler、Maxwell、Pascal、Volta 等旧卡用户对比测试。
推荐理由：作者用 4 张 Tesla K40c 实测给出量化前后与启用 CUDA graphs 的速度对比，老卡复用方案可自行复现验证。
Anton Sannikov 在 GitHub 发布 Mnema，一个把用户记忆存为本地纯 Markdown 文件的工具，供 Claude、ChatGPT、Gemini、DeepSeek 或本地模型共享上下文，无云端、无账号，支持 Windows、macOS 和 Linux。记忆包含画像、记忆地图和带日期的事实，过期事实会被重写或归档；支持多模型协作模式（Council、Debate、Red team 等），可通过 MCP 接入 Claude Code、Claude Desktop 和 Cursor，内置 13 个本地模型选项并支持 Ollama。
推荐理由：本地 Markdown 文件记忆可同时供云端与本地模型读取，原文还给出 153,000 字符合同问答中 token 消耗的实测数据。
作者 /u/zoraruha 微调 Gemma 4 31B 发布了 Monadize（gemma-4-31B-Monadize-v0.1），通过调整 next-token 概率分布和单字符分词来减少 "Elara" "Elias" 这类高频名字的重复。temperature 为 1 时生成 30 个角色名和 30 个城市名，基座 Gemma 大量重复，Monadize 产出 60 个不重复名字，起始字母的 token 分布也明显更宽。作者还观察到叙事风格有变化，并提示这是实验性模型，以关闭 thinking 的方式微调，建议保持 thinking 关闭；模型发布在 https://huggingface.co/zoracapri/gemma-4-31B-Monadize-v0.1。
推荐理由：作者给出了基座与微调模型的 next-token 分布对比和 30+30 命名实测数据，方法与结果都可复现查看。
作者发布开源 Python 包 mlx-decision，可在 Mac 上用 MLX 本地运行 Clef、pplx-decider、d3、H2O-Lightning、LiquidAI d1 等开放决策模型。输入消息、文档或截图加带类型的问题，一次前向即返回各选项的概率与置信度；与原 PyTorch 代码逐 token 校验，同答案下在 MPS 上通常快 1.4–6 倍，M5 Pro 上 d1-3B 短请求 0.06 秒。附带本地 Web Studio 支持对比模型、跑数据集评测和微调，d1-3B 微调 4 分钟在 TREC 上从 86.6% 提到 96.4%；MIT 协议，需 macOS 14+ 和 Python 3.12+，仓库 https://github.com/armbues/mlx-decision。
推荐理由：作者给出了各模型在 Apple Silicon 上的实测延迟和微调前后准确率对比，本地部署决策模型时可参考这些数字选型。
作者发布自研双卡推理引擎 capy-flash v0.7.4，面向两张 RTX 50 系显卡在 Linux 上做张量并行，支持 Qwen3.8-27B 和 Qwen3.8-Flash-Next。在 2× RTX 5070 Ti 上，Flash-Next NVFP4 解码 178 tok/s、64k prefill 4,828 tok/s，对比 Strata 0.1.45 双卡 NVFP4 短提示词约快 1.5 倍、平均约 1.76 倍；27B 双卡 NVFP4 DFlash2 验证解码 379 tok/s。
推荐理由：作者在同一台机器上给出与 Strata 的逐项对比数据，双卡 NVFP4 场景的提速幅度和适用边界都写得很具体。