方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
Kyutai 于 10 月 20 日发布三款更小的 Pocket TTS 模型，参数量分别为 1.9M、6.9M 和 18.2M，均为英语模型，支持声音克隆并设计为在 CPU 上运行，可在其 demo 中切换尺寸。作者认为实用之处在于让语音生成留在 CPU、把 GPU 留给本地 LLM，倾向从 6.9M 版本入手；参数量统计包含音频解码器，处理参考声音的编码器是独立的，参考音只需编码一次。代码与安装说明由 /u/BerryBlush_Rogers691 提交。
推荐理由：作者给出了把语音生成留在 CPU、把 GPU 让给 LLM 的本地部署思路，并指出参数量统计包含音频解码器这一细节。
viktordanov 在 GitHub 开源 uah，一个用 Go 编写的功能完整的终端编码 Agent 框架。它通过 Codex 登录复用 ChatGPT 订阅或 API key 运行，支持 macOS 和 Linux（arm64 与 x86_64），无 Windows 版本。功能包括基于 Markdown 模块的上下文准备、磁盘会话存储与 SQLite 索引、并行子智能体、/goal 目标驱动执行、Seatbelt/bubblewrap 沙箱与审批规则、MCP 支持、Claude Code 兼容的 hooks，以及 uah exec 与 uah review 等无头模式；作者称在 agent 基准中 v1.8.0 比无上下文消息的 v1.7.5 减少 13% 墙钟时间和 39% 失败命令。
推荐理由：作者开源了自研终端编码 Agent 框架，README 详列沙箱、会话、子智能体等实现细节，可作同类工具的参考实现。
fireishott 发布自托管助手守护进程 Kallisti v1.4.0，单个长驻进程提供流式对话、工作区读写、命令执行、URL 抓取和绘图工具，并通过 MCP 客户端接入外部服务器，状态存于本地文件与 SQLite，无云端控制面、账号或遥测。安全模型在代码中强制执行：密钥仅存为 env 引用、口令存加盐校验值、read-only 与 workspace-write 沙箱在工具层拒绝越界写入、ask 策略下写入和 MCP 调用进入人工审批队列；原文同时如实指出 fetch 防护未做域名解析时的私网地址检查这一已知缺口。MIT 协议开源，架构分四个 crate，测试覆盖协议接缝、回合循环、沙箱、审批与 MCP 帧。
推荐理由：原文把安全模型落到代码层面并如实写出未实现的 fetch 防护缺口，适合想自托管助手守护进程的读者参考其边界设计。
zjj1993 发布面向智谱 GLM-5.3-Flash 的去中国政治审查 LoRA（rank 32，107M 参数，仅作用于 attention 与 shared experts），采用自蒸馏 SFT 加 DPO 两阶段训练，可精确合并进 nvidia/GLM-5.3-Flash-NVFP4 的 BF16 权重。
推荐理由：原文给出训练方法与前后对照数据，敏感话题审查率从65%降到1%，能力测试差异也在文中列明，可据此自行判断。
/u/SamSausages 因 Intel B65 几乎没有公开跑分，自建 4x B65 平台，用 vLLM 对 Flash-Next W4A16 和 Qwen3.8-27B 的 INT4、FP8、BF16 等配置做长上下文吞吐扫描，覆盖 0 到 200K 上下文和 1 到 16 并发请求。数据显示 Flash-Next 开启 MTP-3 后单请求吞吐约翻倍（0 上下文 84.5 对 42.7 tokens/sec），200K 上下文下降到 45.8；Qwen3.8-27B INT4 在 4 卡下 8 并发可达 468.2 tokens/sec。
推荐理由：作者自建 4x Intel B65 平台，实测多款模型在 16K 到 200K 上下文下的吞吐数据，并给出 MTP 开关与不同精度的对照。
Hugging Face 官方宣布通过 TorchTPU 原生 PyTorch 后端，Transformers、Diffusers 和 Kernels 无需 torch_xla 或 JAX 即可原生运行在 TPU 上，用 device_map="tpu" 即可加载模型。附 Pallas kernel 与 torch.compile 支持，batch 64 下 Qwen3-30B-A3B 解码提速 21.5×、Gemma 4 26B-A4B 提速 12.8×；transformers 测试套件在 TPU 上 96.5% 通过，已报告 34 个问题并修复 19 个。
推荐理由：官方给出了从 torch_xla 迁移到原生 PyTorch 后端的具体写法，还附带 kernel 加速倍数和 CI 通过率等实测数据。
/u/OhGeeLIVE 发布 Geezuz kernel，将 L-Forster 的单卡 megakernel 分叉为双卡版本，在两块功耗限制 280W 的 RTX 3090 上以 Q4_K_M 跑 Qwen3.8-27B 达 190 tok/s，8 并发时总吞吐 622 tok/s。整个前向传播运行在单个持久 CUDA kernel 中，双卡经 PCIe 直接交换部分结果，单周期解码最多 8 个请求，并用模型自身 MTP head 做投机解码；与 llama.cpp 相比平均 164 tok/s、代码场景 214 tok/s，KL 散度显示输出质量相当。
推荐理由：作者给出与 llama.cpp 和 vLLM 同条件对比的完整吞吐数据，并说明实现原理与编译成本，便于读者评估是否适用。
FlashMask-3 论文发布，提出掩码感知的 Hopper 内核与分布式注意力扩展，基于 FlashAttention-3 的 TMA/WGMMA 流水线实现三角色 warp specialization，并支持零通信掩码定位、稀疏感知负载均衡与计算通信重叠。单张 H100 在 12 种掩码、4K–128K 上下文下，achieved TFLOPs 较 FlashMask、FlexAttention、MagiAttention 提升 45–141%、34–71%、2–44%；上下文并行度 4–32 时吞吐较 Megatron-Core CP ring 等基线提升 1.80×–3.71×；在 128 张 H100 上训练 118B-A14B MoE 的 128K 端到端场景中吞吐提升 7.3–11.0%。
推荐理由：论文给出了跨 12 种掩码和 4K 到 128K 上下文的实测对比数据，读者可以据此评估该分布式注意力方案的实际收益。
eedeb 发布 FreeClaw，一个跑在自己机器上的低成本工具调用型 AI Agent，提供 Linux、macOS、Windows 一行安装脚本和带密码的深色 Web UI。它通过本地意图分类决定每条消息发送的历史窗口、温度和工具集，尽可能把流量路由到小而便宜的模型，并支持持久记忆、网页搜索抓取、bash 命令审批门、MCP 服务器、定时任务、多提供商回退、提示词缓存和 OpenAI 兼容 API，许可为 MIT。
推荐理由：README 详细说明了意图分类路由、两级历史窗口、提示词缓存等省钱手段，是自托管低成本 Agent 的一套可参考工程做法。
开发者 Arnaud Stadler 开源了自托管的 AI 骑行训练平台 DomestiqueAI，整合 Garmin Connect 与 Google Health 数据，基于 Ollama 运行智能体教练。系统规定 LLM 不得自行计算任何量化数字，只能解释 21 个类型化工具返回的结果，并用 promptfoo 构建确定性 CI 评测门禁检查数字来源、计划守卫和提示词变更。项目包含过训检测、每日检查与每周重排的自适应计划、六道确定性计划守卫、每运动员独立 SQLite 隔离、强制 TOTP 双因素认证，共 1245 个测试，2026-10-02 的 Strix 灰盒渗透测试未发现高危问题，可 Docker 部署在 Raspberry Pi 5 上。
推荐理由：作者开源了自建的骑行训练 AI 教练，把模型限定为只解释工具算出的数字，防幻觉做法通过 CI 评测门禁落地，可迁移到其他 Agent 项目。
jpsanders 发布 pascal-llm-stack 仓库，给出在 Ubuntu 26.04.1、kernel 7.0 上让 GTX 1060 Mobile 6 GB 运行本地 LLM 的完整脚本，包括给 NVIDIA 570 驱动打 kernel 7.0 补丁、用 CUDA 12.8 runfile 避开 apt 的驱动破坏、回退 torch 2.7.1 获取 Pascal 内核，以及用三个 cmake 参数编译 llama.cpp。
推荐理由：作者在 GTX 1060 上逐层修通驱动、CUDA 和 PyTorch 并给出 llama-bench 实测，方法可迁移到其他老卡本地部署场景。
Melo 是一个开源的本地优先 AI 工作区，覆盖 macOS、iPhone 和终端，对话、知识与记忆默认存本地，同步可选。用户可接入 Claude、OpenAI、OpenRouter、本地模型等自定义连接，按项目组织工作，跨对话携带上下文，并为每个 Agent 配置指令、模型与能力，支持 MCP 工具、可复用技能和多 Agent 协作。2026 年 10 月 17 日更新改进了工具兼容性、长对话上下文召回和共享项目记忆。
推荐理由：开源的本地优先 AI 工作区，对话、知识和记忆都存本地，还支持多模型接入与 Agent 协作，适合关注数据主权的读者。
divemorb 开源了 local-llm-harness，一个让本地 LLM（llama.cpp 上跑 Qwen 27B）按计划步骤无人值守编码的工具，每步在全新 podman 沙箱中运行、经独立验证容器跑项目测试，通过后才提交。作者称在一个真实项目中用几周时间让本地模型写了大部分代码，约 80% 的步骤首次尝试即通过，仓库附带经验总结 LESSONS.md；安全模型靠容器隔离实现，沙箱无网络、只读 root、API 密钥不进入沙箱，仅通过 llmproxy.py 的 chat completions 代理通信。
推荐理由：作者把一个真实项目中跑通本地模型无人值守编码的完整工具链开源，隔离沙箱和验证容器设计可直接复用。
/u/C0smo777 在 EPYC 9575F + 768 GB DDR5 + 4x RTX 3090 上实测 Unsloth 的 DeepSeek-V4.1-Flash-1017 UD-Q4_K_XL 量化版，用 llama.cpp PR #30817 构建，散文生成从 12.6 提升到 25.4 tok/s，代码达 39.3 tok/s。关键调优包括用 --load-mode none --lazy-mode off 全量载入 RAM、每物理核一线程、-ub 2048 使 prompt 处理快约 35%；DSpark Q8_0 投机解码在代码上约 80% 接受率、速度翻倍，散文仅约 30%。作者还记录了 --fit 无法为 drafter 正确分配显存、与 --override-tensor 冲突等坑。
推荐理由：作者实测给出了四组配置的逐项对比数据，包括 DSpark 投机解码在代码与散文上的接受率差异，可复现性较强。
Hugging Face 发布 AnyLanguageModel 1.0，它是 Apple Foundation Models 框架的 drop-in 替代，可让同一套 session 代码使用系统模型、llama.cpp/MLX/Core ML 开源权重模型及托管服务。1.0 版所有 provider 均支持工具调用与引导式生成，托管端支持 OpenAI、Anthropic、Gemini、Ollama、Hugging Face Inference Providers 等端点；同日发布 swift-huggingface 1.0 与 swift-xet 1.0，并可运行于 Linux。
推荐理由：官方回顾了一年迭代脉络，并给出本地与托管推理共用一套 Foundation Models 风格 API 的具体做法，对 Swift 开发者有直接参考价值。
Hugging Face 的 PyTorch 团队介绍 PyTorch 2.15 对 MPS 后端的改进：新增 float8_e4m3fn 张量与 F.scaled_mm，MoE 模型解码比 2.14 提速 5 到 6.5 倍，M3 Ultra 上 Qwen3.6-35B-A3B 从 9.4 升到 61.3 tokens/s，LFM2.5-8B-A1B 从 23.6 升到 123.6 tokens/s。线性层走专用 GEMV 内核（几何平均 1.23 倍），词表 softmax 约 8 倍加速；Wan2.2 视频 VAE 解码的驱动内存峰值从约 270 GiB 降到 8 GiB，并修复了 Qwen-Image-2.1 VAE 编码器在 MPS 上损坏图像的问题。
推荐理由：Hugging Face PyTorch 团队亲述 MPS 后端改进细节，给出各模型的实测吞吐数字，Mac 上跑模型的读者可以对照评估升级收益。
GitHub 项目 agent-on-a-budget 构建了一个客服 AI Agent，用 LLM 标注 1,080 条消息训练小 ML 模型，并按置信度把消息路由到最便宜的助手：ML 模型答简单问题、本地 Ollama 上的 3B 模型答政策问题、云端 LLM 处理退款等工具调用、高额退款转人工。基于 OpenAI gpt-5.4-mini 的 60 条消息实测显示，分层路由比只用云端专家便宜 1.9 倍、快 1.6 倍，55% 消息零成本处理，标注全部消息仅花 $0.07。项目支持 Mac、Windows 和 Linux，内置离线测试、答案缓存重放机制，并提供逐章 Notebook 和 Streamlit 演示应用。
推荐理由：给出实测的成本、延迟和准确率分层路由数据，读者可以参考这套便宜模型处理简单消息、云端大模型兜底的省成本思路。
lodestones 在 Hugging Face 发布 Kromoss，是对 MOSS-Image-Base 的全参微调（1024 px，704k 训练图，发布 EMA 权重），架构与 MOSS-Image-SFT 相同、可直接替换，主要修复 Base 模型的模糊问题。仓库同时提供 8-steps-dmd-lora.safetensors（8 步、CFG 1、无负分支的 DMD 蒸馏 turbo LoRA）、int8 ConvRot 量化单文件（5.4 GB）、ComfyUI 原生支持与转换脚本，权重采用 Apache 2.0 许可。PartiPrompts（100 提示词，CLIP ViT-L/14）显示 Kromoss + LoRA 得分 27.82，高于 MOSS-Image-Base 的 27.19。
推荐理由：这是官方模型卡，给出了完整采样设置、ComfyUI 与 diffusers 用法以及 PartiPrompts 对比数字，便于直接上手和评估效果。
DeepSeek 开源高性能大规模推理框架 DeepInfer，采用 Apache-2.0 许可，仓库地址 https://github.com/deepseek-ai/DeepInfer。框架支持优化 kernel、模型与 sampler 运行时，包含 Attention DP、平衡 CP、MoE EP + EPLB 等并行方案，以及零开销异步批量调度、batch-invariant 推理、确定性采样和结构化输出。
推荐理由：原文列出了该推理框架的核心并行方案与调度特性，读者可以据此评估它在本地部署和大批量推理场景中的适用性。
alesha-pro 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated Strata GGUF 量化包，含 S 和 S-small 两种规格，基于 Mirai 的 2-bit trellis 构建，用 huihui-ai 的拒绝方向向量去除拒绝行为。实测 AdvBench 64 条提示中 stock 版拒绝 64 次、加向量后仅 1 次，Alpaca 无害提示基本不受影响。可在 1-2 张 RTX 3090 上运行，S 版解码 82-113 tok/s，支持最高 262144 上下文，需 Linux、CUDA 12.8+ 和约 64 GB 内存。
推荐理由：作者实测了加拒绝向量前后的拒绝数和各档速度内存数据，读者可以据此判断这个去对齐量化包的实际表现。