方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,573 条精选近 30 天 1,563 条共收录 5,761 条
论文提出 SPARE，一种免训练、与 selector 无关的方法，用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家，路由越分散的层剪得越激进，并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下，SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配，50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%，DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1
推荐理由：论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题，给出的路由熵方法无需训练即可提升高剪枝率下的精度。
SC117 发布 Spark-X2.6-4B-abliterated 的 FIT-GGUF 量化仓库，基于 XHToken/Spark-X2.6-4B 本地做输入门控消融，100 条留出有害提示的拒绝数从 99 降到 7，3-token 全分布 KL 扰动 0.0477，比同拒绝门槛下无门控的 0.2134 低 78%。仓库含 5 个经 KL 门限验证的 FIT 档位加 BF16 参考文件，五档合计 12.84 GiB，比同门槛下最小原生预设小 0.60 GiB（4.5%），其中两档即原生预设；imatrix 由公开语料重建，评测切片未进入校准文本。
推荐理由：原文给出输入门控消融的拒绝率与 KL 前后对比，以及五档量化相对原生预设的实测差距，可据此评估取舍。
WestWaters 在 GitHub 开源 pollard-weights，一套按目标设备 RAM/VRAM 预算构建模型量化的工具，通过 pollard-sensitivity 测量各张量的 KL 敏感度后分配比特，保护 attention、router 和 embeddings，压缩专家 FFN。一次测量分配可输出 GGUF、GPTQ、MLX、EXL3、MX/NVFP4 五种格式，配套 pollard-verify 真实重建校验。在 Qwen2.5-7B 和 14B 上，同尺寸 1-bit 混合精度比均匀 trellis 量化困惑度低约 14%；其误差反馈 GPTQ 在 4-bit 恢复约 46% 的 round-to-nearest 误差。
推荐理由：原文给出了在 Qwen2.5-7B/14B 上与均匀量化的困惑度和 KL 对比数据，读者可以据此评估这套按内存预算分配精度的方法是否值得用。
nejib1 在 GitHub 发布 Free-LLM 仓库，并配套 free-llm.com 在线目录，汇总51家提供免费 LLM API 的服务商共270多个免费模型，区分永久免费、周期续充值和一次性试用额度三类，标注是否需要信用卡、速率限制和 key 获取方式。仓库提供 Python/JavaScript/curl 示例及 Claude Code、Cursor、Codex CLI、OpenCode 配置，附9个本地自托管工具清单，支持中英日韩多语言。
推荐理由：把51家免费LLM API的限额、是否需信用卡和key获取方式做成结构化目录，可直接按表选服务商省去逐家试用。
soehi 发布 MoonLM，一个用 MoonBit 从零实现的端侧 LLM 推理引擎，同一份源码可编译到 native 与浏览器 js 后端，产物 669 KB / brotli 74.5 KB，推理零网络、零数据外传。已 GGUF 解析、Transformer 前向与采样（M0/M1）、Web Demo（M2）和带沙箱工具的 Agent 运行时（M3）完成；与 llama.cpp 逐位置对拍 288 位置 argmax 一致率 97.22%，浏览器端 SmolLM2-135M Q8_0 流式生成 6.3 tok/s，native 单线程 decode 18.4 tok/s（纯标量、无 SIMD，比 llama.cpp 单线程 57.2 tok/s 慢约 3.7 倍）。
推荐理由：从零实现的端侧推理引擎，对拍数据、性能数字与零网络验证都给了实测细节，可迁移到自建本地推理项目。
arXiv 论文（arXiv:2610.29352）通过五个模型规模、百余种 token 预算配置，建立了长上下文性能与模型规模、短上下文及 LCCP token 预算之间的经验加性幂律，可外推到未训练的模型规模。论文提出 Constant-Last4 观测协议，稳定预测了 1.22B 参数模型在约 100B LCCP token 上的性能轨迹；128K 上下文扩展和监督微调后增益仍保持，在评测范围内未见饱和，支持继续扩展 LCCP 而非提前停止。
推荐理由：论文给出长上下文持续预训练收益随 token 预算扩展的经验缩放律，并用 1.22B 模型轨迹验证了可预测性与增益持续性。
论文提出 OnQ，一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线，用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上，OnQ 取得九个基准的最高平均分；2-bit 下在每个模型规模的每个基准都超过所有基线，Qwen3-8B 平均比最强基线提升 10.26 分，且响应更短、截断和重复错误更少。论文链接：https://arxiv.org/abs/2610.29378v1
推荐理由：论文指出现有量化感知训练的固定响应监督缺陷，并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。
arXiv 论文 ECHO 提出偏好优化的失败源于共同模态偏移，即隐状态中跨 token 位置、提示词和 chosen/rejected 响应共享的方向性偏移，相对排序损失几乎察觉不到其累积；该偏移投影到输出层形成词表井，使单一 token 概率主导解码并引发生成坍缩。在所研究的 per-token 排序损失下，同样的坍缩出现在 17 个 base 模型谱系中的 14 个，且注入该偏移可复现坍缩、屏蔽该成分可预防；教科书式 DPO 偏移较弱，而全参数 SimPO 在 Llama-2 和 Llama-3.1 上均驱动其坍缩。17 次 UltraFeedback 运行显示排名指标越好，两个公开奖励模型反而越少偏好其样本，揭示了标准排序指标的盲区。
推荐理由：论文用注入和消融实验把偏好优化中的共同模态偏移与词表坍缩因果联系起来，并给出可在坍缩前预警的表征层信号。
Berth v0.3.4 引入实验性 Linux GPU 直通功能，berth vfio run 会在安全点排空引擎并确认无占用后运行用户脚本，脚本自行处理 sudo 和驱动切换，卡片回到 NVIDIA 驱动后才交还引擎，期间可通过 berth status 和 Web UI 查看。作者在 4090 上用一个按键完成密码提示、切换到 Windows 并在关机后由 llama-swap 接回，contrib/vfio 提供示例启动器和 libvirt 配置。
推荐理由：作者本人实测给出 VFIO 直通流程和 4090 上的操作细节，附带 contrib/vfio 的启动脚本与 libvirt 配置可复用。
alexwkleung 用 Heretic 对 XHToken/Spark-X2.6-4B（dense 4.1B 思考模型）做定向消融，发布 abliterated GGUF 权重，并用 llama.cpp 量化出 Q4_K_M 到 Q8_0 多档。与官方 Q8_0 对照：拒绝率从 43/44 降到 0/44（thinking 开与关均如此），GSM8K n=100 为 88/100 对 91/100，McNemar p=0.45 未检出数学回归；代价是思考开启时平均约 5k tokens（stock 529），部分超出 8192 预算，无拒绝系统提示可将其减半。
推荐理由：原文给出与官方 Q8_0 逐位对照的拒绝率、GSM8K 和思考开销数据，可据此判断这个去对齐版本的实际代价。
thelogicalgate 基于 InternScience/Sage-A1.5 发布网络安全向拒绝消融（abliteration）版本，打包为 Apple Silicon 原生 MLX 8-bit 量化并保留原训练的 MoE 多 token 预测（MTP）草稿头。校准使用 mlabonne/harmful_behaviors 与 harmless_alpaca 各 128 条提示，在 8–31 层以强度 0.75 修改 72 个输出投影模块，路由权重与 QKV 投影未改动；12 条非工具冒烟提示中拒绝启发式检出基线 2 次、修改版 0 次，本地 Python 反序列化与 IDOR PoC 由基线拒绝变为可产出脚本。
推荐理由：原文给出了激活校准方向、修改层与拒绝率前后对比等实测细节，读者可据此判断这个去对齐版本的实际改动幅度。
KittenML 发布 Kitten-TTS 2 的代码与权重，称其为首个 1.58-bit（三值）TTS 模型，1.7B 参数，仅靠 CPU 即可实时生成。支持少于 5 秒参考音频的 zero-shot 声音克隆、20+ 语言跨语言克隆，以及重音与情感表达控制；代码和权重开源，提供 GitHub 与 Hugging Face 链接，定位为 ElevenLabs 的开源替代。
推荐理由：1.58-bit 三值权重让这个 1.7B TTS 只靠 CPU 就能实时运行，对没有 GPU 的本地部署用户是可查的开源替代选项。
Reddit 用户 /u/Happy_Guitar3521 分享一种面向 Q8 量化模型放不进显存场景的投机解码思路：GPU 上只保留 2-bit 副本用于起草候选 token 树，残差 W−Ŵ 以 6/7/8-bit 存在系统内存，由 CPU 与 GPU 分工完成验证，仅激活值跨 PCIe 传输。实测该验证器比 Q8_0 更接近 bf16（KL 约为一半），2-bit 起草器读取验证器精确 KV 后，在 Gemma 4 31B 上每次验证接受 token 数比 Google 官方 Gemma 4 drafter 高 25–30%；AVX-512 CPU 内核使一次验证 16 个 token 的成本接近验证 1 个。
推荐理由：作者给出完整的量化拆分方案和 KL、接受率等实测数据，还附上可复现的 POC 配方与失败经验，方便他人在此基础上继续实验。
Reddit 用户 /u/Numerous-Ad6217 分享了围绕 MoE 模型搭建预算型本地推理工作站的思路：用单张 32 GB VRAM 的 AMD Radeon AI PRO R9700 加廉价 DDR4 ECC RAM 存放闲置专家。作者对多个主流开源 MoE 模型在 Q4 和 Q8 量化下的活跃与闲置参数量作图，拟合出约 0.0565 的斜率，即每 1 GB 活跃 VRAM 权重对应约 18 GB 闲置 RAM 权重；据此 384 GB DDR4 配 32 GB VRAM 是其配置的平衡点，可给 KV cache 和运行时开销留出余量，而升到 512 GB RAM 会逼近 GPU 上限。作者提醒实际结果取决于模型架构、专家路由、缓存效率和推理后端。
推荐理由：作者用主流开源 MoE 模型拟合出活跃与闲置权重约 1:18 的经验比例，可据此判断 RAM 与 VRAM 的加配时机。
Setmaster 发布 comfyui-llamacpp，为 ComfyUI 提供本地 llama-server 集成，支持文本与视觉提示、结构化输出、直接与路由模式，并显式管理 LLM 进程的 VRAM 释放。已发布的 Registry 包为 0.3.0 含 17 个节点，master 分支的 0.4 源码版本含 25 个节点，新增 llama.cpp Generate 节点、任务配置档案、自动 projector 匹配和最多 10 秒英语音频转写；安装可用 comfy node install comfyui-llamacpp，项目采用 MIT 许可证。
推荐理由：README 明确区分了 Registry 已发布的 0.3.0 与源码 0.4 版本及节点数差异，还给出进程树所有权与 VRAM 释放契约，可据此评估部署方案。
RickyLeRoi 发布 OnFeather 仓库，包含三个可独立安装的 Apache-2.0 工具。
推荐理由：仓库把三个独立工具打包在本地优先的理念下，README 对已测试和未完成部分作了明确区分，可按需单独取用。
DevelopingDad 在 Hugging Face 发布基于 NVIDIA Qwen3.8-Flash-Next-FP4-Local 的去对齐独立权重，将 trial 117 实验的拒绝方向干预直接烘焙进 checkpoint，无需运行时 adapter。实测显示烘焙版拒绝数为 0/100（开发集）与 3/100（保留集），与原 adapter 的 KL 差异约 0.037 nats；散文解码约慢 12%（34.8 vs 39.4 tok/s），代码速度基本持平，需 B12X vLLM 运行时，serve-spark.sh 支持 262,144-token 上下文与 MTP 投机解码。
推荐理由：原文给出了拒绝率与 KL 的实测对比和单机性能数据，读者可以据此判断这个去对齐版本的实际代价与效果。
Recursive 在 Hugging Face 开放其面向编码智能体的 MoE 模型 Flint 权重，总参数 39.8B、每 token 激活约 2.5B，Apache 2.0 许可。官方评测中 Terminal-Bench 2.1 得分 54.9%、SWE-bench Pro v2 为 89.7%、SWE-bench Verified 为 74.2%；仓库含 BF16 checkpoint 和 SGLang 部署套件，支持 262,144 token 上下文与 OpenAI 兼容工具调用，单个 B300 或 H200 GPU 即可运行一个副本。
推荐理由：官方模型卡完整给出架构规格、评测设置和单卡部署方法，读者可以据此判断这个编码智能体模型的实际部署成本。
theJuice85 在 Hugging Face 发布面向 Qwen3.8-27B-GGUF（Q4_K_XL）的去对齐 LoRA 适配器 heretic-qwen38-t26，用 directional ablation 搜索找到。实测将硬拒绝率从基座的 33-86% 降到约 0，能力评测（AIME24、GPQA、MMLU Pro 等 43 个成对项）未发现可统计的能力损失；仅 2.5 MB，AGPL-3.0-or-later。注意其只评测了拒绝率与能力回归，未评测下游安全性，且系统提示词是必要条件，缺失时模型会以带说教的方式作答。
推荐理由：作者给出成对的拒绝率与能力回归数据，硬拒绝从 33-86% 降到约 0 且能力无可测差异，可据此判断这个去对齐适配器的实际效果。
pipe1os 发布开源 CLI 工具 modelinfo-cli，可离线检查 .safetensors、.gguf、.pt 模型 checkpoint 并计算硬件需求，仅用 Python 标准库读取二进制头文件，本地解析在 100ms 内完成。支持通过 Hugging Face Hub 的字节范围请求在 2 秒内远程读取头部而无需下载 checkpoint，可按上下文长度计算 VRAM、用 --vllm 模拟 PagedAttention 池可服务 token 数，并按 --gpu 与多卡 --topology、--strategy 做硬件适配诊断和并排对比。
推荐理由：工具只用标准库解析模型头文件，本地毫秒级、远程免下载整个 checkpoint 就能算 VRAM，部署前选型可以省大量磁盘和时间。