方向
把模型跑在自己机器上：量化、推理引擎、显存优化、微调与蒸馏，以及让更大的无对齐模型跑得起来的工程进展。
1,568 条精选近 30 天 1,558 条共收录 5,749 条
sjoe1244 发布了 llmfan46/Qwen3.8-27B-Uncensored-Heretic 的 EXL3 量化版，权重、lm_head、视觉塔和 MTP 头均为 4-bit，仅支持 TabbyAPI 或 ExLlamaV3。在一块 RTX 4090 上实测：加载后显存 21.0 GB，无思考模式 155–167 tok/s，MTP 起草接受率 81%；作者注明只做了短测，最长提示词 9K tokens，质量未对照 BF16 源模型。许可为 Apache 2.0，去对齐工作来自 llmfan46。
推荐理由：作者给出了单张 24 GB 卡上的实测数据，包括显存、速度和 MTP 接受率，对想本地跑同款量化的人有直接参考价值。
alesha-pro 发布 GLM-5.3-Flash-abliterated-Maya-M-GGUF，基于 Project Maya 的 Maya-M 量化，附带 2.2 MB 拒绝方向向量和 Maya 引擎补丁，可在推理时逐层移除拒绝。在 4x RTX 3090 上开启向量后 256K 上下文解码 56 tokens/s；178 条 AdvBench 与 JailbreakBench 请求中仅 2 条仍拒绝（自杀与自残相关），未开启向量的 EXL3 2.05 bpw 量化上原模型拒绝 144/146，开启后 438 条回答 0 拒绝。
推荐理由：作者给出拒绝向量构造方法与178条请求的拒绝率前后对比，并附KLD数据，读者可自行判断去对齐幅度。
satellitedown 在 Hugging Face 发布 Qwen3.8-Flash-Next 的 abliterated fngine 单 GPU 推理包，迁移 huihui-ai 的消融结果，48 层单拒绝方向拟合最小余弦 0.9999985。在 RTX 5090 上对 32 个轻度提示词，未消融版拒答 8 个、该包 0 个，数学、Python 与知识测试两版得分相同，速度无可测差异。pack 约 89 GiB，要求 sm_120a GPU、约 60 GB 主机内存，提供 OpenAI 兼容接口与 256K 上下文。
推荐理由：给出了 abliteration 的迁移方法、消融方向拟合与拒绝率前后对照，可复核的去对齐发布。
作者发布 GLM-5.3-Flash 的 EXL3 混合量化（gate/up 2 bit、expert down 3 bit，约 2.4bpw，98.1 GB），并附 2.2 MB 的逐块去拒向量，运行时从 4 条残差流中减去各 3 个方向来移除拒绝。在 4x RTX 3090 上可跑 256K 上下文（77% 专家驻留 VRAM），256K 下 178 个 AdvBench/JailbreakBench 回答 0 拒绝，原版 2.05bpw 量化在无思考模式下 146 请求拒绝 144 个；带向量后速度为 52.4 tokens/s 对比无向量 53.7。KLD 0.0959，需配合作者自己的 exllamav3 fork 使用，许可证 MIT。
推荐理由：作者给出逐块去拒方向的构造方法、拒绝率前后对照和KLD量化数据，可自行复现并检验量化与去对齐的实际代价。
arXiv 论文（arXiv:2610.15033）基于两组各90天、共158,099条回答与468,037次引用的收集，研究生成式搜索引擎（ChatGPT、Gemini、Perplexity）引用网页的驱动因素。研究发现 ChatGPT 引用的每个页面都来自其自身检索，而其每次回答都会重写子查询、检索结果很少与 Google 或 Bing 一致，检索环节可解释32%的引用差异，远高于页面属性的2.8%；标题和段落语义匹配提问的页面被引用更多，FAQ 块、结构化数据、摘要框和页面速度只在跨网站比较时表现有效；模型自身知识也参与其中，会写入已知品牌、偏好已知网站，甚至在没有页面佐证时直接点名品牌，受控实验显示品牌名会重排事实完全相同的商品排名。结论在小 B2B 厂商市场复现，数据与代码已发布。
推荐理由：论文用两组各90天、逾46万条引用数据拆解生成式搜索引擎引用页面的机制，指出检索命中比页面属性更能解释引用差异。
beginning-ai 在 Hugging Face 发布了 orcarouter/Qwen3.8-Flash-Next-Uncensored（去拒绝的 BF16 版）的 NVFP4 混合精度量化，目标是单张 96 GB Blackwell GPU 上用 SGLang 运行。与官方 base 相比源模型改动了 1,658 个张量中的 149 个；checkpoint 占盘 120 GiB（BF16 源为 335 GiB），GPU 上约 78 GB 权重，47.7 GiB 的 n-gram PLE 表可放在主机内存或 NVMe。在 RTX PRO 6000 上单流解码约 265 tok/s（2K 上下文）、约 240 tok/s（200K），KV cache 786K token、上下文 524K。
推荐理由：原文给出了逐张量对比、校准数据与拒绝行为说明，读者能看清这个去对齐量化和官方版在结构与数值上的确切差异。
作者 alesha-pro 发布 GLM-5.3-Flash 的去拒绝版本，复用 turboderp 的 EXL3 2.05bpw 量化权重，仅新增一个 2.2 MB 的逐块向量文件（44 个块各 3 个方向）并在自研 exllamav3 fork 中运行时减除。在 4x RTX 3090 上以 256K 上下文、视觉、工具调用和 MTP 达 75 tokens/s；438 条 AdvBench 与 JailbreakBench 请求中，加向量后拒绝数从 222 降至 0（严格二分类判定为 1/438），代价是 KLD 从 0.1219 升至 0.1318。作者同时提供 2.4bpw-mix 与 GGUF 版本，并列出仅有单一硬件、无人工标注等限制。
推荐理由：原文给出逐块去拒绝向量的构造方法、438 条请求的拒绝率前后对比和 KLD 代价，可复现也可据此评估损失。
samuelyossef 在 GitHub 开源了 jev-openfast，一个通过聊天驱动的本地浏览器 Agent，调用真实 Chrome 标签页执行 CLICK、TYPE_TEXT 等操作，决策由 TypeSafe 的 typesafe/jev-1.13 结构化模型完成，文字输入使用 inception/mercury-2.5。模型不写选择器或代码，页面转为编号元素表后由模型从表中选操作和目标；发送、支付等外部承诺需人工批准，DONE 后会重新检查页面并给出 confirmed、not met 或 unknown 的验证结果。
推荐理由：这个本地浏览器智能体在执行前用元素表决策、DONE 后独立复核结果，作者还写明了 guards 与隐私处理的实现思路，可供搭建类似 Agent 参考。
dealignai 发布 GLM-5.3-UNCENSORED-FP8，对基于 zai-org/GLM-5.3（753B）的 FP8 量化版做权重级去对齐，声称仅修改 bf16 residual writer 张量、非 LoRA 或运行时钩子。HB-320 评测中非版权行为的 TRUE_COMPLY 达 91.7%（off），v2 修复了 v1 约 2% 的推理循环问题并使 GARBAGE 降为 0，代价是整体 TRUE_COMPLY 约降 4pp；MMLU 87.43% 较基线 +1.85pp。文中还给出 vLLM 部署参数与 reasoning_effort 只认 low/high 等注意事项。
推荐理由：原文给出完整拒绝率与 MMLU 对比数据，还附带 vLLM 部署注意事项，读者可据此评估这个去对齐版本的实际表现。
Tejas Vaidhya 在 arXiv 论文中提出 Tab-Loop，将 TabICLv2 的 12 个非共享 ICL 块替换为 4 个共享块循环应用 k 次，其余编码器、解码器、合成先验和训练配方不变。在相同预训练算力 18.2 EFLOP 与相同推理算力下，参数量从 27.6M 降到 10.4M，held-out log loss 0.4583 对 0.4588，200 个 TALENT 数据集平均准确率 84.10% 对 83.92%，38 个 TabArena 数据集 Elo 1409 对 1396。由于权重共享，深度可在推理时选择，在训练范围内增加循环次数可提升精度且超出范围仍成立，用更深的循环继续训练可在 4–5 倍推理算力下达到基线 stage-2 成绩。
推荐理由：论文在相同预训练与推理算力下对比权重共享与独立参数，给出参数量、精度和 Elo 的具体数字，可迁移到 ICL 模型的参数效率设计。
论文提出 MCPDisCo，一个面向 MCP 原生智能体的生态级强化学习框架，在 70 个 MCP 服务器和 527 个工具、六个领域的真实服务器长程交互上训练。框架用 Thought-MDP 显式表示内部推理与路由、执行、终止，通过 token 掩码奖励归因和双向梯度手术缓解推理与工具学习之间的跷跷板干扰，以更少思维链 token 取得更高成功率，并在分布外 MCP-Atlas 与 GAIA 基准上保持单调增益。模型权重和实现已放出。
推荐理由：论文给出推理与工具学习互相干扰的失败模式及其梯度手术解法，在 70 个真实 MCP 服务器上训练并验证分布外泛化。
YueFong 在 Hugging Face 上发布基于 Qwen/Qwen-Image-2.1 原始权重的 Uncensored GGUF 量化版，用于本地图像生成。该版本移除内置安全检查器，可直接生成成人及敏感图像而不出现提示词拒答或黑图；提供 BF16 到 Q4_0 等多档量化（如 Q4_K_M 为 4.60 GB），并附配套文本编码器 qwen3vl_8b 与 VAE 文件、ComfyUI 及 ComfyUI-GGUF 的部署与低显存配置说明。
推荐理由：原文列全了各量化档位的文件体积与显存占用，还给出 ComfyUI 的部署步骤和文本编码器卸载方案，照做即可跑通本地生图。
作者用自写脚本在单张 Tesla V100-SXM2 32GB 上实测了 Ollama 与 llama.cpp 跑 llama3.2:1b、Qwen3-30B-A3B-Thinking、Gemma 4 31B、Qwen3-Coder-30B-A3B 等模型的生成与 prefill 速度，请求长度从 1K 到约 118K token。数据显示引擎加配置才是对比单位，如 Qwen3-30B 上 Ollama 生成随上下文增长快 17% 到 49%，而 llama.cpp 用 q8_0 KV 缓存才装下 131072 窗口；作者还发现 Ollama 对 gemma4-32k 报告的 56 tok/s 和 2.1GB 显存不可信，超过 31B 稠密模型约 44 tok/s 的物理上限。
推荐理由：作者在单卡 V100 上实测了多款模型在 Ollama 与 llama.cpp 的长上下文速度差异，并指出引擎配置和内存预算比引擎本身影响更大。
作者 /u/Adorable_Weakness_39 用 Claude Opus 5.5 编写 CUDA megakernel，在单张 RTX 3090 上加速 Qwen3.8-27B，比 llama.cpp（启用 MTP）快 1.4-1.9 倍：写代码 140 tok/s 对 73，带 4K token 文件上下文编码 95 tok/s 对 56，prefill 约 1,600 tok/s 对约 1,100。加速来自把整个投机解码周期放进一次 kernel launch，检查 4-5 个草稿 token 的成本约等于检查一个。
推荐理由：作者实测给出同硬件下 megakernel 与 llama.cpp 的逐项速度对比和适用限制，可迁移到单卡本地推理的加速尝试。
swdq 在 Hugging Face 放出 huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated 的 MLX affine 4-bit 权重，并把检查点自带的 MTP 头量化为 mtp-4bit.safetensors，供 TensorFold 的 Qwen3.6 MoE CUDA 家族使用。在一台 NVIDIA DGX Spark（GB10）上用 TensorFold 0.6.6、--mtp-drafts 2 --prefill-f8 实测，8k tokens 预填充 5,700–7,200 tok/s、解码 98–128 tok/s；相比之下 BF16 检查点在 vLLM 0.29 加 FP8 在线量化加 MTP 2 下解码约 53/69 tok/s。
推荐理由：原文给出了完整的量化方法、实测吞吐数据和复现命令，读者可以直接拿来在单机上部署这个 4-bit 版本。
作者 /u/A-Rahim 发布免费开源 Mac 应用 DigUp，本地运行 Google DeepMind 的 EmbeddingGemma 2，用一句描述搜索文件中的文本、图片、音频和视频内容。应用使用 ggml-org 的 Q8_0 GGUF 模型（865 MB）跑在 llama.cpp Metal 上，搜索只加载约 250 MB 文本编码器，停止输入约十分之一秒出结果，索引峰值低于 2 GB，支持孟加拉语和阿拉伯语搜索，MIT 协议，需 Apple Silicon 和 macOS 14+，仓库为 https://github.com/ARahim3/DigUp。
推荐理由：作者开源了基于 EmbeddingGemma 2 的本地多模态文件搜索 Mac 应用，内存占用、延迟和隐私细节都写得具体，便于本地部署参考。
PostTrainLLM 发布 MIT 协议的 Mac-first LLM 训练工厂、运行时与浏览器 playground，完全本地运行、零云端。项目含 76 个实验的最终处置、18 份保留配方契约、九个学习阶段产出十三件工件，并给出实测结果：单 Mac 上用约 99 条 frontier rollout 蒸馏的 4B 模型在多轮 agentic 工具调用硬门槛上得 100%，与 DeepSeek-V4-pro 持平，高于 Gemma-4-12b-qat 的 83% 和原版 4B 的 75%。作者同时披露了局限，如 v11 到 v12 迁移中域外广度从 60% 回退到 42%，sealed V1 评测 57.1% 的意图路由器被标记为 production reject。
推荐理由：作者整理了完整的实验台账、方法文档与 Mac 单机实测数据，读者可以按配方复现这条本地训练与蒸馏路线。
Bobcat 开源 llm-pool，一个通过单一 API 运行本地与远程大语言模型的 FastAPI 服务，支持模型加载卸载、GPU 状态查询与多模态输入。它适配 CT2、ExLlamaV3、llama_cpp、vLLM、llama_server、trtllm_serve、sglang_serve 及 OpenAI 兼容远程后端，内置按模型的客户端公平调度队列，并在 RTX PRO 6000 上给出 vllm_serve MTP 推测解码约 430+ tok/s 等本地实测吞吐数据。
推荐理由：README 详列多种后端接入方式、公平调度与本地实测吞吐数据，适合自建多模型统一推理服务时参考迁移。
KazKozDev 在 GitHub 开源 book-translator，可基于 Ollama 在本地电脑翻译整本小说，支持 TXT、EPUB、PDF、DOCX 输入和 11 种语言互译。流程分 Prepare、Start、Continue、Review 四步，先全书扫描生成术语表锁死人名地名，分块翻译时携带类型、术语表和上文，改写由独立验证器对照原文校验，质量检查用 chrF、LaBSE、COMET-Kiwi 等指标标记漏译与错误。
推荐理由：原文给出全书术语表、分块校验和质量检查的完整做法，读者可以借此理解用本地模型翻译整本小说时保持人名一致和防漏译的思路。
AtomicChat 在 Hugging Face 发布去对齐版 Qwen-Image-2.1-Turbo 文本编码器 GGUF，将 Qwen3-VL-8B-Instruct 的拒绝方向从权重中投影去除。作为聊天模型，英文拒绝率从 88.9% 降到 1.2%，俄语从 38% 降到 0%，MMLU 保持 77.35% 不变；45 条敏感图像提示词测试中无一翻转，图像输出仅有约 0.088 的 LPIPS 漂移。提供 BF16 到 Q2_K 量化分档，配 stable-diffusion.cpp 的 --llm 参数本地运行，方法基于 Arditi et al. 2024 的单方向拒绝机制研究。
推荐理由：原文完整给出拒绝方向消融方法、拒绝率前后对照和量化分档对画面的影响，可据此自行评估这个去对齐编码器的实际改动幅度。