新闻、仓库与研究，按时间排列。
ThinkBit 是一个严格标量的 2-bit 量化框架，用整数码字乘 bfloat16 组共享尺度表示权重，按敏感性给每层分配三值/2-bit/3-bit 位宽，经逐层 Gumbel-softmax 码字搜索、知识蒸馏尺度再校准和短程 QAT 保留推理能力。在 Qwen3-1.7B 上，再校准检查点 MATH-500 得 46.7，高于同数据训练的 EfficientQAT 的 30.0；QAT 后达 73.0；0.52 GB 的体积小于该模型所有已发布 2-bit GGUF 且 MATH-500 更准。扩展到 14B 时 3.74 GB 模型得 94.8，bfloat16 的 29.5 GB 模型为 97.5。论文地址 https://arxiv.org/abs/2610.34886v1
推荐理由：论文用敏感性分层、尺度再校准和短程 QAT 做 2-bit 推理模型量化，给出与 EfficientQAT 的 MATH-500 对比数据可参考。
一项硬件-软件协同设计方法利用 systolic array 累加器中时序稳健位范围随电压-频率工作点变化的特性，提出累加感知训练，结合混合精度量化与非结构化剪枝，辅以 MSB 掩蔽、细粒度时钟门控和逐层动态频率缩放。在 2nm 工艺节点的低电压前沿运行时，该后布局架构相对标称电压实现节能 39%、energy-delay product 提升 23%，精度损失保持在 1% 以内。论文已被 ICCAD '26 接收。
开发者在 GitHub 开源 mini-llm，一个从零用 PyTorch 构建的 19.8M 参数掩码扩散编码器–解码器 Transformer 对话模型，目标是在手机端侧运行。模型在 1.47B token 的 FineWeb-Edu 上完成预训练，并经过 SFT 与 GRPO 强化学习，上下文窗口 256 token，词表 12 288（byte-level BPE）。项目还包含一个实验性 Thinking 模块及参数量匹配的对照组，生产级 C++ 推理运行时仍在计划中。
Badrodro 发布 llm-4bit-quant-formats 仓库，在 Qwen2.5-0.5B、Qwen2.5-1.5B 和 SmolLM2-1.7B 上以 WikiText-2 与 C4 困惑度对比多种 4-bit 权重量化格式。结果显示等困惑度下 trellis 编码比 NVFP4 少需 11–17% 比特、比 INT4 g128 和 MXFP4 少约 15–20%，但加随机 Hadamard 旋转的标量 Lloyd-Max 量化器已能达到 trellis 增益的 6–9% 以内，未达到预先设定的 10% 阈值，因此非均匀标量格式加旋转在更低解码成本下已捕获大部分收益。测试仅覆盖权重、round-to-nearest、0.5–1.7B 小模型，无校准数据与速度能耗测量。
推荐理由：作者预先设定了10%的决策阈值再实测，读者可以据此判断trellis量化是否值得在硬件里加解码器。
ARM-Sparse 项目在 Apple M2 CPU 上实测 Llama 3.2 1B 与 TinyLlama 1.1B 的 FFN 块稀疏推理，结论是 packed B8 块内核只在 40-50% 稀疏度才快过 Accelerate 稠密基线，而此时模型质量已不达标（Llama 在 20% 处困惑度 +8.773% 失败）。在 10-20% 质量门槛内，只有采用 neuron-major 权重的 per-neuron 执行器跑块对齐 mask 能比稠密快百分之几（真实 mask +0.9% 到 +3.5%，合成 mask 最高 +7.3%），且质量上限决定了收益上限，不构成端到端可部署加速；仓库附带 99 项自动化测试的完整复现包。
研究者提出 LEMS 与 KFAC-SVD，改进基于 SVD 的大语言模型压缩：LEMS 通过逐层误差代理结合 ILP 实现更有效的全局秩分配，KFAC-SVD 利用逐 token 统计缓解此前 Fisher 方法的秩塌缩。在 Mistral、Qwen3 和 Llama 3 模型族上，LEMS 带来最高 4.8 p.p. 的 zero-shot 准确率提升（可泛化到 70B 参数规模），KFAC-SVD 平均降低困惑度 15%。论文已被 ICML 2026 接收。
论文提出 PN-Mix，一种面向 RoPE decoder-only LLM 的混合精度 key cache 量化方法，通过 RoPE 通道对的 query-key pair-norm 乘积识别显著通道对，在 prefill 阶段分配一次高精度并在解码全程复用。2.26-bit 平均精度下，PN-Mix 在推理、代码生成和 AIME 基准上达到与 2.32–2.39 bit 先前方法相当或更好的准确率，且可平滑降至 1.5 bit。
论文提出 PACE，一种后置（post-hoc）4-bit 循环状态量化方法：它每隔若干 token 才做一次舍入并缓存中间 token，并按列共享量化 scale、对误差最大的 head 保留 8-bit。在 4B 到 35B 的四个混合模型上，混合 4/8-bit 的 PACE 以约三分之二的内存达到与 8-bit DAMP 相当的表现，全 4-bit 版本在同等内存下得分高于 Q-Mamba，并保持解码加速。
论文提出 SQuAT，一种面向十亿参数 LLM 的形状-增益向量量化感知训练（VQ-QAT）方法，用分离的 STE 对方向和增益分别更新，方向通过 E8 球面码本量化。其分布式最近邻分配方案将 VQ-QAT 训练时间缩短 12.8 倍，并扩展到 10B token。在 instruction-tuned LLaMA-3.2-1B/3B、Qwen3-4B 和 base Qwen3-1.7B 上，SQuAT 在相同码本和初始化下始终优于标准 VQ-QAT STE，达到 SOTA VQ-QAT 精度。
Stephen Chung 在 arXiv 发布论文，研究以低精度存储语言模型 n-gram 嵌入表以降低内存开销。在 nanochat、Llama、GPT-2 系列从零训练的模型上，4-bit 表节省约 75% 表内存，同时保留加表带来的验证损失改善的 99% 以上；对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 节省 47-55% 表内存，困惑度增加低于 1.2%。更低位宽性能下降更大，但短时微调可恢复大部分损失，将省出的内存换成更大表还能超越原全精度表的性能。
推荐理由：论文系统比较了不同量化和位宽分配方案，给出从零训练与现有大模型两组数据，可帮助读者评估低比特 n-gram 表的实际收益。
一项 arXiv 预印本研究发现，扩散语言模型（DLM）的量化敏感性随任务和去噪时间步而变化，且这种模式无需真实标签或任务专属评测指标即可预测。作者据此提出 T²Quant，一种任务与时间感知的混合精度量化框架，在固定位宽预算下用无标签敏感性信号优化各去噪步骤的激活精度。在 3 个 DLM 和 6 个 benchmark 上的实验显示，同预算下平均准确率最高提升 6.7 个百分点。
论文提出 SPARE，一种免训练、与 selector 无关的方法，用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家，路由越分散的层剪得越激进，并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下，SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配，50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%，DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1
推荐理由：论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题，给出的路由熵方法无需训练即可提升高剪枝率下的精度。
论文提出 OnQ，一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线，用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上，OnQ 取得九个基准的最高平均分；2-bit 下在每个模型规模的每个基准都超过所有基线，Qwen3-8B 平均比最强基线提升 10.26 分，且响应更短、截断和重复错误更少。论文链接：https://arxiv.org/abs/2610.29378v1
推荐理由：论文指出现有量化感知训练的固定响应监督缺陷，并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。
PACE 是一种面向线性注意力语言模型的后处理四比特状态量化器，只需每生成几个 token 舍入一次状态，并按列共享量化比例、将误差保留最久的头保持在 8 比特。在 4B 到 35B 参数的四个混合模型上，混合 4/8 比特头的 PACE 在约为 8 比特 DAMP 三分之二内存的情况下性能相当，全程 4 比特版本在同等内存下得分高于 Q-Mamba，且保持解码加速。
Reddit r/LocalLLaMA 用户分享一种投机解码思路：GPU 上保留模型 2-bit 副本负责起草 token，6-8 bit 残差权重留在系统内存由 CPU 校验，仅激活值经过 PCIe。实测 2-bit + 8-bit 残差比 Q8_0 更接近 bf16（KL 约减半）；6-bit 残差达到 Q8_0 级质量且从 RAM 读取字节减少约 28%；复用校验器 KV cache 的 2-bit 起草比 Google 官方 Gemma 4 drafter（31B）每次校验多接受 25-30% token（5.23 对 4.20）。代码已开源。
Reddit 用户 /u/Happy_Guitar3521 分享一种面向 Q8 量化模型放不进显存场景的投机解码思路：GPU 上只保留 2-bit 副本用于起草候选 token 树，残差 W−Ŵ 以 6/7/8-bit 存在系统内存，由 CPU 与 GPU 分工完成验证，仅激活值跨 PCIe 传输。实测该验证器比 Q8_0 更接近 bf16（KL 约为一半），2-bit 起草器读取验证器精确 KV 后，在 Gemma 4 31B 上每次验证接受 token 数比 Google 官方 Gemma 4 drafter 高 25–30%；AVX-512 CPU 内核使一次验证 16 个 token 的成本接近验证 1 个。
推荐理由：作者给出完整的量化拆分方案和 KL、接受率等实测数据，还附上可复现的 POC 配方与失败经验，方便他人在此基础上继续实验。
一篇 arXiv 论文提出用 16 MB 冻结 512-bit 编码表替代可训练嵌入层，经主成分投影和符号二值化得到，无任何可训练参数。在 Gemma 3 270M 形状模型上，可学习词表花 2.6 倍可训练参数只换来 0.20 nats 验证损失改善，而冻结词表模型在 LAMBADA、HellaSwag、PIQA 上持平或更好，仅 ARC-Easy 落后；在罕见词上反超 1.7 到 2.3 nats，训练后新增 10,000 词仅损失 3%，可学习词表则崩掉 43%。配合 ternary BitNet b1.58 主体，整个模型仅 46 MB，在笔记本 CPU 上以 62 MB 内存生成 615 到 740 tokens 每秒，速度是 float 模型 8-bit GGUF 的五到六倍、内存为其七分之一。
推荐理由：论文用同一训练设置对照验证冻结 16 MB 词表的效果，并给出 LAMBADA、PIQA 等基准与 CPU 生成速度数据，权重和评测全部开放。
arXiv 论文 Specter 提出一种 MoE 推理系统，用量化让轻量 draft 模型在设备上运行，对未来专家使用做多步投机预判，提前安排专家的搬运与执行。单请求推理下相对 SOTA 系统平均取得 1.50x（最高 1.88x）的 TPOT 加速，让单 GPU 受限显存下的 MoE 推理在消费级硬件上更可行。代码在 https://github.com/wwwwwf/specter_asplos，论文见 https://arxiv.org/abs/2511.14102。
richajoy 在 GitHub 发布 llm-inference-performance 仓库，用 NVIDIA Dynamo、vLLM 和 Kubernetes 在 H100 上部署 Qwen3-8B，逐项改变负载、路由、分离式部署、自动扩缩和引擎设置并测量 TTFT、TPOT、吞吐与容量。
推荐理由：原文用字节与 FLOPs 从第一性原理解释每个调优参数为何影响 TTFT、TPOT 和吞吐，并给出可复现的基准数据与修正记录。
arXiv 论文提出数据中心的后训练量化方法，突破 4 比特边界，在 2 比特下用向量码本表示、任务对齐校准数据与仅码本的恢复微调三要素组合，将标量 PTQ 崩溃到随机水平的模型恢复可用。该配方在 3.8B 到 32B 的六个稠密与 MoE 模型上每权重约 2.3 有效比特，保留 89 到 97% 的全精度问答准确率，计算量比最强 QAT 基线少 1.4 到 30 倍。
BitMTP 提出算法与系统协同设计框架，在超低比特 LLM 骨干上实现高效多 token 预测（MTP），已被 NeurIPS 2026 接收。该框架用联合 next-token 与 MTP 目标让单一模型同时具备自回归生成与 block-causal drafting，并提供置信度、投机与混合三种解码方式。在 NVIDIA H20 上混合解码于 BitNet b1.58-2B 取得五任务平均 2.2x 加速，1.7B-4B Bonsai 模型为 2.1-2.4x，RTX 3090 与 Jetson Orin 上分别达最高 2.0x 和 MBPP+ 上 3.3x，代码已开源。
推荐理由：论文把多 token 预测与超低比特量化结合，给出跨 GPU 的实测加速比，方法与系统设计都可参考。
ACE-Compression 是一个以能力为中心的大语言模型压缩评估框架，从程序推理与约束执行、知识基础与真实性、社会认知与情感理解、人格一致性与风格稳定性四个维度考察压缩后模型的能力存续。对来自六个开源权重 LLM 的 35 个以上压缩 checkpoint（涵盖量化和剪枝）的分析显示，压缩会重新分布能力：粗粒度、局部、表层信号往往保留，而细粒度、长尾、依赖上下文的能力变得脆弱；量化在能力保留上始终优于剪枝。部署者可据此按应用所需能力画像选择压缩方法。
这是一个 MEng 论文的复现包，实证研究 4-bit NF4 QLoRA、8-bit、16-bit bf16 LoRA 三种位宽与 LoRA rank（r ∈ {8, 16, 32}）在微调 deepseek-coder-6.7b-instruct 修复 Java 缺陷时对正确性、GPU 显存、速度和能耗的权衡。实验基于 CodeXGLUE Code Refinement（10,000 训练 / 1,000 验证 / 1,000 测试对）和 HumanEvalFix（164 Python + 164 Java 缺陷），在单张 24 GB GPU 上进行。目前数据管线和指标已验证，训练与评测脚本仍在开发中。
一个基于 Inspect (inspect-ai) 的个人基准项目，测试小型本地 LLM 将 MATLAB 代码翻译为 Python 的能力，在作者自己机器上运行，模型由 llama.cpp 的 llama-server 提供。主模型为 OLMo 3 7B Instruct，对比模型为 OLMo 3 7B Think（均为 Q8_0 GGUF），答案键由 GNU Octave 生成，评测指标包括通过率、失败模式、校准度（Brier 分数）和歧义处理。五个试点任务、评测框架和 Inspect 集成已构建并测试完成，尚未在模型上正式运行。
GitHub 上的 model-detective 项目研究能否仅通过 LLM 的文本输出来检测其量化状态，并在不同 bit-width 下衡量检测所需的查询次数与危害。项目目前处于 Phase 0 工作进行中阶段，仓库包含 app、configs、src/modeldetective 等模块，尚无 star 与 fork。
论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统，训练图、适配器和优化器留在 CPU，并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护，支持可恢复执行和热节流以作为后台任务运行，在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。
推荐理由：论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法，涉及输入梯度实现、精度选择和端侧个性化工作负载，思路可迁移。
Wei Wang 在 arXiv 发布 FUTRANSFORMER，一个面向 NVIDIA Hopper GPU 的 Llama 风格 Transformer 推理 CUDA 实现，prefill 用 FP8、decode 用 INT4 权重和 INT4 KV-cache，并采用块对角 Hadamard 变换降低缓存量化误差。
推荐理由：论文给出 Llama 推理在 H100 上 FP8 prefill 与 INT4 decode 的具体实现和量化精度代价，数字可核对、方法可参考。
一项 arXiv 研究提出“变体碎片化”问题，指出混合纳瓦特语（Nawatl）多种变体的语料会生成不属于任何语言社区的人为语域。研究基于 70,000 双语对多变体基础，用 2,665 平行对和 192 句长者转写句子，将 mT5-large 特化为 Santa Ana Tlacotenco 的 Masewalkopa（nhn）变体，所得 LoRA-v9c-b 模型取得 58.46 dev chrF++；有限状态分析器将未分析表层形式从 82.0% 降至 19.9%，CTranslate2 int8 量化把 CPU 延迟从 137.5 秒降至 1.8-2.6 秒，支持低成本 Cloud Run 部署。
研究者提出 DPA-MoE，一个运行时精度控制框架，让 MoE 模型中被路由的专家支持任意精度。该方法用 SharedScale AnyBCQ 将专家前馈权重编码为可前缀解码的分块，并在推理时依据实时 router gate 分数分配。在 Qwen3-30B-A3B 和 DeepSeekMoE-16B 上的实验显示，相同预算下 DPA-MoE 比均匀分块分配改善了 KL 散度和下游准确率，原型系统稳态吞吐开销适中。
一项 arXiv 研究发现，Block Influence（BI）深度剪枝的排序依赖校准分布：在 Qwen2.5-1.5B-Instruct、Llama-3.2-1B 和 Gemma-2-2B 上，印地语、马拉地语和泰米尔语的后期 block BI 比英语高 20.7-55.5%，仅用英语校准会系统性漏选这些层。用等量的英语、印地语和马拉地语数据平均校准可缓解困惑度损害，但效果并非在所有架构和剪枝预算下通用，需逐一验证。
HyCo 将服务器模型的 MTP 头部署到设备端执行，结合一次 SLM 前向作为备选分支，通过量化、受限词表和 1K-token 窗口适配移动 NPU。在 Galaxy S26 Ultra 上经 LTE/5G 测试，HyCo 在 Spec-Bench 上较服务端 MTP 自推测减少 38.6% 的服务器 GPU 时间，在 32K-token 摘要任务上减少 29.2%；相比仅用 SLM 草稿多节省 9.0 个百分点、提速 1.9x，且输出质量与 Cloud+MTP 基本持平。
GitHub 上的 hybridquant 仓库研究混合线性注意力 LLM（Qwen3.5、Falcon-H1）中 KV cache 与循环状态（Gated DeltaNet / Mamba-2）的联合量化，在固定内存预算下比较两者位宽分配及误差交互。它采用 fake quantization 测量 decode 阶段 NLL，对比 RTN 与带 error feedback 的方案，并用噪声匹配对照检验超可加性，每格 20 文档 × 3 seeds 并报告 paired bootstrap 95% CI。
Walter Simoncini 在 arXiv 发布论文，提出免重训练方法把预训练 Transformer 变成可在连续算力预算间自适应的单一模型，核心是对功能单元排序问题做可微松弛，在统一尺度上联合排序每个 MLP 神经元和注意力头。在 22M 到 8B 参数的 27 个视觉与文本 Transformer 编码器上，方法在最高 60% 稀疏度下平滑退化并优于 one-shot 基线；DINOv3 ViT-H+/16 剪枝到 50% 稀疏度移除 427M 参数，ImageNet-1k linear-probing 精度仅降 0.8%；AugReg ViT-B/16 在 60% 稀疏度下于 A100 GPU 上吞吐提升最高 1.80 倍、单查询延迟降低 1.26 倍。
推荐理由：论文给出免重训练的弹性剪枝方法，在27个模型上验证60%稀疏度下的精度与吞吐数据，可复现。
PN-Mix 是一种针对 RoPE 架构 decoder-only LLM 的混合精度 key cache 量化方法，通过 RoPE 通道对的 attention logit 扰动分析识别显著通道对，在 prefill 阶段一次性分配更高精度并在解码全程复用。2.26-bit 平均精度下，其在推理、代码生成和 AIME 基准上达到与 2.32–2.39-bit 先前方法相当或更好的准确率，且可平滑降至 1.5 bits。
arXiv 论文 2610.18343 用 BAVGROUND 基准在巴伐利亚语、标准德语和英语上评估 14 个开源 7B–10B 指令模型的量化鲁棒性。8-bit GPTQ 接近 BF16 且基本保持三语相对行为；4-bit GPTQ 与 AWQ 使平均准确率下降约 1.4–1.5 个百分点，改变 11.9–16.0% 的 BF16 决策，且 5 个模型的自由文本评测显示 4-bit 压缩在选择题准确率变化不大时也可能劣化生成回答。受影响最大的语言随模型、量化方法和校准数据而变，不能仅凭聚合多语言准确率衡量。
独立研究者因预算限制把原计划用 64 张 H100 的 21B MoE（总参数 20.99B、激活 3.36B）预训练改在单张 GH200（$2.29/小时）上完成，并整理成论文。Benchmark MFU 从 21.1% 提至 50.7%（13 个测量点），真实数据训练 MFU 为 48.9–49.1%（10.9B tokens），附代码、基准记录与训练日志（https://github.com/DW-dev-UE/LLM-from-scratch/tree/main/apex3），论文见 https://zenodo.org/records/23316135。
研究者提出 VLCQ，一种无需访问训练数据或微调模型的训练后量化方法，通过变长编码突破定点编码限制，在更低位宽下保持性能。per-channel 量化下相比 FP32 最高压缩 6x（比 PWLQ 高 1.7x），优先压缩时可达 12.25x 压缩且性能损失低于 4%；per-tensor 量化下与 DFQ 相当且更灵活。论文发表于 Future Generation Computer Systems。
研究者基于 Qwen3.5 骨干的 9B 参数决策模型 Clef-Flash，用 QLoRA 微调在 Symptom2Disease 基准的 24 类疾病分类上达到 95.42% 准确率、macro F1 0.9551，超过 ClinicalBERT 的 90.90%。单次前向推理每条记录耗时不足 80 毫秒，报告称较生成式 LLM 基线提速 31 倍。其提出的 Leave-One-Symptom-Out 反事实扰动框架可揭示症状级证据。
arXiv 论文提出 FidelityQ 标量量化框架，在权重低至 2 bit 时保持大语言模型的预测保真度。核心包括 Hadamard 混合的 IAC 编码与基于教师-学生散度尾部分配校准预算的 KIC 方法；LLaMA-2-7B 在 W2A16 下 WikiText2 困惑度为 6.62，将 W2A4KV4 此前最好结果从 8.31 提升至 6.96，线性层权重内存相对 FP16 减少 8.0x。论文链接 https://arxiv.org/abs/2610.14934v1。
GitHub 新仓库 shanhe321/CacheFlow 公布了 CacheFlow 的官方实现，该方法从频率感知角度统一步蒸馏与特征缓存，解决扩散模型极端少步加速下的语义保真与细节损失问题，提出频率感知策略蒸馏和可学习缓存策略。在 FLUX.1-dev、Qwen-Image 等模型上的实验显示，文生图与图像编辑质量具竞争力，实测加速最高达 55.31×，代码即将开源。