按兴趣浏览，循来源深入。
Badrodro 发布 llm-4bit-quant-formats 仓库，在 Qwen2.5-0.5B、Qwen2.5-1.5B 和 SmolLM2-1.7B 上以 WikiText-2 与 C4 困惑度对比多种 4-bit 权重量化格式。结果显示等困惑度下 trellis 编码比 NVFP4 少需 11–17% 比特、比 INT4 g128 和 MXFP4 少约 15–20%，但加随机 Hadamard 旋转的标量 Lloyd-Max 量化器已能达到 trellis 增益的 6–9% 以内，未达到预先设定的 10% 阈值，因此非均匀标量格式加旋转在更低解码成本下已捕获大部分收益。测试仅覆盖权重、round-to-nearest、0.5–1.7B 小模型，无校准数据与速度能耗测量。
推荐理由：作者预先设定了10%的决策阈值再实测，读者可以据此判断trellis量化是否值得在硬件里加解码器。
Stephen Chung 在 arXiv 发布论文，研究以低精度存储语言模型 n-gram 嵌入表以降低内存开销。在 nanochat、Llama、GPT-2 系列从零训练的模型上，4-bit 表节省约 75% 表内存，同时保留加表带来的验证损失改善的 99% 以上；对 DeepSeek-V4.1-Flash 和 Qwen3.8-Flash-Next 节省 47-55% 表内存，困惑度增加低于 1.2%。更低位宽性能下降更大，但短时微调可恢复大部分损失，将省出的内存换成更大表还能超越原全精度表的性能。
推荐理由：论文系统比较了不同量化和位宽分配方案，给出从零训练与现有大模型两组数据，可帮助读者评估低比特 n-gram 表的实际收益。
论文提出 SPARE，一种免训练、与 selector 无关的方法，用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家，路由越分散的层剪得越激进，并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下，SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配，50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%，DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1
推荐理由：论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题，给出的路由熵方法无需训练即可提升高剪枝率下的精度。
论文提出 OnQ，一种结合 on-policy 蒸馏与逐候选 Dynamic KL 的低比特恢复管线，用量化学生模型自身生成的前缀接受全精度教师监督。在 Qwen3-1.7B、4B 和 8B 的 2 与 3-bit 精度上，OnQ 取得九个基准的最高平均分；2-bit 下在每个模型规模的每个基准都超过所有基线，Qwen3-8B 平均比最强基线提升 10.26 分，且响应更短、截断和重复错误更少。论文链接：https://arxiv.org/abs/2610.29378v1
推荐理由：论文指出现有量化感知训练的固定响应监督缺陷，并用自身前缀上的蒸馏与动态 KL 给出可复现的低比特恢复方案。
Reddit 用户 /u/Happy_Guitar3521 分享一种面向 Q8 量化模型放不进显存场景的投机解码思路：GPU 上只保留 2-bit 副本用于起草候选 token 树，残差 W−Ŵ 以 6/7/8-bit 存在系统内存，由 CPU 与 GPU 分工完成验证，仅激活值跨 PCIe 传输。实测该验证器比 Q8_0 更接近 bf16（KL 约为一半），2-bit 起草器读取验证器精确 KV 后，在 Gemma 4 31B 上每次验证接受 token 数比 Google 官方 Gemma 4 drafter 高 25–30%；AVX-512 CPU 内核使一次验证 16 个 token 的成本接近验证 1 个。
推荐理由：作者给出完整的量化拆分方案和 KL、接受率等实测数据，还附上可复现的 POC 配方与失败经验，方便他人在此基础上继续实验。
一篇 arXiv 论文提出用 16 MB 冻结 512-bit 编码表替代可训练嵌入层，经主成分投影和符号二值化得到，无任何可训练参数。在 Gemma 3 270M 形状模型上，可学习词表花 2.6 倍可训练参数只换来 0.20 nats 验证损失改善，而冻结词表模型在 LAMBADA、HellaSwag、PIQA 上持平或更好，仅 ARC-Easy 落后；在罕见词上反超 1.7 到 2.3 nats，训练后新增 10,000 词仅损失 3%，可学习词表则崩掉 43%。配合 ternary BitNet b1.58 主体，整个模型仅 46 MB，在笔记本 CPU 上以 62 MB 内存生成 615 到 740 tokens 每秒，速度是 float 模型 8-bit GGUF 的五到六倍、内存为其七分之一。
推荐理由：论文用同一训练设置对照验证冻结 16 MB 词表的效果，并给出 LAMBADA、PIQA 等基准与 CPU 生成速度数据，权重和评测全部开放。
richajoy 在 GitHub 发布 llm-inference-performance 仓库，用 NVIDIA Dynamo、vLLM 和 Kubernetes 在 H100 上部署 Qwen3-8B，逐项改变负载、路由、分离式部署、自动扩缩和引擎设置并测量 TTFT、TPOT、吞吐与容量。
推荐理由：原文用字节与 FLOPs 从第一性原理解释每个调优参数为何影响 TTFT、TPOT 和吞吐，并给出可复现的基准数据与修正记录。
BitMTP 提出算法与系统协同设计框架，在超低比特 LLM 骨干上实现高效多 token 预测（MTP），已被 NeurIPS 2026 接收。该框架用联合 next-token 与 MTP 目标让单一模型同时具备自回归生成与 block-causal drafting，并提供置信度、投机与混合三种解码方式。在 NVIDIA H20 上混合解码于 BitNet b1.58-2B 取得五任务平均 2.2x 加速，1.7B-4B Bonsai 模型为 2.1-2.4x，RTX 3090 与 Jetson Orin 上分别达最高 2.0x 和 MBPP+ 上 3.3x，代码已开源。
推荐理由：论文把多 token 预测与超低比特量化结合，给出跨 GPU 的实测加速比，方法与系统设计都可参考。
论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统，训练图、适配器和优化器留在 CPU，并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护，支持可恢复执行和热节流以作为后台任务运行，在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。
推荐理由：论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法，涉及输入梯度实现、精度选择和端侧个性化工作负载，思路可迁移。
Wei Wang 在 arXiv 发布 FUTRANSFORMER，一个面向 NVIDIA Hopper GPU 的 Llama 风格 Transformer 推理 CUDA 实现，prefill 用 FP8、decode 用 INT4 权重和 INT4 KV-cache，并采用块对角 Hadamard 变换降低缓存量化误差。
推荐理由：论文给出 Llama 推理在 H100 上 FP8 prefill 与 INT4 decode 的具体实现和量化精度代价，数字可核对、方法可参考。
Walter Simoncini 在 arXiv 发布论文，提出免重训练方法把预训练 Transformer 变成可在连续算力预算间自适应的单一模型，核心是对功能单元排序问题做可微松弛，在统一尺度上联合排序每个 MLP 神经元和注意力头。在 22M 到 8B 参数的 27 个视觉与文本 Transformer 编码器上，方法在最高 60% 稀疏度下平滑退化并优于 one-shot 基线；DINOv3 ViT-H+/16 剪枝到 50% 稀疏度移除 427M 参数，ImageNet-1k linear-probing 精度仅降 0.8%；AugReg ViT-B/16 在 60% 稀疏度下于 A100 GPU 上吞吐提升最高 1.80 倍、单查询延迟降低 1.26 倍。
推荐理由：论文给出免重训练的弹性剪枝方法，在27个模型上验证60%稀疏度下的精度与吞吐数据，可复现。
PBH Applied Systems 在 GitHub 发布 quant_eval 公开语料库的推导工具，该语料库对全权重与量化大语言模型在八类 Agent 相关任务上做逐案例行为评测，含配对统计检验和公开 ground truth。仓库只发布推导契约而非评测引擎，通过源文件 SHA-256、build_manifest. 输出摘要构成可核查的完整性链；包含 build_datasets.py 和 make_figures.py 两个脚本，共七个数据集（D0-D7）， deposited on Zenodo（DOI 10.5281/zenodo.22009419），镜像到 Hugging Face 和 Kaggle。
推荐理由：原文公开了从源包推导评测语料的完整校验链和撤回声明，读者可以据此核查量化评测数据是如何生成的。
arXiv 论文（https://arxiv.org/abs/2610.08164）提出免训练的两阶段闭式低秩量化误差补偿框架：Stage 1 以 Fisher 加权非对称目标将各层输出对齐全精度模型，Stage 2 在补偿后模型上做秩约束自然梯度步吸收剩余一阶信号，每个 adapter 只需一次截断 SVD。在 2 bit QuIP# 下，Qwen3-8B 的 WikiText-2 困惑度从 12.43 降至 10.26，Qwen3-4B 从 21.11 降至 13.22；在 C4 上相对最强基线（31%/63%）分别恢复 51% 和 84% 的到 FP16 的差距，并在更高位宽和另一量化器下保持增益。
推荐理由：论文指出既有低秩量化误差补偿的两个共同简化，并用两阶段闭式框架在 2 bit 极端量化下给出可复现的困惑度改进。
arXiv 论文（arXiv:2610.07853）审计 BitNet b1.58、Falcon-E、BitCPM 等三值语言模型的导出管线，发现潜在权重先转 bf16 的流程会翻转部分三值码：已发布检查点中 Falcon-E 与 BitCPM 有 0.83-1.77% 的码不一致，BitNet 2B-4T 为 1.530%。在低学习率微调端点，该导出使 Falcon-E-1B-Base 的 greedy GSM8K strict accuracy 从 58.79% 跌至 0.78%，BitCPM-CANN-0.5B 从 36.13% 跌至 0.39%；直接写入训练量化器的码或微调 bf16 输入两种补救方案均在三个模型上达到 4 点非劣性标准。
推荐理由：论文审计了三家实验室的导出管线，指出 bf16 转换会抵消低学习率微调的代码改动，并验证了两种补救方案。
GIO443 发布 speculative-statecraft 仓库，在 4-64 个 LLM 阵营每回合输出引导 JSON 决策的策略游戏负载上，用目标模型（Qwen2.5-1.5B-Instruct）自身输出训练 51.5M 参数的 EAGLE-1 草稿头，在 RTX 4070 Laptop 8 GB 加 vLLM 0.30.0 上与无投机和 n-gram 投机对比。
推荐理由：原文给出按在飞上下文量判断投机解码何时划算的阈值，以及离线预测接受率的方法，可迁移到其他 vLLM 部署场景。
作者开源 SLM-agent-Lab，用 4 个确定性工具、300 个精确答案任务和 13 类失败分类法评测小型工具调用模型。在 150 任务子集上 Granite 4.0 350M 达 58.0%、Qwen2.5 0.5B 仅 31.3%，多步链式任务两者都接近崩溃（8% 和 4%），OOD 任务使 Granite 从 65.5% 跌至 29.0%。
推荐理由：实测给出 Granite 4.0 350M 与 Qwen2.5 0.5B 的工具调用失败分布，并量化到 int4 时格式保真才是精度下限。
dzaragoza 发布 LLM-benchmark 仓库，配套独立研究 Small Models, Big Claims（DOI: 10.5281/zenodo.22855666），测量在集成 GPU 上经 llama.cpp Vulkan 后端从系统内存运行的小型 instruct 模型。
推荐理由：作者把整套基准流程做成一条命令加两个离线选型页，读者可复用其量化阶梯与读速门槛方法来挑选本地小模型。
作者开源了一个用 QLoRA 在 CUAD（510 份商业合同、35 类条款）上微调 Qwen2.5-7B-Instruct 的项目，覆盖条款分类和有依据的条款问答两项任务，LoRA 适配器（165 MB）已上传 Hugging Face（PimoLee5/qwen2.5-7b-cuad-qlora）。
推荐理由：原文给出基座、3-shot 与微调三组对照的完整指标，并人工审计幻觉标记，可看清微调带来的召回与校准收益及其代价。
作者将开源 TTS 模型 Kokoro-82M 蒸馏为 8.07M 参数的单音色模型 Paradee，参数量减少 10 倍、计算量减少 15 倍。方法先用教师模型合成语料并保留时长、音高、能量和音素特征，分别训练文本侧与解码器后拼接，并量化为 int8；int8 版本仅 8.5 MB，单 CPU 线程下 25 倍实时速度，UTMOS 得分 4.41（教师为 4.52）。
推荐理由：论文给出了蒸馏各阶段、UTMOS 对比和相位问题的排查过程，方法无需对齐学习，可在单 CPU 上复现部署。
arXiv 论文 2610.05685 提出 BreadthKV，研究长链式推理（CoT）解码时在固定内存预算下如何分配 KV 缓存的 token 数量与精度。
推荐理由：论文用 60 题端到端校准决定位宽分配，并给出 AIME 上 91% 对 40% 的触顶率对比，方法与数据都可复现。