新闻、仓库与研究，按时间排列。
zhongkaifu 发布 TensorSharp，一个面向本地 GGUF 模型的 .NET 10 推理引擎，支持 CLI、浏览器聊天和 Ollama/OpenAI 兼容 API，后端覆盖纯 C# CPU、CUDA、Metal 和 Vulkan。能力覆盖文本与推理、多模态输入、嵌入向量、Qwen-Image-2.1 图像生成与遮罩编辑、MiniMax-H3 带音频视频生成，以及含沙箱代码执行的 Agent Skills 和受限子智能体。
推荐理由：原文给出与 llama.cpp 同硬件同文件的逐项对比数据和多后端覆盖说明，读者可以据此评估这个 .NET 本地推理引擎是否适合自己上手。
作者发布了 qwen27-engine，一个专门为 Qwen3.8-27B 和两块 NVIDIA RTX 5060 Ti 16 GB（Windows、sm_120）从零编写的推理引擎，提供 OpenAI 兼容 API，支持流式输出、工具调用、推理、图像输入和投机解码。在同一台 PC 上，其解码比调优过的 llama.cpp 构建快 1.4-1.7 倍，读提示词快 1.7-2.4 倍，重放真实 Qwen Code 会话耗时约一半；q8_0 KV 缓存下输出分布与 llama.cpp 的平均 KL 散度为 0.0005-0.001。限制包括仅支持 Windows、固定双卡、单请求串行，模型文件来自 ISTA-DASLab 的 GGUF（12.1 GB，1.75-6.5 bit 混合量化），MIT 许可。
推荐理由：作者为单一模型和固定双卡硬件从零写了推理引擎，并附完整的性能对比、精度差异和限制说明，读者可以据此评估本地部署的取舍。
Hugging Face 上发布 abliterated 版 Qwen3.8 Flash Next 的 GSQ-RCO 量化 GGUF（IQ3_XXS 源变体），共 2 个分片合计 83.14 GB，仅支持文本。实测生成速度约 21.13 tokens/s，比未修改的 ISTA IQ3_XXS 快约 31%，下载体积大 9.6%；MMLU 82.68%、GSM8K 86.72%、IFEval 85.16%、HumanEval 66.46%，质量等同尚未证实。仅供研究用途，需保留 Qwen Community License 1.0。
作者在单张 RTX 2080 Ti 22GB 上用 Unsloth UD-IQ4_XS 4-bit 量化实测 Qwen3.6-35B-A3B，HumanEval 全部 164 题 pass@1 达 89.63%（147/164）。随后对自制的 MoE expansion 路由补丁做受控 A/B：在最后 15 层（25–39）每 token 激活 20 个专家而非原生 top-8，无需重训或改文件，pass@1 升至 90.85%（149/164），解码速度从 69 tok/s 降至 56 tok/s（约 -19%）。作者提示 +2 题在 164 题的统计噪声范围内，且用的是原始 HumanEval 而非 EvalPlus，不能与 EvalPlus 榜单直接对比。
推荐理由：作者给出了同机同量化下的受控 A/B 数据和解码速度代价，读者可以据此自行判断该路由补丁是否值得用。
ohdearquant 开源了 lattice，一个面向 Apple Silicon 的纯 Rust 推理引擎，无需 ONNX、Python 或 CUDA，支持 Qwen3.5-0.8B/2B、Qwen3.6-27B（原生 Q4）及 Qwen3.6-35B-A3B（MoE，仅加载器级）等生成模型和 9 个 embedding 模型，提供 Metal GPU 加速、Q8/Q4/QuaRot 量化、LoRA 训练与 OpenAI 兼容 API，并附带原生 macOS 应用 Lattice Studio。
UniPlag & ICG Enterprise v0.4.1 发布，这是一个面向高校、论文评审委员会和科研出版机构的学术验证平台，针对 LLM 生成文本和缺乏原创贡献的拼凑写作。平台采用四指标评估模型：文本原创性阈值 ≥ 70%、抄袭度 < 20%、AI 生成概率 < 25%、智力贡献图谱（ICG v0.4）≥ 45%，并含 Cheating Guard 与 Source Finder 管线。用户可从 Releases 下载 UniPlag_Server.exe（默认端口 7932），可选安装 Ollama 并自动拉取 qwen2.5:1.5b / llama3.2 模型进行深度神经分析。
开源项目 PULSAR-ASM 用 5,268 字节的纯 x86-64 机器码在 CPU 上直接驱动 Google Gemma-2B-IT（20 亿参数 FP16），零 C 运行时库、零第三方依赖、零 Python。引擎对 4.67 GB 权重实现 4.04~4.41 Tokens/sec 推理（较标准 CPU 框架提速 300%~400%），频谱剪裁实验达 7.32 Tokens/sec，需 AVX2/F16C 指令集与 8 GB RAM。项目还包含 18 层 latent 遥测与因果幻觉诊断功能，可在 Layer 15 定位幻觉发生层，并计划平移至 ARM Cortex-M 与 RISC-V。
开源工具 Soup 发布，用一条命令和一份 YAML 配置完成 LLM 微调与后训练，支持 SFT、DPO、GRPO 等任务，无需 SSH 或云服务。其层流式（layer streaming）功能在 RTX 3050 Laptop 4 GB 上以 QLoRA 训练 Llama-3.1-8B-Instruct，峰值显存 3.32 GB、119.6 tok/s，并在 H100 上以 113.00 tok/s 独立复现（均为 v0.72.2 测量，重测待 issue #361）。v0.75.0 修复 MLX 后端静默丢弃已验证配置项的问题，未知配置键现在会报错拒绝加载，验证损失开始被记录和展示，并要求 torch>=2.6.0。
推荐理由：原文给出层流式训练的实测数据与位精确性验证方法，读者可据此评估在 4 GB 显卡上微调 8B 模型的可行性。
Methane 在 Hugging Face 发布 Qwen3.8-Flash-Next 的去对齐版 GSQ-RCO 量化 GGUF 模型，保留 1,078 个 ISTA 张量，并对来自 windowsxp811203 去对齐检查点的 146 个 BF16 张量重新量化。实测生成速度约 31 tok/s，比未改动的 ISTA IQ3_XXS 快约 31%，下载体积大 9.6%；MMLU 82.68%、GSM8K 86.72%、strict IFEval 85.16%、raw HumanEval 66.46%，除编码外三任务平均变化 −0.66 个百分点，等质量尚未证实。
推荐理由：作者给出了与原 ISTA 量化的速度和四项基准对比数据，读者可据此评估这个去对齐量化版本的实际代价。
mradermacher 在 Hugging Face 上发布 Swift-1.5-Qwen3.8-27B-Abliterated 的 i1-GGUF 量化模型，提供从 i1-Q2_K（11.0 GB）到 i1-IQ3_M（12.9 GB）等多种 imatrix 量化版本，并附 0.1 GB 的 imatrix 文件供用户自行量化。该模型为视觉模型，mmproj 文件放在 static 仓库中。
mcampa 发布的开源项目 llm-router 是面向 DGX Spark 的本地 LLM 网关，在端口 4000 提供 OpenAI 兼容端点，路由到自托管 vLLM 模型与 DeepSeek 云 API，并使用 Postgres 存储模型、Redis 做缓存。自托管侧基于 Eugr 的 B12x vLLM 栈运行 Qwen3.8-Flash-Next，默认启用 qwen38-fast（INT4 量化，125B 总参数，每 token 约 5/10 专家，磁盘占用约 119 GiB，解码比完整模型快约 33%），NVFP4 完整版 qwen38 已在 docker-compose.yml 中注释备用。deepseek 路由在云端 API 失败时可回退到本地 vLLM，失败后冷却 300 秒。
astigmatism 在 GitHub 发布 LLM Router，一个兼容 OpenAI 与 Ollama API 的推理路由器，生产部署基于 llama.cpp，Ollama 仍为受支持的后端。其主目录常驻两个模型：coding qwen3.8-27b-q8_0（160K 上下文）与 everyday qwen3.8-27b-abliterated-q6_k（128K 上下文）。路由器支持流式响应、请求历史持久化、推理遥测，并提供独立端口的管理门户，运行于 Node.js 22 且无运行时 npm 依赖。
DynaLM 开源了一个无需 GPU 和 Python 的 C++20 大模型推理引擎，可在普通 CPU 上运行 Llama、Qwen、Gemma、Phi、Mistral、Granite 及 Mixtral 等 MoE 模型，支持 GGUF、Hugging Face SafeTensors 和 GPTQ/AWQ 格式，提供 OpenAI 兼容 API 服务器，采用 Apache-2.0 许可。
推荐理由：原文给出了与 llama.cpp 的吞吐对比和并发首 token 延迟数据，读者可以据此评估这个纯 CPU 推理引擎是否适合多用户场景。
naso-lang 在 GitHub 开源 naso-llm，一个可离线运行的浏览器聊天机器人，使用 SmolLM2-135M-Instruct，其 int8 权重量化由 Naso 形式化验证编译器生成，无需服务器、API key 或运行时构建。首次加载下载 269 MB 检查点后由 service worker 缓存，断网可用；2 核 CPU 上解码约 6.5 tokens/s。项目提供 17 项验证检查，包括与 Rust tokenizers 的 27/27 分词一致、基于 NumPy 独立实现的 forward 误差 max|Δ| 1.03e-5、106M 权重上 int8 误差界 |W−W′|≤scale/2 零违例、KV cache 与全序列 bit-identical 等。
推荐理由：项目用形式化验证的编译器生成 int8 量化内核，并给出 17 项独立校验和逐项误差数据，可复用的验证思路比较少见。
GitHub 仓库 ebowh/hf.cpu 是一个用 C99 编写的纯 CPU LLM 推理引擎，面向 AVX2 笔记本等小型内存受限机器，可读取 llama.cpp 和 ik_llama.cpp 的 GGUF 文件，仅通过 stdin/stdout/stderr 通信，适合由管道或 Emacs 驱动。项目目前处于 phase 0 基础阶段，尚无推理功能，已实现并测试的内容包括带故障注入的内存分配检查、Linux/macOS 平台层、经 fuzz 测试的 GGUF v2/v3 读取器，以及支持 18 种类型的反量化器。
gmlx 是一个面向 Apple Silicon 的本地推理平台，用 mlx-kquant 的 Metal 内核原样运行社区 K-quant 和 IQ-quant GGUF 文件，支持终端/浏览器聊天、OpenAI 与 Anthropic 兼容 API、语音、LoRA 微调和连接 pi 编码智能体。在 M5 Max 上同一文件 prefill 速度在所有基准模型和各上下文深度均快于 llama.cpp，双引擎开启 speculative decoding 后解码也更快，长上下文差距最大；MoE 模型超出内存时可从磁盘流式加载专家。需 macOS 26.2+，可经 brew install asher/gmlx/gmlx 安装，示例模型 Qwen3.8-27B UD-Q6_K 为 20.5 GB 下载。
推荐理由：原文给出了与 llama.cpp 的 prefill 和解码对比数据，并说明长上下文差距最大，读者可据此评估是否换用。
Hugging Face 上线 mradermacher 制作的 Swift-1.5-Qwen3.8-27B-Abliterated GGUF 量化模型仓库。该模型基于 Qwen3.8 架构，参数规模 27B，采用 abliterated 去对齐处理，以 GGUF 格式提供，便于本地部署使用。
作者在一台 Mac Studio（M5 Ultra，256 GB 统一内存）上同时驻留四个开源模型，按大模型/小文本/小视觉/决策四槽位分工处理真实 Agent 工作。工作档为 Qwen3.8 Flash Next（99 GB）+ Gemma 4 26B 4-bit + Qwen 3.6 35B-A3B + Clef-Flash 9B，留 82 GB 给上下文；智能档为 DeepSeek V4 Flash 4-bit（常驻 128 GB）。实测吞吐：Qwen3.8 Flash Next 生成约 51-58 tok/s（投机解码草稿接受率 55-65%），DeepSeek V4 Flash 生成 27-31 tok/s。
推荐理由：作者实测了四模型共驻一台 Mac Studio 的内存预算与吞吐数据，还给出本地模型尚不能胜任规划角色的具体分工方案。
qhy991 在 GitHub 发布 metal-kernelwiki，一个面向 Apple Silicon、Metal、MLX/MLX-LM 和 llama.cpp 的 LLM 部署与 kernel 优化知识库，截至 2026-10-07 含 21 个主题页、77 个来源条目，其中 2 项为本地实验记录。仓库提供纯 Python 3.9+ 标准库的中英文检索命令，支持 --engine/--type/--tag/--symptom 过滤，并可通过 BW1100 KernelWiki 方式安装为独立技能；仓库同时声明本地记录未随公开仓库提供，外部读者不能独立复验原运行。
推荐理由：仓库把优化机制按适用条件与代价交换组织，并明确标注本地观测的验证边界，方便读者按部署问题检索对应方案。
PBH Applied Systems 在 GitHub 发布 quant_eval 公开语料库的推导工具，该语料库对全权重与量化大语言模型在八类 Agent 相关任务上做逐案例行为评测，含配对统计检验和公开 ground truth。仓库只发布推导契约而非评测引擎，通过源文件 SHA-256、build_manifest. 输出摘要构成可核查的完整性链；包含 build_datasets.py 和 make_figures.py 两个脚本，共七个数据集（D0-D7）， deposited on Zenodo（DOI 10.5281/zenodo.22009419），镜像到 Hugging Face 和 Kaggle。
推荐理由：原文公开了从源包推导评测语料的完整校验链和撤回声明，读者可以据此核查量化评测数据是如何生成的。
hcflabs 在 GitHub 发布 K8s-GLM-5.3-Flash-EXL3-2x-DGX-Sparks-TensorFold，用 Helm chart 加 Ansible 层，通过 TensorFold v0.6.0 在两台 NVIDIA DGX Spark（GB10、arm64）节点上以张量并行方式部署 Mia-AiLab/GLM-5.3-Flash-EXL3-4bpw-TensorFold，配置为 TP=2、1M token 上下文、EXL3 4bpw、FP8 KV cache 和 DFlash2 投机解码，接入已有 k3s 集群。
一位 Reddit 用户用同一句简单提示词，测试 3 个 Qwen 模型在 Android 上构建天气应用的表现，分别是 Qwen flash、Qwen3 S（Q3_S）和 Qwen 3.8 27b 的 Q4_XS、Q3_XXS 量化版本，结果以截图形式发布在 r/LocalLLaMA。
llostinthesauce 在 GitHub 开源了 local-llm-benchmarking-public，一个面向 Apple Silicon 的本地 LLM 服务、清点与基准测试控制面板，自动发现磁盘上的模型并在固定回环端口启动 mlx_lm、mlx_vlm 或 llama.cpp。内置覆盖工具调用、多步 Agent 任务、长上下文等评测套件，附 Qwen3.8-27B 九种量化配置对比：混合精度 4-bit MLX 版以 16.7 GB 磁盘占用达到 0.987 能力分和 16.8 tok/s，8-bit 速度减半但无可见能力提升，64 GB 内存的实用上下文上限为 65,536 tokens。
推荐理由：这是一个完整开源的本地 LLM 基准工具，附带了量化对比数据和可复现方法，读者可以照着在自己的 Mac 上复测。
GitHub 仓库 Arashika-DS/neobank-semantic-fsm-router-onnx 是一个面向移动银行应用的非生成式 NLU 流水线，可将波斯语对话命令转换为可直接执行的 JSON 载荷。它基于 ParsBERT 蒸馏 Transformer 联合分类意图与槽位，导出 ONNX 并动态量化到 INT8，在 CPU 上实现 10–15ms 推理延迟。系统还用 FSM 跟踪多轮对话状态，并通过自由能量 OOD 门控拒绝越狱与对抗输入，消除核心金融接口上的 LLM 幻觉风险。
arXiv 论文（https://arxiv.org/abs/2610.08164）提出免训练的两阶段闭式低秩量化误差补偿框架：Stage 1 以 Fisher 加权非对称目标将各层输出对齐全精度模型，Stage 2 在补偿后模型上做秩约束自然梯度步吸收剩余一阶信号，每个 adapter 只需一次截断 SVD。在 2 bit QuIP# 下，Qwen3-8B 的 WikiText-2 困惑度从 12.43 降至 10.26，Qwen3-4B 从 21.11 降至 13.22；在 C4 上相对最强基线（31%/63%）分别恢复 51% 和 84% 的到 FP16 的差距，并在更高位宽和另一量化器下保持增益。
推荐理由：论文指出既有低秩量化误差补偿的两个共同简化，并用两阶段闭式框架在 2 bit 极端量化下给出可复现的困惑度改进。
MemFLoRA 是一种以“激活记忆下限”准则为核心的低秩 CNN 适配器，冻结下投影、训练尺度匹配的上投影，使反向计算不依赖全宽层输入。在 3 个 HAR 数据集和 2 个 CNN 主干上，相比全量微调，其节省激活内存降低 98.5-98.7%，峰值训练状态内存降低 94.9-97.3%，且持平或超过 CNN PEFT 基线。该论文已被 ASP-DAC 2027 接收。
vLLM 项目旗下量化工具 LLM Compressor 发布一批更新：GPTQ 换用 Triton 内核后较原 eager 路径快约 15 倍，支持同形状层批处理（MoE 负载端到端约 30 倍），并扩展 FP4 的 MSE 与 iMatrix observer。Red Hat AI 团队用该工具产出多款生产级量化模型，包括 GLM-5.3 的 NVFP4/MXFP4、Qwen3.8-27B 的 INT4/NVFP4/MXFP4、Qwen3.8-2.4T-A95B 的 NVFP4 及 REAP 剪枝变体、Kimi-K3 的 NVFP4 与 FP8 等；GLM-5.2 NVFP4+FP8 混合精度在 DDP + disk offloading 下 2 小时内完成，模型体积缩减超 70%。
blaj 在 Hugging Face 发布 Qwen-Image-2.1 Uncensored 的 OpenVINO INT4 量化版，将 abliterated 的 Qwen3-VL 文本编码器替换进原模型，总大小约 13 GB，可在 Intel Arc iGPU 上运行文生图。在 Core Ultra 7 258V 上 512x512、10 步生成耗时 12.9 秒（1.29 秒/步），峰值内存 7.1 GB；图像编辑（i2i）在 30 GB 内存下会耗尽内存，需 diffusers、optimum-intel 主分支及 OpenVINO 2026.5.0 nightly。
Reddit 用户在 4 卡混合主机（3x P102-100 + RTX 3060 12GB）上对比 ik_llama.cpp 与 mainline llama.cpp，运行 Qwen 3.8 Flash-Next 177B（IQ3_XXS，约 89 GB，35 层卸载 GPU、13 层走 AVX-512 CPU、32k context）。mainline 达到 prompt eval 19.70 tokens/sec、生成 10.86 tokens/sec，ik_llama.cpp 分别只有 5.48 和 8.43 tokens/sec，且未启用 CUDA graphs。
一位 r/LocalLLaMA 用户称，Qwen Flash Next 在 iq4_xs 量化下虽快且一次性任务和 benchmark 表现好，但更常不遵循指令、幻觉增多、token 用量低于 27B，长期智能体助手工作不如 Qwen3.8 27B。其在 Strata 上未遇到循环问题，最终决定换回 Qwen3.8 27B。
一位用户在 r/LocalLLaMA 询问能否在 16GB VRAM 和 32GB RAM 上运行更高量化的 Swift 1.5 flash iq3xxs。其目前用 strata 运行 Swift 1.5 FN iq2xs，速度平均 50tps、pp 800t/s，峰值可达 73tps，希望提高量化以降低 KLD、提升 agentic coding 准确度，并征求他人的运行配置。
SpookyJumpyBeans 在 GitHub 发布 nanoinfer，一个从零编写的 LLM 推理引擎，目标模型为 Qwen2.5-0.5B-Instruct，直接加载原始 .safetensors，运行时仅依赖 numpy，tokenizer、前向传播、KV cache、采样和量化均为自行实现。分八个阶段对照 transformers 和 llama.cpp 逐项验证，包括 KV cache 带来 3.5 倍加速、INT8 量化仅 +0.17% 困惑度、Rust AVX2 内核比 OpenBLAS 快 22%，以及 f32 解码与 llama.cpp 基本持平；并配有可视化页面展示每步候选 token 和注意力。
推荐理由：作者从零实现了一个推理引擎并用逐阶段基准量化每一步的收益，读者可以从中借鉴带宽瓶颈、量化和内核优化的可迁移测量方法。
Bullobis 在 GitHub 发布 Kevrai Omni，一个 Electron + Python（FastAPI）sidecar 的桌面应用，集成 LLM / TTS / 图像 / 视频 / 3D / 音频 / 超分辨率的本地推理，采用 llama.cpp + MNN 双引擎，数据默认保留本机、不依赖远程服务。内置模型市场、硬件检测与量化档推荐、LTX-2.5 文生视频 / 图生视频、ReAct 风格 AI Agent 助手、环境管理、数据备份迁移与中英双语界面；支持 Windows / macOS / Linux 打包与从源码运行（Node.js 22+、Python 3.11+）。
推荐理由：README完整列出功能、架构、数据迁移路径与快捷键，读者可据此评估这个本地AI工作站是否覆盖自己的部署需求。
Arianna Method 发布 notorch，一个纯 C 编写、约 6400 行、仅两个文件的神经网络框架，可训练模型并直接推理 llama.cpp 格式的 GGUF 模型，无需 Python、PyTorch 或 llama.cpp。支持 llama、mistral3、qwen2/qwen3、gemma3、olmoe、mamba 等架构，Q4_K 权重保持打包不展开；在 i5-8500T 上与 llama.cpp 同权重温度 0 对照，六个文件中五个逐字节一致，decode 在参考的 1.09x 到 1.14x 内，Mac Mini M4 Pro 可跑 Mistral-Small-24B Q4_K_M 约 13.5 tok/s。
john-walks-slow 发布 token-speed-patrol，用 GitHub Actions 定时对 LLM API 服务商测速（TTFT、TPS、思考时长、成功率），结果以 JSONL 提交回仓库并通过 GitHub Pages 发布公开看板，零服务器零成本。支持动态模型发现、连续失败 5 次自动黑名单、OpenCode Zen 免费模型直连握手，默认配置 7 个免费端点（Groq、NVIDIA NIM、Cloudflare Workers AI、OpenRouter、ModelScope、Cerebras、OpenCode Zen），密钥只经 Secret 注入不落盘。
推荐理由：把 LLM API 测速跑在 GitHub Actions 上并自动发布看板，给出了可直接复用的零成本巡检方案和免费端点限额数据。
cajeta-llm 是 cajeta 生态的 decoder-only LLM 推理引擎，从 Hugging Face safetensors 和 GGUF 加载 Llama 系开源权重，基于 cajeta.math.Tensor 与 cajeta.xpu 端到端实现，不复用 llama.cpp 代码。2026-10-01 在 RTX 4090 上实测 Llama-3.1-8B-Instruct Q4_K_M：decode 约 165 tokens/秒、接近 llama.cpp，prefill 3.7k tokens/秒仍待优化；目标支持 Llama 3.x、Mistral、Qwen2/3、Gemma 3。
defai-digital 开源的 AX Engine 是面向 Apple Silicon 的本地推理运行时，首发优化目标是 Qwen 3.8 27B AXQ MXFP4 MTP 包，可通过 Homebrew 或 pip 安装并提供 OpenAI 兼容端点。README 附带对齐的证据体系：在 Mac mini M4 Pro 64 GB 上产品路径 MTP 解码 31.05 tok/s，M5 Max 128 GB 上 76.9 tok/s 解码、795.3 tok/s 预填充，并给出带宽利用率归因；8 小时 endurance 测试中 437/437 请求成功，作者明确说明这只是短时证据，72 小时认证仍未完成。
GitHub 开源项目 Smart AI Studio 是一款本地 AI 桌面应用，基于 1.58-Bit BitLinear 量化与 Apple Silicon MLX 加速，可在 16GB Mac 上以约 5.8 GB VRAM 运行 27.4B 的 Ternary Bonsai 模型，实现亚秒级生成。应用内置 Qwen 3.8 Flash（3.8B）与 Dolphin Vision 2.9（7.0B）三个互斥切换的本地模型后端，支持 Token 实时流式输出、AI Canvas、RLVR 沙箱验证、EWC-LoRA 睡眠巩固及 MCP 工具调用，上下文最高可扩展至 256K tokens。
研究者提出 TRACE，一个面向 MoE 语言模型 RL 训练的 FP4 量化框架，用 rollout 侧量化结果引导训练侧 FP4 舍入决策，直接缩小训练与 rollout 两条量化路径的差异。它还采用选择性保留尾数与 scale 信息的量化缓存方案以降低存储和通信开销。在四个大规模 MoE 模型的推理、编码和长程 RL 任务上，TRACE 实现 FP4 权重/激活与 FP4 KV-cache 联合 rollout，RL 性能与 BF16 rollout 相当，rollout 最高加速 5.4x，最终 FP4 性能优于 BF16 训练策略的事后 FP4 量化。
一项 arXiv 研究比较了 Llama-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct 的 8-bit 与 4-bit 量化版本在二十个确定性工具使用任务、五个提示词上的故障恢复表现。8-bit 与 4-bit 的恢复差异随提示词和评测目标改变方向：Llama 在同提示词下双版本无故障通过的任务上差异为 0 到 +20.2 个百分点，Qwen 为 -50.0 到 +35.0 个百分点。研究指出单一提示词、单一任务集和单一评分策略无法得出关于量化智能体稳健性的稳定结论。