按兴趣浏览，循来源深入。
/u/iam31337 在 RTX PRO 4000 Blackwell SFF（24 GB，工厂 70 W 无辅助供电）上用修改版 VBIOS 将功率提至 120 W，Qwen3.8 27B 生成从 35.04 提升到 58.53 tok/s（+67%），Qwen3.6 35B A3B 显存 +33.3% 时生成 +19.8%。158 次请求、每配置仅 1-3 次，两模型量化与投机解码设置不同，非严格受控对比；作者提醒 120 W 超出 PCIe 75 W 槽位预算，属实验性结果。全文与 CSV 见 https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark
推荐理由：作者实测同一款卡上两个模型的功耗超频收益差异，给出具体功率与频率参数，并坦承样本量与量化设置的局限。
作者在 M3 Max 36GB 上用统一协议实测 Kapitsa 0.2.12、oMLX 0.7.2、Rapid-MLX 0.16.8、Splash 1.4.0、MTPLX 2.12.2 五个引擎。稠密 Qwen3.8-27B-4bit 上 Kapitsa 41.3 tok/s 领先，oMLX 34.1；MoE Qwen3.6-35B-A3B 上 oMLX 122.9 与 Kapitsa 122.7 打平；Flint 40B-A2.5B 在 36GB 上由 Kapitsa 跑出 134.2 tok/s。oMLX 稠密从 17.9 提到 34.1 主要归功于 oQ4e-mtp 检查点加 Lightning MTP 的投机配置而非引擎本身；MTP 接受率稠密 75-78%、MoE 81-85%。
推荐理由：同一台 Mac 上五个推理引擎用统一协议实测，还标明各引擎权重与投机配置差异，数字可直接对照自家硬件选型。
作者在相同的 Opus 5.5 规划、3 worker 并行设置下，用 llama.cpp Q8_0 在 RTX PRO 6000 Blackwell 96GB 上实测三个小型 MoE 编码同一个 Three.js 万圣节连锁反应场景。Flint 40B-A2.5B 综合最优：墙钟 7:36、修复 6 次、Opus 花费 $0.41；Nemotron 3.5 Lightning 解码最快但生成约 5 倍 token、修复 16 次、花费 $0.95，其编辑成功率仅约 17%。作者指出换 worker 模型使规划者账单从 $0.41 涨到 $0.95，裸 tok/s 并不决定总耗时，且三者在单轮内都没产出完全可用的场景。
推荐理由：同一任务同机实测三个小型 MoE 当编码 worker，给出 token 消耗与 Opus 花费对比，显示编辑成功率比裸速度更影响实际耗时。
作者 /u/Joralk_ 自建 harness，在 2× RTX 5080 上以统一采样配置实测 8 个本地 GGUF 模型的工具调用、代码与 agent 任务，每任务跑 3 个种子并统计均值与标准差。结果显示 125B 的 Qwen3.8-Flash-Next 并非榜首，35B MiniCPM-V-4.7 与 27B Qwen3.8 在 agent 任务上与其持平，工具调用可靠性比模型规模更关键；开启 thinking 模式使 27B 代码分从 0.79 升至 0.93、agent 分从 0.90 升至 0.96，但延迟从 36 ms 增至 629 ms 且每调用多花约 253 个中位 token。
推荐理由：作者自建 harness 实测 8 个本地 GGUF 模型的工具调用与 agent 编码表现，还给出 thinking 模式开关的量化代价，方法可复用。
/u/SamSausages 因 Intel B65 几乎没有公开跑分，自建 4x B65 平台，用 vLLM 对 Flash-Next W4A16 和 Qwen3.8-27B 的 INT4、FP8、BF16 等配置做长上下文吞吐扫描，覆盖 0 到 200K 上下文和 1 到 16 并发请求。数据显示 Flash-Next 开启 MTP-3 后单请求吞吐约翻倍（0 上下文 84.5 对 42.7 tokens/sec），200K 上下文下降到 45.8；Qwen3.8-27B INT4 在 4 卡下 8 并发可达 468.2 tokens/sec。
推荐理由：作者自建 4x Intel B65 平台，实测多款模型在 16K 到 200K 上下文下的吞吐数据，并给出 MTP 开关与不同精度的对照。
作者以 HF transformers 的 F16 参考输出为基准，在 Neoverse-N1 ARM 和 AVX2 x86 上实测低比特 GGUF 的正确性与速度。BitNet b1.58 2B4T 的 bitnet.cpp main（0b341e5）在 x86 上困惑度约为参考的 6 倍、ARM 上输出 ?，#588 激活函数修复加 isHuangXin/llama.cpp#2 可解决，#642 第三版已同时修复两个平台；Bonsai/Ternary-Bonsai 1.7B 在 llama.cpp、Prism fork 和 ik_llama.cpp 中均与参考一致，27B 在 Prism 与 ik_llama.cpp 结果一致。
推荐理由：作者用困惑度和 KL 对照参考实现逐项验证低比特模型输出正确性，并给出各运行时的实测速度数据，方法可复用。
/u/HauntingMoment 在 r/LocalLLaMA 报告，单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身，各 harness 约 25-30% 的调用用于读文件，工具使用更多反映系统提示词而非模型；OpenHands 因默认硬编码 temperature=0.0 最稳定，但同一任务 20 次试验的通过率仍在不同任务间大幅波动。
推荐理由：作者用多 harness 对照实测定位了小模型 agent 波动的来源，并给出约 40 行正则归一化工具输出这一可复用的降噪方法。
作者在一张 RX 9060 XT（16GB）上用五项编码任务实测十个模型，每轮只给 spec 文件，需自行产出 solution.py 和 test_solution.py 并跑测试，由模型看不到的 checker 评分，单格上限 1750 秒。deepseek-v4.1-flash 云端 API 与 Qwen3.8-27B UD-IQ4_XS+MTP（kvstream fork）均 5/5，前者 236 秒 43k tokens，后者 94 分钟 185k tokens；其余本地模型多在 4/5 或更低，c4、c5 是主要分水岭，失败集中在 tie-break 规则、嵌套组解析和用 re 回溯导致超时或内存暴涨。
推荐理由：作者自建带盲测 checker 和性能门槛的编码评测，在 16GB 显卡上实测十个模型，失败原因逐个拆到具体规则和实现细节。
Reddit 用户 /u/Aroochacha 在自己的 4x DGX Spark 上复测 DeepSeek-V4.1-Flash，并与 Wccftech 报道的 Patrick Moorhead 结果对比。他指出 Wccftech 所列 476 GB 内存占用实为磁盘上的 476 GiB（511 GB），模型权重本身 511 GB，实际只能用每台 Spark 约 80%-92% 的内存，模型无法完整驻留内存，需用 SGLang TP4 加从各节点本地 NVMe 流式读取的约 196 GB Engram 表（带约 4 GB row cache）才能跑起来。
推荐理由：作者在自建 4x DGX Spark 上复测 DeepSeek V4.1 Flash，给出逐档 prompt 的完整数据，并指出 Wccftech 把磁盘占用误报为内存需求。
作者在 RTX Pro 6000 Blackwell 上对比 Ninfer6000、vLLM（NVFP4）与 llama.cpp（Q4_K_XL）运行 Qwen3.8-Flash-Next 的表现。Ninfer6000 平均 decode 238 tok/s，约为 vLLM 的 1.59 倍、llama.cpp 的 2.21 倍，但 prefill 低于 vLLM（约 10k 对 16k tok/s）；BFCL v4、IFEval、MMLU-Pro、HumanEval+、MBPP+、Arena-Hard、RULER 等基准三者基本持平。
推荐理由：作者在 RTX Pro 6000 上实测三套引擎跑 Qwen3.8-Flash-Next 的吞吐与基准数据，并给出真实使用中工具调用异常的细节。
/u/isoos 与朋友发布了自托管模型的首轮往返翻译基准结果，涵盖 8 个语言对、12 条测试提示词，用嵌入向量距离打分并惩罚不一致与指令遵循错误，测试了 15 个模型的不同量化版本，结果见 selfhostedintelligence.com。观察包括：16GB VRAM 足以自动化翻译；推理模式对 Qwen 模型提升巨大；大型 MoE 模型最低量化档与上一档差距明显；abliteration（huihui quants）对大模型通用能力的影响远小于小型稠密模型。测试在 1-2 台 Strix Halo 上运行。
推荐理由：实测覆盖 15 个模型不同量化版本，并给出量化层级与 abliteration 影响的具体观察，可按硬件条件选型。
Reddit 用户 /u/Tx8aker 对 AMD MI350P 与 RTX Pro 6000 (Blackwell) 跑 Qwen3.8-27B 推理对比，称 MI350P 开箱表现极差，经内核与调优优化后性能提升超过 2 倍。在 3k 输入 8 并发、50k 输入 20 并发、200k 单用户三档冷启动测试中，MI350P 输出吞吐分别为 889/130.6/79.8 tok/s，对 RTX Pro 6000 的 596/50.4/45.1 tok/s 达 1.49x/2.59x/1.77x，TTFT 也全面更快；作者指出 MI350P 显存利用率仅解锁 50%，仍有提升空间。
推荐理由：作者实测前先对 MI350P 做了内核调优才跑分，并给出三档输入长度的完整数据，比开箱对比更能反映真实差距。
Reddit 用户 /u/FeydRowan 实测 Qwen3.8-27B 从 UD-Q4_K_XL 到 Q8_0 的五个量化版本，发现它们在 GSM8K、MMLU-Pro 和 IFEval 上差距均在 ±2 分内，而自建的 112 次运行 agentic 编码基准（隐藏测试、AST 注入 bug）拉开差距：27B NVFP4 解题 77%，Flash-Next NVFP4 达 98%。SWE-rebench 交叉验证趋势一致（69% vs 82%，McNemar p≈0.007），OpenCode 等测试框架的选择对结果影响也很大，Flash-Next 约 3-bit 的 Q3 版本可解决 12 项区分性任务中的 11 项。
推荐理由：作者用自建、无污染的 agentic 编码基准区分了标准评测拉不开的量化差距，方法与数据都可复用。
/u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版（ISTA-DASLab GSQ-RCO GGUF）在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件，11 分钟拿到 100% 得分，而 Claude Code 同任务同分但耗时 14 分钟；作者更正原标题未说明这是面向日常任务的基准，不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘，IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49（16 分钟）、opencode 1.18.29 得 46/49（11 分钟）、dsh 0.2.0-rc.2 得 47/49（11 分钟）。
推荐理由：作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时，并给出可复现的完整部署配置。
作者在单张 RTX 2080 Ti 22GB 上用 Unsloth UD-IQ4_XS 4-bit 量化实测 Qwen3.6-35B-A3B，HumanEval 全部 164 题 pass@1 达 89.63%（147/164）。随后对自制的 MoE expansion 路由补丁做受控 A/B：在最后 15 层（25–39）每 token 激活 20 个专家而非原生 top-8，无需重训或改文件，pass@1 升至 90.85%（149/164），解码速度从 69 tok/s 降至 56 tok/s（约 -19%）。作者提示 +2 题在 164 题的统计噪声范围内，且用的是原始 HumanEval 而非 EvalPlus，不能与 EvalPlus 榜单直接对比。
推荐理由：作者给出了同机同量化下的受控 A/B 数据和解码速度代价，读者可以据此自行判断该路由补丁是否值得用。
DynamicTune 通过闭式权重手术将 4B 教师模型的轨迹动态注入 Qwen3.5-0.8B，无需反向传播和训练 token，在约 12 分钟内于 8GB AMD RX 580 上完成。
推荐理由：原文给出第三方在 NVIDIA L4 上用官方 lm_eval 复测的完整分数与统计显著性，读者可自行核对 0.8B 超越 2B 的结论。
ggml-org/llama.cpp 收到编号 #29869 的 Pull Request，为 Metal 后端加入 few-row MMA matmul 与批量拷贝以加速推测解码。
推荐理由：原文给出了同一环境下 PR 前后 DFlash2 推测解码的 decode tok/s 对照，读者可以据此评估该 Metal 优化在不同任务下的实际收益。
作者在 36 GB M3 Max MacBook Pro 上实测 oMLX 0.7.0、Rapid-MLX 0.15.5、Splash 1.2.1 与 MTPLX 2.12.2 四款推理引擎，测试 Qwen3.8-27B-4bit 与 Qwen3.6-35B-A3B-4bit。
推荐理由：作者在同一台 M3 Max 上用统一流程实测四款 MLX 推理引擎，还指出 KV cache 跨重启保留会误导二次跑分。
作者在 GTX 1660 SUPER 6GB 上用 qwen3-1.7b、qwen2.5-coder-1.5b、llama-3.2-1b、smollm2-360m 四个 GGUF 模型搭建"写契约-写测试-写代码-修复"流水线，6 个编码任务共 785 次调用。
推荐理由：作者用已知正确解法检验小模型自写测试，并修正了统计口径，给出了可复现的流水线与仓库。
/u/dh7net 发布自建基准 airbench.ai 榜单，用真实任务（数学、视觉、电脑操作、编码）实测本地模型与 harness 搭配的能力和速度，参考基准为 Claude Code Opus 5.5 的 100%（14 分 26 秒），本地 zcode/4xRTX6k/glm-5.3-flash-NVFP4 同样可达 100%（31 分 13 秒）。
推荐理由：作者用自建基准实测了多组模型与 harness 的本地搭配，给出同一模型在不同 harness 下得分差距可达 22% 到 96% 的数据。