跳到正文
  1. Reddit · r/LocalLLaMA61

    RTX PRO 4000 Blackwell SFF 120W 超频实测:Qwen3.8 27B 生成提速 67%

    /u/iam31337 在 RTX PRO 4000 Blackwell SFF(24 GB,工厂 70 W 无辅助供电)上用修改版 VBIOS 将功率提至 120 W,Qwen3.8 27B 生成从 35.04 提升到 58.53 tok/s(+67%),Qwen3.6 35B A3B 显存 +33.3% 时生成 +19.8%。158 次请求、每配置仅 1-3 次,两模型量化与投机解码设置不同,非严格受控对比;作者提醒 120 W 超出 PCIe 75 W 槽位预算,属实验性结果。全文与 CSV 见 https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark

    推荐理由:作者实测同一款卡上两个模型的功耗超频收益差异,给出具体功率与频率参数,并坦承样本量与量化设置的局限。

  1. Reddit · r/LocalLLaMA72

    qwen3.8 27B 在韩文 RAG 评测上与 Opus 5.5 基本打平

    作者在 3090 上用 Allganize 韩文 RAG 数据集(300 题、64 份 PDF)实测,qwen3.8 27B 开启 thinking 得 77.3%,Opus 5.5 得 76.6%,McNemar 检验 p=0.82 属于打平。Opus 5.5 的 70 次失败中仅 25 次是模型问题,22 次源于无文本层的扫描页,作者认为瓶颈在 PDF 解析而非模型;韩文形态学分词器把 BM25 的 hit@5 从 56% 提到 80%,gpt-oss 20B 在把 token 上限从 1024 提到 8192 后从 57.5% 升至 69.6%。

    推荐理由:作者用带标准答案的韩文 RAG 数据集实测并给出 McNemar 检验和失败归因,还指出 PDF 解析而非模型才是瓶颈。

  1. Reddit · r/LocalLLaMA62

    Intel Arc Pro B65 几乎没有跑分数据,作者自建 4x 平台实测长上下文吞吐

    /u/SamSausages 因 Intel B65 几乎没有公开跑分,自建 4x B65 平台,用 vLLM 对 Flash-Next W4A16 和 Qwen3.8-27B 的 INT4、FP8、BF16 等配置做长上下文吞吐扫描,覆盖 0 到 200K 上下文和 1 到 16 并发请求。数据显示 Flash-Next 开启 MTP-3 后单请求吞吐约翻倍(0 上下文 84.5 对 42.7 tokens/sec),200K 上下文下降到 45.8;Qwen3.8-27B INT4 在 4 卡下 8 并发可达 468.2 tokens/sec。

    推荐理由:作者自建 4x Intel B65 平台,实测多款模型在 16K 到 200K 上下文下的吞吐数据,并给出 MTP 开关与不同精度的对照。

  1. GitHub · 灵魂体仓库67

    kevinelong/local-llm-lab:64GB DDR5 + RTX 5070 桌面机本地模型实测笔记本

    kevinelong 在 GitHub 发布 local-llm-lab 仓库,记录在一台 64 GB DDR5、RTX 5070 12 GB 的 Windows 桌面机上对本地大模型的系统实测,并列出 693 项检查的九套基准。最佳配置为 Qwen3.6-35B-A3B Q4_K_M 经 llama.cpp 预配置(context 131,072、--cpu-moe),以及由 Strata 流式从磁盘服务的 Qwen3.8-Flash-Next Q2_0,两者在排名指标 414/414、全部九套 692/693 上逐格持平,后者的 1,100 项知识测试快 31%。

    推荐理由:作者在固定一台桌面机上实测本地模型的匹配度、速度和分数,并公开预测记录与纠错,方法可迁移到自己跑本地评测时参考。

  1. Reddit · r/LocalLLaMA64

    裸 IPython harness 用 Qwen3.5-9B 在 TB-Lite 上追平生产级 coding agent,工具输出归一化消除大部分波动

    /u/HauntingMoment 在 r/LocalLLaMA 报告,单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身,各 harness 约 25-30% 的调用用于读文件,工具使用更多反映系统提示词而非模型;OpenHands 因默认硬编码 temperature=0.0 最稳定,但同一任务 20 次试验的通过率仍在不同任务间大幅波动。

    推荐理由:作者用多 harness 对照实测定位了小模型 agent 波动的来源,并给出约 40 行正则归一化工具输出这一可复用的降噪方法。

  2. Reddit · r/LocalLLaMA63

    Qwen3.8-27B 与 Flash-Next 在消费级硬件上的推理引擎实测与成本对比

    /u/FeydRowan 在 2× RTX 5070 Ti + 96 GB DDR5 上整理了可运行 Qwen3.8-27B 和 Flash-Next(125B MoE、6B 激活)的各推理引擎 decode 速度,区分了本人验证与作者自报数据,capy-flash(DFlash2)在 27B 上达 379 tok/s。文中指出 TP 比层切分更快、drafter 可带来 2–3× 加速、单模型内核在 batch 1 下比通用引擎快 2–6×;按本月欧盟含税价折算,两张中端卡每欧元性能比 5090 高 3–10×,且 96 GB DDR5 涨价后约占专家放内存方案成本的 40%。

    推荐理由:作者在同一台机器上实测多款推理引擎并按欧元换算每千欧元的 tok/s,还指出 2026 年 RAM 涨价改变了性价比排序。

  1. Reddit · r/LocalLLaMA72

    RX 9060 XT 16GB 上十个模型跑五项编码任务实测

    作者在一张 RX 9060 XT(16GB)上用五项编码任务实测十个模型,每轮只给 spec 文件,需自行产出 solution.py 和 test_solution.py 并跑测试,由模型看不到的 checker 评分,单格上限 1750 秒。deepseek-v4.1-flash 云端 API 与 Qwen3.8-27B UD-IQ4_XS+MTP(kvstream fork)均 5/5,前者 236 秒 43k tokens,后者 94 分钟 185k tokens;其余本地模型多在 4/5 或更低,c4、c5 是主要分水岭,失败集中在 tie-break 规则、嵌套组解析和用 re 回溯导致超时或内存暴涨。

    推荐理由:作者自建带盲测 checker 和性能门槛的编码评测,在 16GB 显卡上实测十个模型,失败原因逐个拆到具体规则和实现细节。

  1. Reddit · r/LocalLLaMA75

    Reddit 用户自建 agentic 基准实测 Qwen3.8 27B 各量化版本差异

    Reddit 用户 /u/FeydRowan 实测 Qwen3.8-27B 从 UD-Q4_K_XL 到 Q8_0 的五个量化版本,发现它们在 GSM8K、MMLU-Pro 和 IFEval 上差距均在 ±2 分内,而自建的 112 次运行 agentic 编码基准(隐藏测试、AST 注入 bug)拉开差距:27B NVFP4 解题 77%,Flash-Next NVFP4 达 98%。SWE-rebench 交叉验证趋势一致(69% vs 82%,McNemar p≈0.007),OpenCode 等测试框架的选择对结果影响也很大,Flash-Next 约 3-bit 的 Q3 版本可解决 12 项区分性任务中的 11 项。

    推荐理由:作者用自建、无污染的 agentic 编码基准区分了标准评测拉不开的量化差距,方法与数据都可复用。

  2. Reddit · r/LocalLLaMA60

    Qwen3.8-Flash-Next 配 pi 在 RTX 5090 上以 11 分钟跑完 airbench 全对,快于 Claude Code 的 14 分钟

    /u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版(ISTA-DASLab GSQ-RCO GGUF)在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件,11 分钟拿到 100% 得分,而 Claude Code 同任务同分但耗时 14 分钟;作者更正原标题未说明这是面向日常任务的基准,不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘,IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49(16 分钟)、opencode 1.18.29 得 46/49(11 分钟)、dsh 0.2.0-rc.2 得 47/49(11 分钟)。

    推荐理由:作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时,并给出可复现的完整部署配置。

  1. GitHub · 去对齐工具与仓库63

    Whisper85 开源双卡笔记本本地大模型基准测试仓库,沉淀三版方法论修正经验

    作者在 i9-13900HX + RTX 5060 Ti 16GB + RTX 4060 Laptop 8GB、32GB 内存的笔记本上,用 Strata 0.1.41 引擎跑 Qwen3.8-Flash-Next Q2_0(62 GB MoE)做了四轮基准测试,并开源了全部脚本与数据。核心结论包括单次测量速度可摆动 8 倍、prompt cache 会把 prompt_n 从 1259 污染到 5、KV cache 复用后多轮 TTFT 从 137.8 秒降到约 0.4 秒、双卡长 prompt prefill 快 8.4 倍、KV cache 不磨损 SSD、q4_0 长文档 perplexity 高 8~12%。

    推荐理由:作者推翻自己两版错误方法论后才得出可信数据,给出单次噪声8倍、cache污染等教训,对想做本地基准测试的人有直接可迁移价值。

  1. GitHub · 灵魂体仓库75

    m-bench 开源本地 LLM 全栈基准工具,推荐 Qwen3.6-35B-A3B-NVFP4 加 vLLM 配置

    luongnv89 在 GitHub 开源 m-bench,一套针对自己机器基准测试完整 LLM 配置(serving 参数、thinking 模式、编码代理)的工具,每个任务附参考解,validate 需 28/28 通过。当前最佳配方为 unsloth/Qwen3.6-35B-A3B-NVFP4(MoE,约 3B 激活)跑 vLLM,关 thinking,core16+hard12 达 82.1% pass@1,吞吐约 35-48 tok/s 单流。多轮实测显示 thinking 对一次性代码生成多耗约 13 倍输出 token 仅换 +1.7 分,但在工具循环中可把轮次从 6.8 降到 5.2;同一权重经四个不同代理得分相差最多 23 分。

    推荐理由:原文用多轮实测数据说明同一模型在不同配置和代理下得分差异巨大,为本地部署选型提供了可复用的基准方法和结论。

  1. Reddit · r/LocalLLaMA64

    Qwen3.6-35B-A3B 4-bit HumanEval 实测 89.6%,MoE expansion 路由补丁 A/B 提升至 90.9%

    作者在单张 RTX 2080 Ti 22GB 上用 Unsloth UD-IQ4_XS 4-bit 量化实测 Qwen3.6-35B-A3B,HumanEval 全部 164 题 pass@1 达 89.63%(147/164)。随后对自制的 MoE expansion 路由补丁做受控 A/B:在最后 15 层(25–39)每 token 激活 20 个专家而非原生 top-8,无需重训或改文件,pass@1 升至 90.85%(149/164),解码速度从 69 tok/s 降至 56 tok/s(约 -19%)。作者提示 +2 题在 164 题的统计噪声范围内,且用的是原始 HumanEval 而非 EvalPlus,不能与 EvalPlus 榜单直接对比。

    推荐理由:作者给出了同机同量化下的受控 A/B 数据和解码速度代价,读者可以据此自行判断该路由补丁是否值得用。

  2. GitHub · 灵魂体仓库72

    halu-sys 开源 llm-probes:本地 llama.cpp 栈的部署级评测探针

    halu-sys 在 GitHub 开源 llm-probes,为本地 llama.cpp/llama-swap 栈提供部署级评测探针,回答只有本机才能回答的问题,如 IQ3_S 量化下 262k 上下文是否真实、长上下文格式遵循、循环退化率、MTP 投机解码是否无损、跨上下文事实组合与多跳 Agent 委托链等。所有探针运行时程序化生成(可复现、无训练数据污染),由代码评分而非 LLM 评分。实测显示 Qwen3.8-Flash-Next IQ3_S 在 8k–256k 各探针多数通过,并总结了推理预算不足会静默吞掉答案、参数剥离使评测失效、探针自矛盾曾误导结论等六起生产事故复盘。

    推荐理由:针对本地 llama.cpp/llama-swap 部署的实测探针,给出各探针的真实运行结果与踩坑复盘,方法可直接复用。

  1. Reddit · r/LocalLLaMA71

    DynamicTune 0.8B 模型在 ARC-Challenge 上以 42.15% 超越 2B 基座

    DynamicTune 通过闭式权重手术将 4B 教师模型的轨迹动态注入 Qwen3.5-0.8B,无需反向传播和训练 token,在约 12 分钟内于 8GB AMD RX 580 上完成。

    推荐理由:原文给出第三方在 NVIDIA L4 上用官方 lm_eval 复测的完整分数与统计显著性,读者可自行核对 0.8B 超越 2B 的结论。

  2. GitHub · 去对齐工具与仓库63

    Jiaming Yue 实测 Qwen3.5-9B、Qwen3.8-27B 与 gemma-4-26B-A4B-it 本地工具调用能力

    作者 Jiaming Yue 发布可复现的本地开源模型工具调用评测项目,用官方 BFCL 数据和逐条评分代码对比三个本地部署模型,三个模型各完成全部 3641 个单轮用例。

    推荐理由:作者用官方 BFCL 数据和逐条评分代码实测三个本地开源模型的工具调用表现,并公开全部原始输出与复现脚本,便于核对与复跑。

  1. Reddit · r/LocalLLaMA61

    M3 Max 36 GB 上四款 MLX 推理引擎实测:Qwen3.6-35B-A3B 达 110 tok/s

    作者在 36 GB M3 Max MacBook Pro 上实测 oMLX 0.7.0、Rapid-MLX 0.15.5、Splash 1.2.1 与 MTPLX 2.12.2 四款推理引擎,测试 Qwen3.8-27B-4bit 与 Qwen3.6-35B-A3B-4bit。

    推荐理由:作者在同一台 M3 Max 上用统一流程实测四款 MLX 推理引擎,还指出 KV cache 跨重启保留会误导二次跑分。

已经到底了