新闻、仓库与研究，按时间排列。
在 MacBook Pro M5 Max（128 GB）上对 Nanbeige4.3-33B 4-bit 模型在 mlx-lm、llama.cpp 和 Kapitsa 三个引擎做了 512 到 32K token 的 prefill、decode、TTFT 和内存对比。Kapitsa 凭 KFlash 树状投机解码在 decode 和多轮延迟上领先，如 512 token decode 34.9 tokens/s、follow-up TTFT 140 ms。作者指出该模型 KV cache 效率低（128K 需 26 GB），编码能力不错但仍推荐 27B/35B 的 Qwen 模型。
anbow1 开源了针对本地大语言模型的编码评测仓库 llm-code-eval，含 base、hard、practical、tools、scene 五套测试，覆盖 Three.js/TypeScript、Python、日常改码、工具调用和大型图形任务。实测显示 RTX 5090 上六个设置在 base 套件得 100%，Qwen3.8-27B GSQ-RCO IQ3_XXS MTP 在 RTX 4080 上以 99.2% 排总榜第一；DeepSeek-V4.1-Flash 全部运行得 100%，192 GB 内存把速度从 11 提到 24-26 tok/s；GLM-5.3-Flash 在 h_p3_line_diff 上 7 次中 6 次超时。
推荐理由：原文给出五套本地模型编码测试的实测数据，按最高分与多轮均值双排序，读者可据此判断量化档位和推理档位对结果的影响。
AsaadAlSharif 的 local-llm-benchmarks 仓库发布 Qwen3.8 Flash-Next 的本地基准与 PrimeAgent 功能测试结果。Q2_0、IQ3_S、Coder IQ1_M 三个量化版本在 llm-bench.io 分别测得 226.6、190.3、172.3 tok/s 及 83.4、88.4、80.8/100 质量分，Coder 版 CSV 解析 546/546 独立检查通过。硬件为 RTX 5090 与 Ryzen 9 9950X，官方 Strata 提交已发布 PR #4166，因排除 Google/Gemini 相关榜单，HumanEval+ 生成在 164 题中的第 145 题停止且未计分。
Reddit 用户 /u/Individual_Page9676 让云端 Agent 通过 Tailscale + LM Studio 调用本地 Mac 上的 Qwen3.6-35B-A3B，构建了一套验证式数据管线：模型自编 800 道数学题后在新会话中盲解，分歧交由 Qwopus 3.5 122B 仲裁，Agent 用 Python 暴力核算，最终得到 793 道可用题。盲解者在仲裁分歧中 56 次正确、作者 12 次，说明出题写官方答案比解题更易出错；第三轮复验中 793 个答案有 774 个被直接确认，甚至抓出 Agent 自己暴力核算写错的一道题。
/u/yehyakar 在 RTX 5080 16GB、Core Ultra 9 285K、62GB DDR5-6800 环境下用 Basalt 测试 Qwen3.8-Flash-Next IQ3_S，262K 上下文、int8 KV。上下文扫描（15K-207K）平均 prompt 处理 5,475 tok/s、峰值 5,662 tok/s，生成平均 154.9 tok/s、峰值 186.6 tok/s；Agent 编码会话（opencode 103 次请求、最高 130K ctx）生成平均 153.0 tok/s、峰值 262 tok/s，99.5% 的 prompt token 来自缓存，首 token 中位时间 0.2 秒，显存占用 15.7GB。
作者在 M3 Max 36GB 上用统一协议实测 Kapitsa 0.2.12、oMLX 0.7.2、Rapid-MLX 0.16.8、Splash 1.4.0、MTPLX 2.12.2 五个引擎。稠密 Qwen3.8-27B-4bit 上 Kapitsa 41.3 tok/s 领先，oMLX 34.1；MoE Qwen3.6-35B-A3B 上 oMLX 122.9 与 Kapitsa 122.7 打平；Flint 40B-A2.5B 在 36GB 上由 Kapitsa 跑出 134.2 tok/s。oMLX 稠密从 17.9 提到 34.1 主要归功于 oQ4e-mtp 检查点加 Lightning MTP 的投机配置而非引擎本身；MTP 接受率稠密 75-78%、MoE 81-85%。
推荐理由：同一台 Mac 上五个推理引擎用统一协议实测，还标明各引擎权重与投机配置差异，数字可直接对照自家硬件选型。
matnum 发布 local-llm-benchmarks 仓库，在 128 GB 统一内存的 AMD Ryzen AI Max+ 395（Strix Halo）上用 llama.cpp 对 10 个 GGUF 模型/量化组合在 Vulkan 与 ROCm 两个后端测吞吐、延迟、内存、功耗与 tokens-per-watt。结果显示 Vulkan 在 10/10 单元生成更快（6 个领先 2.1–18.0%），ROCm 在 9/10 单元 prefill 更快（6.2–56.8%）；MoE 模型生成速度和每瓦效率是同体量稠密模型的 5–8 倍，gpt-oss-120b（MXFP4，约 59 GiB）达 55.3 tok/s。
推荐理由：原文公开了完整测试矩阵、固定 commit 和可复算测试，读者可以按需核对每个数字而不是直接信任结论。
作者实测 DeepSeek-V4.1-Flash-1017 后认为不如 Qwen3.8-Flash-Next：DSF 坚称 Broadwell-EP 有 AVX-512、拒绝从 libgen 下载论文，而 QFN 20 分钟完成同样任务。让四个模型对比 AI 泡沫与历史泡沫后，Opus 5.5 评审发现 DSF 与 Opus 5.5 报告最相似：TF-IDF 相似度 0.572、共享 200 个四词短语，分析方法几乎一致。
GitHub 上的 z440-ollama-benchmarking 项目发布面向本地运行 Ollama 模型的交互式基准测试结果看板。看板提供可排序、可筛选的模型对比表、基于 `ollama ps` 实测内存的 VRAM 可行性指示、生成速度与内存占用图表，以及质量分级热力图和指标术语表。通过主仓库运行 Publish-Website.ps1 -Push 即可重新生成 data.js 并推送最新结果。
作者在单张 RTX 5090 上对 Qwen3.8-Flash-Next NVFP4 的 basalt、capy-flash、ninfer-ext 三个引擎做了 262,144 token 全上下文对照测试，统一开启 MTP 推测与 int8 KV。结果 basalt 在所有上下文深度最快，prefill 8.1k-9.2k tok/s、greedy decode 176-265 tok/s；decode 排名与 MTP draft 接受率一致（0.74/0.57/0.56），采样解码使各引擎 decode 下降 7-10%。
在 17 分 29 秒的 AMI 四人会议音频上，MOSS-Transcribe-Diarize 0.9B 在 M5 Pro MacBook（64 GB、mps）上以 fp32 单次完成转写、说话人标注和时间戳，耗时 714 秒，约 0.68x 实时。四个说话人全部识别，0.25 s collar 下说话人混淆率 0.08%，整体 DER 15.4%；317 段中 87 段为重叠语音且均标注了不同说话人。
Reddit 用户实测 LFM2.5-24B-A2B-Q4_K_M.gguf 后给出负面评价：在 llama.cpp 优化版上 RTX A4500 跑出 130tk/s 但反复循环，换 LM Studio 后行为稳定。在 Hermes 桌面端测试 Microsoft Garnet 插件任务时，经 GPT 检查发现代码残缺、缺少必要功能且未做端到端测试就声称验证通过，模板修复后改善有限。
/u/Dodgy_Past 在 Reddit r/LocalLLaMA 发帖，自建包含 44 个真实 bug 的测试集，让 Qwen3.8 27B 与 Gemma 4 31B 在两张消费级显卡上多轮辩论修复方案，得分 38/44、5 个假通过，而两模型单独作答为 31 和 30 分，也超过了 Nemotron 3.5 Super VL 120B 等更大的 MoE。增益主要来自约六个两模型各自都解不对的案例，但假通过几乎未改善（从 6 降到 5）；作者还发现共享完整推理与只共享提案没有可测差异，每题约花 6 次模型调用和 5 分钟 GPU 时间。
推荐理由：作者自建44个真实bug的测试集，实测两个中型模型辩论修复比单独作答和更大的MoE都更准，并给出假通过率与成本数据。
社区在单张 RTX 5080 16 GB（Linux/Fedora 44）上用 Strata v0.2.1 测试 Qwen3.8-Flash-Next IQ3_XXS、64K 上下文，中位解码速度 150 tok/s，16K-32K 预填充约 4,400 tok/s，4K 预填充 3,755 tok/s、TTFT 1.08 s。agent 会话缓存命中 69.5%，每轮 TTFT 0.97 s。测试还发现 Fedora 44 上 GCC 16/15 混用导致链接失败，统一用 g++-15 编译可解决。
GitHub 本地 LLM 热度榜显示，Qwen3.8-27B-Instruct（Apache 2.0）以 100.2 热度居首，在 RTX 5090 上经专用推理引擎达 500 t/s 单智能体、约 2000 t/s 多智能体，支持最高 1M token 上下文。Qwen3.8-Flash-Next-125B（MoE）以 60.4 热度次之，在 AMD Strix Halo 上 prefill 达 938 t/s。Ternary Bonsai 2 27B 经 1.75-bit 三值压缩至 5.9GB，保留约 98.2% 能力，5 天下载 11,792 次。
ZisIsNotZis 在 GitHub 发布的 tiny-llm-eval-factors 是一个可复现的研究工作台，用于测量本地大语言模型的量化、模型规模、解码协议与 benchmark 行为等因素。`./reproduce.sh` 全流程在本机干净 clone、12 核 CPU、无 GPU 环境实测约 41.1/49.9/60.2 秒，可从 experiments.sqlite 逐字节重建 report.html，CJK 字体缺失或版本不符时构建直接失败。仓库分发 337 个逐题评测产物（3.45 MB）供 fresh clone 验证，但 .gguf 模型权重字节已丢失，评测运行本身也需 GPU 与模型文件。
/u/SamSausages 因 Intel B65 几乎没有公开跑分，自建 4x B65 平台，用 vLLM 对 Flash-Next W4A16 和 Qwen3.8-27B 的 INT4、FP8、BF16 等配置做长上下文吞吐扫描，覆盖 0 到 200K 上下文和 1 到 16 并发请求。数据显示 Flash-Next 开启 MTP-3 后单请求吞吐约翻倍（0 上下文 84.5 对 42.7 tokens/sec），200K 上下文下降到 45.8；Qwen3.8-27B INT4 在 4 卡下 8 并发可达 468.2 tokens/sec。
推荐理由：作者自建 4x Intel B65 平台，实测多款模型在 16K 到 200K 上下文下的吞吐数据，并给出 MTP 开关与不同精度的对照。
作者以 HF transformers 的 F16 参考输出为基准，在 Neoverse-N1 ARM 和 AVX2 x86 上实测低比特 GGUF 的正确性与速度。BitNet b1.58 2B4T 的 bitnet.cpp main（0b341e5）在 x86 上困惑度约为参考的 6 倍、ARM 上输出 ?，#588 激活函数修复加 isHuangXin/llama.cpp#2 可解决，#642 第三版已同时修复两个平台；Bonsai/Ternary-Bonsai 1.7B 在 llama.cpp、Prism fork 和 ik_llama.cpp 中均与参考一致，27B 在 Prism 与 ik_llama.cpp 结果一致。
推荐理由：作者用困惑度和 KL 对照参考实现逐项验证低比特模型输出正确性，并给出各运行时的实测速度数据，方法可复用。
kevinelong 在 GitHub 发布 local-llm-lab 仓库，记录在一台 64 GB DDR5、RTX 5070 12 GB 的 Windows 桌面机上对本地大模型的系统实测，并列出 693 项检查的九套基准。最佳配置为 Qwen3.6-35B-A3B Q4_K_M 经 llama.cpp 预配置（context 131,072、--cpu-moe），以及由 Strata 流式从磁盘服务的 Qwen3.8-Flash-Next Q2_0，两者在排名指标 414/414、全部九套 692/693 上逐格持平，后者的 1,100 项知识测试快 31%。
推荐理由：作者在固定一台桌面机上实测本地模型的匹配度、速度和分数，并公开预测记录与纠错，方法可迁移到自己跑本地评测时参考。
/u/FeydRowan 在 2× RTX 5070 Ti + 96 GB DDR5 上整理了可运行 Qwen3.8-27B 和 Flash-Next（125B MoE、6B 激活）的各推理引擎 decode 速度，区分了本人验证与作者自报数据，capy-flash（DFlash2）在 27B 上达 379 tok/s。文中指出 TP 比层切分更快、drafter 可带来 2–3× 加速、单模型内核在 batch 1 下比通用引擎快 2–6×；按本月欧盟含税价折算，两张中端卡每欧元性能比 5090 高 3–10×，且 96 GB DDR5 涨价后约占专家放内存方案成本的 40%。
推荐理由：作者在同一台机器上实测多款推理引擎并按欧元换算每千欧元的 tok/s，还指出 2026 年 RAM 涨价改变了性价比排序。
一位 Reddit 用户在 SillyTavern 社区发帖询问：Gemma 4 31B dense 模型用于角色扮演是否明显优于 Gemma 4 26B MoE。他用 Q5 量化对比测试，发现 31B 更能利用角色卡细节，但仍有细节翻转问题；而 26B MoE 借助优化 KV cache 运行很快，31B dense 因 CPU offloading 在其 RTX 3060 12GB 机器上生成极慢，因此纠结是否值得为升级投入大量硬件成本。
Reddit 用户实测 Nemotron 3.5 Bolt，认为其适合小型多用户场景。该模型解码器采用 2 bit 量化、敏感部分为 NVFP4，每 5 层线性注意力（Mamba2）配 1 层 GQA 全注意力，30k 上下文仅占 200 MB KV cache（27B 为 952 MB），速度约为 27B 的两倍，智能水平与 Qwen3.6 27B 相当，幻觉率优于部分顶级模型。作者推荐单张 5090（32 GB）或 128 GB 小型主机作为理想硬件。
Reddit 用户测试发现，EmbeddingGemma 2 嵌入模型（Q8 约 330MB、768 嵌入维度）可用于在图片内检索文本。测试覆盖 22448 张英/韩/日截图，查询余弦相似度最高达 0.76813；该模型能一定程度跨语言理解词义，但对措辞敏感，且文本特征常主导相似度、视觉特征作用较弱。
一个 GitHub 仓库用同一指令让 15 个本地 LLM 各自制作俄罗斯方块网页游戏，以 1000 分制排名。测试在 AMD Strix Halo（Radeon 8060S、64GB 统一内存）上用 llama.cpp b11701 router 模式运行，Agent 为 opencode v1.18.35，每模型独立会话、bubblewrap 沙箱隔离并禁网，单次限时 60 分钟。评分由 headless Chrome 实机操作测试（含 10 张截图）加代码评审组成，图形与手感由人工确认，结果写入 RESULTS.md。
Reddit 用户 /u/Sanbi_Ai 复盘 Kimi K3 发布三个月后的实际使用状况：全模型 1.56 TB，Unsloth 推荐的最小量化为 594 GB，需约 610 GB RAM+VRAM，装不进 512 GB；1-bit 量化与全模型下一 token 一致率 79%，2-bit 达 90% 但需 861 GB。其在 Artificial Analysis 指数已从 57 降至 44，GLM-5.3（753B）得 45，Step 5 Preview（600B）以 44 追平；自家 API 仅 43 tok/s，AA agentic 基准平均每任务近一小时、超 $10。许可证非 MIT，公司若 12 个月内总收入超 $20M 需与 Moonshot 另行签约。
推荐理由：作者用 Unsloth 量化文档和 AA 数据逐项核算了 Kimi K3 的本地运行门槛、API 速度和许可证限制，信息可直接用于部署决策。
Reddit 用户 /u/Aroochacha 在自己的 4x DGX Spark 上复测 DeepSeek-V4.1-Flash，并与 Wccftech 报道的 Patrick Moorhead 结果对比。他指出 Wccftech 所列 476 GB 内存占用实为磁盘上的 476 GiB（511 GB），模型权重本身 511 GB，实际只能用每台 Spark 约 80%-92% 的内存，模型无法完整驻留内存，需用 SGLang TP4 加从各节点本地 NVMe 流式读取的约 196 GB Engram 表（带约 4 GB row cache）才能跑起来。
推荐理由：作者在自建 4x DGX Spark 上复测 DeepSeek V4.1 Flash，给出逐档 prompt 的完整数据，并指出 Wccftech 把磁盘占用误报为内存需求。
LiquidAI 的 LFM2.5-24B-A2B 在 Pi Agent 中表现可靠，作者用它替换 Ornith 1.5-35B 后运行良好。在 AMD W7900 上经 llama.cpp（ROCm）实测持续约 95 tps，Q8 量化加 128k 上下文占用 30GB 显存，机械性长任务稳定通过。
一位用户拿到 Mac Mini M6 32GB 后实测了 incoai 的 Splash 与 trymirari 的 Uzu 两种配置，两者速度表现相近。作者最终选择 Splash，因其开箱即支持无审查模型。
三值量化 LLM 在无点积指令的 Arduino UNO Q（4x Cortex-A53）上测试：TQ2_0 比 Q4_0 快 43.7%，但训练后三值化的 Qwen3-0.6B 质量崩溃。Stage 0 结果见 REPORT.md（G1: PASS），预注册方案为 PREREG.md。
Reddit 用户用 sergqwer 的 Strata 分支（strata-nvfp4）在单张 RTX 5090 32GB 上运行自行转换为 NVFP4 的 Qwen3.8-Flash-Next 125B-A6B hybrid MoE，完成 Three.js 低多边形 3D 马循环动画挑战。纯智能体工作时长 23m 10s，共 87 步、124,443 输出 token，cache 命中率 99.0%，解码中位 116 t/s，262,144 上下文下 33 分钟内零压缩。
Reddit 用户 /u/migsperez 在 AMD R9700 32GB、64GB 内存上用 Opencode 测试 Qwen3.8-Flash-Next IQ3_S 量化模型，解码速度约 90 tok/s，约为 27b 的 3 倍。作者通过先要计划再构建、指定 low poly 风格的提示方式获得明显更好的输出，并分享了结果。
Reddit r/LocalLLaMA 用户在编码、数据分析与本地 RAG 等任务上对比了 Qwen3.8-27B 与前沿模型，测试集从 500+ 题精简而来，只保留能区分模型的题目。结果显示 or-qwen-qwen3.8-27b 以 bf16 原始精度运行，or-qwen-qwen3.8-flash-next 未披露量化且最常被截断（单次测试最大 16,384 token，提高到 32k 后仍有过思被截断），iq3 GSQ-RCO 表现不差，mradermacher 的微调版持续出色。作者结论：本地模型的输出仍需 Claude 或 GPT 复核。
local-llm-eval 是一款无需编程即可在 Windows 电脑上运行的本地评测工具，用于测试 Qwen2.5（GGUF 格式）模型回答印尼语问题的准确率及从文档中抽取结构化信息的能力。工具采用 Wilson 置信区间和 McNemar 检验等统计方法保证结果可信，示例报告显示问答准确率 78.5%、文档抽取成功率 92.0%，支持自定义测试题数量与模型版本，并兼容 Google Colab 在线运行。
Reddit r/LocalLLaMA 用户实测并排出了能在 10-16GB VRAM、26-32GB RAM 下运行的模型榜单，要求 64k 上下文、每秒至少 10 token，冠军为 Gemma 4 26B-A4B，其后是 Qwen 3.6 35B-A3B (Abliterated) 和 Gemma 4 Instruct 19B-A1B Heretic。测试覆盖速度、连贯性、多语言容错、slop 模式频率和审查程度，并排除了所有 CoT 模型。作者提示 Kobold 无法加载 Qwen 35B 和 GLM 31B，需用 LLAMA 运行。
一位 Reddit r/LocalLLaMA 用户用 Ryzen 9 AI HX 370、W7800 48GB eGPU 和 LM Studio 0.4.25 测试 QWEN3-CODER-30B-A3B-INSTRUCT-UD-Q8_K_XL 生成图片放大 webapp。VS Code + Cline 走 LM Studio endpoint 时，Vulkan 和 ROCm 分别在 310 秒和 250 秒一次成功生成 56kb / 71kb 的可用 html+js；而走 Ollama endpoint 时，agent 堆出 290MB 的 node_modules 项目，"Browse files" 按钮和拖拽功能反复修复 57 分钟仍失败，重复测试 20 分钟后才可用。
/u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版（ISTA-DASLab GSQ-RCO GGUF）在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件，11 分钟拿到 100% 得分，而 Claude Code 同任务同分但耗时 14 分钟；作者更正原标题未说明这是面向日常任务的基准，不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘，IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49（16 分钟）、opencode 1.18.29 得 46/49（11 分钟）、dsh 0.2.0-rc.2 得 47/49（11 分钟）。
推荐理由：作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时，并给出可复现的完整部署配置。
开源仓库 CrucibleMark 发布 2026 版 v6.0.0，基准起始于 2026-10-10，由 Claude Haiku 5.5 担任 Judge。该模块化 LLM 基准框架测代码质量、CLI 操作、推理、UX 文案、文化智能、政治偏见与 Tool Use 等生产环境维度，采用混合评分（Regex、Embeddings、LLM Judge），支持 OpenAI、Anthropic、Ollama、vLLM 等多 Provider，模型逐一顺序测试并排除缓存优势。Leaderboard 可按 Apache 2.0、MIT 许可与自托管能力筛选，聚焦自托管开源权重模型对云端专有模型的对比。
一位 Reddit r/LocalLLaMA 用户在 5060ti 16GB 上用 AtCoder 近 30 天的 14 道题测试三个 Qwen 3.8 量化版本：Swift 1.5 IQ2_XS、Flash Next IQ3_S 和 27B IQS_3，各跑 none、low、medium、xhigh 四档思考力度，思考 token 上限 32k，全程耗时近 11 小时。结果显示提升思考力度主要带来 CAP 触顶而非解题提升，关闭思考则明显退化；Flash IQ3_S 解题最多且更快，是速度与准确性的最佳折中。
作者用自写脚本在单张 Tesla V100-SXM2 32GB 上实测了 Ollama 与 llama.cpp 跑 llama3.2:1b、Qwen3-30B-A3B-Thinking、Gemma 4 31B、Qwen3-Coder-30B-A3B 等模型的生成与 prefill 速度，请求长度从 1K 到约 118K token。数据显示引擎加配置才是对比单位，如 Qwen3-30B 上 Ollama 生成随上下文增长快 17% 到 49%，而 llama.cpp 用 q8_0 KV 缓存才装下 131072 窗口；作者还发现 Ollama 对 gemma4-32k 报告的 56 tok/s 和 2.1GB 显存不可信，超过 31B 稠密模型约 44 tok/s 的物理上限。
推荐理由：作者在单卡 V100 上实测了多款模型在 Ollama 与 llama.cpp 的长上下文速度差异，并指出引擎配置和内存预算比引擎本身影响更大。
作者在 i9-13900HX + RTX 5060 Ti 16GB + RTX 4060 Laptop 8GB、32GB 内存的笔记本上，用 Strata 0.1.41 引擎跑 Qwen3.8-Flash-Next Q2_0（62 GB MoE）做了四轮基准测试，并开源了全部脚本与数据。核心结论包括单次测量速度可摆动 8 倍、prompt cache 会把 prompt_n 从 1259 污染到 5、KV cache 复用后多轮 TTFT 从 137.8 秒降到约 0.4 秒、双卡长 prompt prefill 快 8.4 倍、KV cache 不磨损 SSD、q4_0 长文档 perplexity 高 8~12%。
推荐理由：作者推翻自己两版错误方法论后才得出可信数据，给出单次噪声8倍、cache污染等教训，对想做本地基准测试的人有直接可迁移价值。