新闻、仓库与研究，按时间排列。
在 MacBook Pro M5 Max（128 GB）上对 Nanbeige4.3-33B 4-bit 模型在 mlx-lm、llama.cpp 和 Kapitsa 三个引擎做了 512 到 32K token 的 prefill、decode、TTFT 和内存对比。Kapitsa 凭 KFlash 树状投机解码在 decode 和多轮延迟上领先，如 512 token decode 34.9 tokens/s、follow-up TTFT 140 ms。作者指出该模型 KV cache 效率低（128K 需 26 GB），编码能力不错但仍推荐 27B/35B 的 Qwen 模型。
anbow1 开源了针对本地大语言模型的编码评测仓库 llm-code-eval，含 base、hard、practical、tools、scene 五套测试，覆盖 Three.js/TypeScript、Python、日常改码、工具调用和大型图形任务。实测显示 RTX 5090 上六个设置在 base 套件得 100%，Qwen3.8-27B GSQ-RCO IQ3_XXS MTP 在 RTX 4080 上以 99.2% 排总榜第一；DeepSeek-V4.1-Flash 全部运行得 100%，192 GB 内存把速度从 11 提到 24-26 tok/s；GLM-5.3-Flash 在 h_p3_line_diff 上 7 次中 6 次超时。
推荐理由：原文给出五套本地模型编码测试的实测数据，按最高分与多轮均值双排序，读者可据此判断量化档位和推理档位对结果的影响。
AsaadAlSharif 的 local-llm-benchmarks 仓库发布 Qwen3.8 Flash-Next 的本地基准与 PrimeAgent 功能测试结果。Q2_0、IQ3_S、Coder IQ1_M 三个量化版本在 llm-bench.io 分别测得 226.6、190.3、172.3 tok/s 及 83.4、88.4、80.8/100 质量分，Coder 版 CSV 解析 546/546 独立检查通过。硬件为 RTX 5090 与 Ryzen 9 9950X，官方 Strata 提交已发布 PR #4166，因排除 Google/Gemini 相关榜单，HumanEval+ 生成在 164 题中的第 145 题停止且未计分。
/u/iam31337 在 RTX PRO 4000 Blackwell SFF（24 GB，工厂 70 W 无辅助供电）上用修改版 VBIOS 将功率提至 120 W，Qwen3.8 27B 生成从 35.04 提升到 58.53 tok/s（+67%），Qwen3.6 35B A3B 显存 +33.3% 时生成 +19.8%。158 次请求、每配置仅 1-3 次，两模型量化与投机解码设置不同，非严格受控对比；作者提醒 120 W 超出 PCIe 75 W 槽位预算，属实验性结果。全文与 CSV 见 https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark
推荐理由：作者实测同一款卡上两个模型的功耗超频收益差异，给出具体功率与频率参数，并坦承样本量与量化设置的局限。
/u/yehyakar 在 RTX 5080 16GB、Core Ultra 9 285K、62GB DDR5-6800 环境下用 Basalt 测试 Qwen3.8-Flash-Next IQ3_S，262K 上下文、int8 KV。上下文扫描（15K-207K）平均 prompt 处理 5,475 tok/s、峰值 5,662 tok/s，生成平均 154.9 tok/s、峰值 186.6 tok/s；Agent 编码会话（opencode 103 次请求、最高 130K ctx）生成平均 153.0 tok/s、峰值 262 tok/s，99.5% 的 prompt token 来自缓存，首 token 中位时间 0.2 秒，显存占用 15.7GB。
/u/mesolimbic-bliss 用三套 harness 实测 unsloth/flint-GGUF 的 flint-UD-Q3_K_XL.gguf，成绩差异很大：OMP 完成 12 个任务得 71.2/100（仅 7 个解决），AtomicAgent 得 39.2/100（仅 3 个解决），Hermes 在任务 7 中途停止，因在文件系统上做了大量无谓的广度搜索并陷入循环。DeepSeek 版因此前 harness 失败和低分未运行。完整榜单见 https://shortbench.vercel.app/，目前已有模型达到 100/100。
作者在 M3 Max 36GB 上用统一协议实测 Kapitsa 0.2.12、oMLX 0.7.2、Rapid-MLX 0.16.8、Splash 1.4.0、MTPLX 2.12.2 五个引擎。稠密 Qwen3.8-27B-4bit 上 Kapitsa 41.3 tok/s 领先，oMLX 34.1；MoE Qwen3.6-35B-A3B 上 oMLX 122.9 与 Kapitsa 122.7 打平；Flint 40B-A2.5B 在 36GB 上由 Kapitsa 跑出 134.2 tok/s。oMLX 稠密从 17.9 提到 34.1 主要归功于 oQ4e-mtp 检查点加 Lightning MTP 的投机配置而非引擎本身；MTP 接受率稠密 75-78%、MoE 81-85%。
推荐理由：同一台 Mac 上五个推理引擎用统一协议实测，还标明各引擎权重与投机配置差异，数字可直接对照自家硬件选型。
matnum 发布 local-llm-benchmarks 仓库，在 128 GB 统一内存的 AMD Ryzen AI Max+ 395（Strix Halo）上用 llama.cpp 对 10 个 GGUF 模型/量化组合在 Vulkan 与 ROCm 两个后端测吞吐、延迟、内存、功耗与 tokens-per-watt。结果显示 Vulkan 在 10/10 单元生成更快（6 个领先 2.1–18.0%），ROCm 在 9/10 单元 prefill 更快（6.2–56.8%）；MoE 模型生成速度和每瓦效率是同体量稠密模型的 5–8 倍，gpt-oss-120b（MXFP4，约 59 GiB）达 55.3 tok/s。
推荐理由：原文公开了完整测试矩阵、固定 commit 和可复算测试，读者可以按需核对每个数字而不是直接信任结论。
Reddit r/LocalLLaMA 用户 EmilPi 发布近期测试模型的量化版本初步 benchmark 结果，DeepSeek-V4-Flash-Vision-Exp（MXFP4）以 Delta score 2.86 居首，Qwen3.8-Flash-Next-Q4KXL-STRATA 得 2.38。测试覆盖智能体编程、推理、空间推理等任务，作者在 2xRTX3090+128GB RAM 上发现没有新模型超越数月前的 DeepSeek/Qwen 老模型，并意外发现 Qwen3.8-Flash-Next 加 Strata 无质量损失且更快。
作者在单张 RTX 5090（400 W）加 128GB 内存的 Linux 机器上，对 Strata、Infernix、capy-flash、ninfer-ext、ninfer、llama.cpp 和 Basalt 七个 Qwen 3.8 FN 推理引擎做了基准测试，每个引擎各自转换 NVIDIA NVFP4 权重后跑相同的七个 greedy 请求，每个请求独立冷启动。
一位 Reddit r/LocalLLaMA 用户在本地以 2-bit 量化运行 ds4.1-flash-1017，与 opencode 通过 DeepSeek API 调用的 ds4.1 进行同一提示词对比，测试耗时约 1.5 小时，使用 450k 上下文（开启自动压缩）并以 headless chrome 替代 playwright 完成测试。测得的 KDL 差距较明显：original 到 oQ2e 为 0.4259 nats，original 到 oQ2.5e 为 0.2821，困惑度分别为 3.7315、4.1190 和 4.6333，2-bit 版本的 top-1 agreement 为 78.43%。
Reddit 用户用修改版 BenchKit 对比 Qwen3.8-Flash-Next-W4A16-FP8PLE（129 GB）与 DeepSeek-V4.1-Flash-1017 2.6 bit 量化版（187 GB + 203 GB Engram），Qwen 以 25/25 满分胜过 DeepSeek 的 23/25。HumanEval 第 22 题上 Qwen 18.8 秒答对，DeepSeek 思考 127.9 秒后陷入循环被终止；第 24 题 DeepSeek 等待 297.7 秒未答出，Qwen 34.5 秒给出正确答案。作者表示将继续使用 Qwen。
作者在单张 RTX 5090 上对 Qwen3.8-Flash-Next NVFP4 的 basalt、capy-flash、ninfer-ext 三个引擎做了 262,144 token 全上下文对照测试，统一开启 MTP 推测与 int8 KV。结果 basalt 在所有上下文深度最快，prefill 8.1k-9.2k tok/s、greedy decode 176-265 tok/s；decode 排名与 MTP draft 接受率一致（0.74/0.57/0.56），采样解码使各引擎 decode 下降 7-10%。
作者开源 agents-per-gpu 仓库，在单张 48 GB A40 上以 Agent 形态负载实测 vLLM 0.32.0、SGLang 0.5.9 和 TensorRT-LLM 1.2.1 服务 Qwen3-4B 的并发容量。开启 prefix caching 后三个引擎均能承载 6 个并发 Agent 会话，关闭时仅 2 到 3 个，且每任务成本降至原来的三分之一到五分之二；8 秒 step SLO 下 SGLang 以 4 个会话领先。INT4-AWQ 量化的 Qwen3-8B 在工具调用精度持平的情况下比 BF16 的 4B 承载更多 Agent。所有数字可用 apg report 从 results/ 复现，方法与细节见 reports/REPORT.md。
推荐理由：作者在单张 A40 上实测三种推理引擎的 Agent 并发容量，并给出 prefix caching 带来的容量差和每任务成本数据。
/u/Dodgy_Past 在 Reddit r/LocalLLaMA 发帖，自建包含 44 个真实 bug 的测试集，让 Qwen3.8 27B 与 Gemma 4 31B 在两张消费级显卡上多轮辩论修复方案，得分 38/44、5 个假通过，而两模型单独作答为 31 和 30 分，也超过了 Nemotron 3.5 Super VL 120B 等更大的 MoE。增益主要来自约六个两模型各自都解不对的案例，但假通过几乎未改善（从 6 降到 5）；作者还发现共享完整推理与只共享提案没有可测差异，每题约花 6 次模型调用和 5 分钟 GPU 时间。
推荐理由：作者自建44个真实bug的测试集，实测两个中型模型辩论修复比单独作答和更大的MoE都更准，并给出假通过率与成本数据。
一位 Reddit r/LocalLLaMA 用户分享实测：Qwen Flash Next 的 IQ2 量化在处理复杂、细微的代码 bug 时表现优于 27B 模型的 Q8 量化，能运行测试并更有条理地推理问题。作者强调这是主观体验，但认为值得选择 QFN。
社区在单张 RTX 5080 16 GB（Linux/Fedora 44）上用 Strata v0.2.1 测试 Qwen3.8-Flash-Next IQ3_XXS、64K 上下文，中位解码速度 150 tok/s，16K-32K 预填充约 4,400 tok/s，4K 预填充 3,755 tok/s、TTFT 1.08 s。agent 会话缓存命中 69.5%，每轮 TTFT 0.97 s。测试还发现 Fedora 44 上 GCC 16/15 混用导致链接失败，统一用 g++-15 编译可解决。
GitHub 本地 LLM 热度榜显示，Qwen3.8-27B-Instruct（Apache 2.0）以 100.2 热度居首，在 RTX 5090 上经专用推理引擎达 500 t/s 单智能体、约 2000 t/s 多智能体，支持最高 1M token 上下文。Qwen3.8-Flash-Next-125B（MoE）以 60.4 热度次之，在 AMD Strix Halo 上 prefill 达 938 t/s。Ternary Bonsai 2 27B 经 1.75-bit 三值压缩至 5.9GB，保留约 98.2% 能力，5 天下载 11,792 次。
ZisIsNotZis 在 GitHub 发布的 tiny-llm-eval-factors 是一个可复现的研究工作台，用于测量本地大语言模型的量化、模型规模、解码协议与 benchmark 行为等因素。`./reproduce.sh` 全流程在本机干净 clone、12 核 CPU、无 GPU 环境实测约 41.1/49.9/60.2 秒，可从 experiments.sqlite 逐字节重建 report.html，CJK 字体缺失或版本不符时构建直接失败。仓库分发 337 个逐题评测产物（3.45 MB）供 fresh clone 验证，但 .gguf 模型权重字节已丢失，评测运行本身也需 GPU 与模型文件。
Reddit r/LocalLLaMA 用户反馈，ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_S 在 Basalt 上运行时工具调用失败明显增多，最多连续四五次失败才成功，而 Qwen3.8-27B 在 4bpw 以上量化及 llama.cpp、vLLM、exllamav3、NInfer 引擎下几乎无失败。作者计划用 BFCL v3 或 v4 测试不同配置以收集数据。
作者以 HF transformers 的 F16 参考输出为基准，在 Neoverse-N1 ARM 和 AVX2 x86 上实测低比特 GGUF 的正确性与速度。BitNet b1.58 2B4T 的 bitnet.cpp main（0b341e5）在 x86 上困惑度约为参考的 6 倍、ARM 上输出 ?，#588 激活函数修复加 isHuangXin/llama.cpp#2 可解决，#642 第三版已同时修复两个平台；Bonsai/Ternary-Bonsai 1.7B 在 llama.cpp、Prism fork 和 ik_llama.cpp 中均与参考一致，27B 在 Prism 与 ik_llama.cpp 结果一致。
推荐理由：作者用困惑度和 KL 对照参考实现逐项验证低比特模型输出正确性，并给出各运行时的实测速度数据，方法可复用。
kevinelong 在 GitHub 发布 local-llm-lab 仓库，记录在一台 64 GB DDR5、RTX 5070 12 GB 的 Windows 桌面机上对本地大模型的系统实测，并列出 693 项检查的九套基准。最佳配置为 Qwen3.6-35B-A3B Q4_K_M 经 llama.cpp 预配置（context 131,072、--cpu-moe），以及由 Strata 流式从磁盘服务的 Qwen3.8-Flash-Next Q2_0，两者在排名指标 414/414、全部九套 692/693 上逐格持平，后者的 1,100 项知识测试快 31%。
推荐理由：作者在固定一台桌面机上实测本地模型的匹配度、速度和分数，并公开预测记录与纠错，方法可迁移到自己跑本地评测时参考。
/u/FeydRowan 在 2× RTX 5070 Ti + 96 GB DDR5 上整理了可运行 Qwen3.8-27B 和 Flash-Next（125B MoE、6B 激活）的各推理引擎 decode 速度，区分了本人验证与作者自报数据，capy-flash（DFlash2）在 27B 上达 379 tok/s。文中指出 TP 比层切分更快、drafter 可带来 2–3× 加速、单模型内核在 batch 1 下比通用引擎快 2–6×；按本月欧盟含税价折算，两张中端卡每欧元性能比 5090 高 3–10×，且 96 GB DDR5 涨价后约占专家放内存方案成本的 40%。
推荐理由：作者在同一台机器上实测多款推理引擎并按欧元换算每千欧元的 tok/s，还指出 2026 年 RAM 涨价改变了性价比排序。
Reddit r/LocalLLaMA 用户以《Anno 1602》游戏规则等冷门知识（禁用联网搜索）对比 6 个模型，Nemotron 3.5 Super VL 120B-A12B 错误最少，仅出现少量幻觉，其余模型（Gemma 4 31B IT QAT、DeepSeek v4 Flash Vision Exp、Qwen3.5-122B-A12B、Qwen3.8-flash-next、GPT-OSS 120B）均幻觉出错误升级条件或游戏版本。该模型 NVFP4 量化版在双 RTX 5060 Ti 16GB + 双 48GB DDR5-6000MHz 上以 llama.cpp 运行，生成约 8-10 t/s、处理约 150-170 t/s。
Reddit 用户实测 Nemotron 3.5 Bolt，认为其适合小型多用户场景。该模型解码器采用 2 bit 量化、敏感部分为 NVFP4，每 5 层线性注意力（Mamba2）配 1 层 GQA 全注意力，30k 上下文仅占 200 MB KV cache（27B 为 952 MB），速度约为 27B 的两倍，智能水平与 Qwen3.6 27B 相当，幻觉率优于部分顶级模型。作者推荐单张 5090（32 GB）或 128 GB 小型主机作为理想硬件。
作者在单张 RTX 3080 20 GB 上用 llama.cpp 实测了 Qwen3.8-27B 的 Huihui 与 Heretic RVN 两个 abliterated 量化版本，仓库不含模型权重。结果显示 RVN IQ4_XS 在 MTP 下最快（代码 69.4 tok/s、散文 58.2 tok/s，比 Huihui 快约 5–7%），德语困惑度略低，通过 88.6K 上下文与全部 6 项工具调用测试，但多占 1.1 GB 显存导致 n-max 3 无法启动；MTP 草稿深度 n-max 2 是综合最优设置，MTP 对 prefill 无帮助反而约损失 5%。
作者在一张 RX 9060 XT（16GB）上用五项编码任务实测十个模型，每轮只给 spec 文件，需自行产出 solution.py 和 test_solution.py 并跑测试，由模型看不到的 checker 评分，单格上限 1750 秒。deepseek-v4.1-flash 云端 API 与 Qwen3.8-27B UD-IQ4_XS+MTP（kvstream fork）均 5/5，前者 236 秒 43k tokens，后者 94 分钟 185k tokens；其余本地模型多在 4/5 或更低，c4、c5 是主要分水岭，失败集中在 tie-break 规则、嵌套组解析和用 re 回溯导致超时或内存暴涨。
推荐理由：作者自建带盲测 checker 和性能门槛的编码评测，在 16GB 显卡上实测十个模型，失败原因逐个拆到具体规则和实现细节。
一位 Reddit 用户在本地硬件上对 Qwen Flash Next 的 q3_xxs、q3_s、q4_xs 三种量化版本，分别在 temp 1（官方推荐采样参数）和 temp 0 下各跑 3 次共 12 组测试，任务为浏览器内 Tetris 游戏。结果显示各量化版本质量均可接受，低量化版本因思考与额外工具调用生成更多 token，总解码量与任务时间随量化等级提升而下降；temp 0 或略降任务时间并提升一致性，但样本太少不足以下结论。作者建议在硬件允许下选最高量化，关注任务时间而非解码速度。
用户在 16GB VRAM 上用 llama.cpp 测试 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF（IQ2_XSS 官方量化），20k 输入、贪心解码下 v0.7.0 达 168.8 tok/s，为各构建方案最佳，其余变体差异在噪声范围内。Strata 风格的专家路由 profiler 经 #30594 可用于 llama.cpp，但混合模式因 PCIe Gen5 x16 上传快于 CPU 计算而降至 89–98 tok/s；GPU 缓存预热后命中率约 82%。专家缓存 7.5 GB 为安全上限，draft 默认设置（每步 3 token、无置信阈值）最优。
Reddit 用户 /u/Sanbi_Ai 复盘 Kimi K3 发布三个月后的实际使用状况：全模型 1.56 TB，Unsloth 推荐的最小量化为 594 GB，需约 610 GB RAM+VRAM，装不进 512 GB；1-bit 量化与全模型下一 token 一致率 79%，2-bit 达 90% 但需 861 GB。其在 Artificial Analysis 指数已从 57 降至 44，GLM-5.3（753B）得 45，Step 5 Preview（600B）以 44 追平；自家 API 仅 43 tok/s，AA agentic 基准平均每任务近一小时、超 $10。许可证非 MIT，公司若 12 个月内总收入超 $20M 需与 Moonshot 另行签约。
推荐理由：作者用 Unsloth 量化文档和 AA 数据逐项核算了 Kimi K3 的本地运行门槛、API 速度和许可证限制，信息可直接用于部署决策。
一位数据工程师用两个真实 ETL 任务（重构 run.sh、编写 orchestrator.py）实测 Nemotron 3.5 Bolt，并以 Qwen Flash Next（UD-IQ4_XS、llama.cpp）的已完成结果作对照，由 Gemini 评审。结果两者各胜一局：Nemotron 在脚本重构上胜出，Qwen 在 orchestrator.py 上胜出。作者认为 Nemotron 3.5 Bolt 足以胜任其工作负载，在其服务器上平均速度约 130t/s，且 2-bit 量化下表现令人印象深刻。
Reddit 用户实测 Agantai 的 GYRO 系列量化 GYRO-M，称其在 KLD、top 1 和体积上同时优于 ISTA-lab 的量化。3 天测试中未出现循环问题，最长自主运行 2-3 小时，速度与 ISTA 2 bit 量化相当，整体接近 ISTA q3 水平但体积更小，仅在西里尔文本编辑上偶有出错。
作者在 RTX Pro 6000 Blackwell 上对比 Ninfer6000、vLLM（NVFP4）与 llama.cpp（Q4_K_XL）运行 Qwen3.8-Flash-Next 的表现。Ninfer6000 平均 decode 238 tok/s，约为 vLLM 的 1.59 倍、llama.cpp 的 2.21 倍，但 prefill 低于 vLLM（约 10k 对 16k tok/s）；BFCL v4、IFEval、MMLU-Pro、HumanEval+、MBPP+、Arena-Hard、RULER 等基准三者基本持平。
推荐理由：作者在 RTX Pro 6000 上实测三套引擎跑 Qwen3.8-Flash-Next 的吞吐与基准数据，并给出真实使用中工具调用异常的细节。
作者在双 AMD AI Pro R9700（Lenovo P620、Threadripper Pro 3945WX、128 GB DDR4）上对比了 Qwen3.8-Flash-Next 的三种推理方案：radiance 1.4.0、Strata 0.1.42 和 Unsloth 的 llama.cpp fork。radiance 生成速度最快达 147.2 tps，Strata 为 79.1 tps，llama.cpp 仅 17.6 tps；三者与 OpenRouter 上 Alibaba 托管的 Qwen3.8-Flash 输出一致性接近，作者认为可视为等效并按速度选择。
/u/isoos 与朋友发布了自托管模型的首轮往返翻译基准结果，涵盖 8 个语言对、12 条测试提示词，用嵌入向量距离打分并惩罚不一致与指令遵循错误，测试了 15 个模型的不同量化版本，结果见 selfhostedintelligence.com。观察包括：16GB VRAM 足以自动化翻译；推理模式对 Qwen 模型提升巨大；大型 MoE 模型最低量化档与上一档差距明显；abliteration（huihui quants）对大模型通用能力的影响远小于小型稠密模型。测试在 1-2 台 Strix Halo 上运行。
推荐理由：实测覆盖 15 个模型不同量化版本，并给出量化层级与 abliteration 影响的具体观察，可按硬件条件选型。
Reddit r/LocalLLaMA 用户实测发现，Strata 模型即使量化到 27B 3.8 UD Q4 仍感觉智能不足，难以编写基础 3D 游戏和 2D 平台游戏，且比 27B 需要更多 shots 和 compactions。Swift 1.5 27B 同样表现更差，DeepSeek Flash V4 在 Q2 量化下没有这种明显下降。结论：不赶时间建议用 27B Q4（慢 3x 到 5x）或常规 flash 模型，追求极速编码可选 Next flash strata。
/u/MarkoMarjamaa 用 Project Lönnrot 三本芬兰语书、Project Gutenberg 同源英语书和 wiki 语料，实测 Qwen3.8 Flash Next Unsloth 各量化档的 KLD 与 top-1% 差异。结果显示芬兰语受量化影响明显，Q8 时 KLD 已远超 0.02 的可察觉阈值；其自测的混合（chimera）模型把 Unsloth Q4 换成 Q8 级 n-gram，效果介于 Q4 与 Q5 之间，且 n-gram 从磁盘读取不占内存。原文链接：https://www.reddit.com/r/LocalLLaMA/comments/1x6kw7k/
Reddit 用户 /u/Fancy-Snow7 对可装入 16GB 显存的 Qwen3.8 27B 量化组合计算 KLD 与困惑度，覆盖 21 个模型、9 种 KV 量化共 189 组基准。结论是 q5_1/q5_1 几乎总是优于 q8_0/q4_0 或 q4_0/q8_0，而后两者差异很小；模型量化升一档跑 q4_0/q4_0 在 KLD 上几乎总优于低一档配 f16/f16，建议先选最高可用模型量化，再视余量提高 KV 量化。作者提醒该结论适用于较低量化，从 q6 升到 q8 时提高 KV 量化收益可能更大，且不适用于 Gemma 等需 f16 KV 的模型；Bonsai 和 swift 量化因属微调，KLD 差异显著，计算意义不大。完整基准数据见评论区。
LiquidAI 的 LFM2.5-24B-A2B 在 Pi Agent 中表现可靠，作者用它替换 Ornith 1.5-35B 后运行良好。在 AMD W7900 上经 llama.cpp（ROCm）实测持续约 95 tps，Q8 量化加 128k 上下文占用 30GB 显存，机械性长任务稳定通过。
Reddit 用户 /u/Tx8aker 对 AMD MI350P 与 RTX Pro 6000 (Blackwell) 跑 Qwen3.8-27B 推理对比，称 MI350P 开箱表现极差，经内核与调优优化后性能提升超过 2 倍。在 3k 输入 8 并发、50k 输入 20 并发、200k 单用户三档冷启动测试中，MI350P 输出吞吐分别为 889/130.6/79.8 tok/s，对 RTX Pro 6000 的 596/50.4/45.1 tok/s 达 1.49x/2.59x/1.77x，TTFT 也全面更快；作者指出 MI350P 显存利用率仅解锁 50%，仍有提升空间。
推荐理由：作者实测前先对 MI350P 做了内核调优才跑分，并给出三档输入长度的完整数据，比开箱对比更能反映真实差距。