跳到正文
今天10月27日周二1 条
  1. Reddit · r/LocalLLaMA32

    一个面向 48GB VRAM + 128GB RAM 及以下模型的自制视觉问答 benchmark

    Reddit r/LocalLLaMA 用户发布了一个自建视觉问答 benchmark,面向能在 48GB VRAM + 128GB RAM 内运行的模型,目前 Qwen3.8-Flash-Next 领先。测试含立陶宛语和俄语 OCR 题,结果对相关模型有偏向;Qwen3.8-27B 相比 Qwen3.6-27B 表现退步,Muse-Glimmer-30B 在细节识别上表现突出,DeepSeek-V4-Flash-Vision-Exp 排名垫底。

10月26日周一
  1. GitHub · 灵魂体仓库33

    AsaadAlSharif/local-llm-benchmarks:本地 LLM 基准与 PrimeAgent 测试报告仓库

    AsaadAlSharif 的 local-llm-benchmarks 仓库发布 Qwen3.8 Flash-Next 的本地基准与 PrimeAgent 功能测试结果。Q2_0、IQ3_S、Coder IQ1_M 三个量化版本在 llm-bench.io 分别测得 226.6、190.3、172.3 tok/s 及 83.4、88.4、80.8/100 质量分,Coder 版 CSV 解析 546/546 独立检查通过。硬件为 RTX 5090 与 Ryzen 9 9950X,官方 Strata 提交已发布 PR #4166,因排除 Google/Gemini 相关榜单,HumanEval+ 生成在 164 题中的第 145 题停止且未计分。

  2. Reddit · r/LocalLLaMA61

    RTX PRO 4000 Blackwell SFF 120W 超频实测:Qwen3.8 27B 生成提速 67%

    /u/iam31337 在 RTX PRO 4000 Blackwell SFF(24 GB,工厂 70 W 无辅助供电)上用修改版 VBIOS 将功率提至 120 W,Qwen3.8 27B 生成从 35.04 提升到 58.53 tok/s(+67%),Qwen3.6 35B A3B 显存 +33.3% 时生成 +19.8%。158 次请求、每配置仅 1-3 次,两模型量化与投机解码设置不同,非严格受控对比;作者提醒 120 W 超出 PCIe 75 W 槽位预算,属实验性结果。全文与 CSV 见 https://piszczek.pl/blog/rtx-pro-4000-blackwell-sff-120w-qwen-benchmark

    推荐理由:作者实测同一款卡上两个模型的功耗超频收益差异,给出具体功率与频率参数,并坦承样本量与量化设置的局限。

10月25日周日
  1. Reddit · r/LocalLLaMA56

    用云端 Agent 评测本地 35B 模型:800 道自编数学题盲测,盲解者以 5 比 1 优于出题作者

    Reddit 用户 /u/Individual_Page9676 让云端 Agent 通过 Tailscale + LM Studio 调用本地 Mac 上的 Qwen3.6-35B-A3B,构建了一套验证式数据管线:模型自编 800 道数学题后在新会话中盲解,分歧交由 Qwopus 3.5 122B 仲裁,Agent 用 Python 暴力核算,最终得到 793 道可用题。盲解者在仲裁分歧中 56 次正确、作者 12 次,说明出题写官方答案比解题更易出错;第三轮复验中 793 个答案有 774 个被直接确认,甚至抓出 Agent 自己暴力核算写错的一道题。

  2. Reddit · r/LocalLLaMA52

    RTX 5080 16GB 实测 Qwen3.8 Flash Next IQ3_S:生成最高约 250 tok/s、预处理约 5,600 tok/s

    /u/yehyakar 在 RTX 5080 16GB、Core Ultra 9 285K、62GB DDR5-6800 环境下用 Basalt 测试 Qwen3.8-Flash-Next IQ3_S,262K 上下文、int8 KV。上下文扫描(15K-207K)平均 prompt 处理 5,475 tok/s、峰值 5,662 tok/s,生成平均 154.9 tok/s、峰值 186.6 tok/s;Agent 编码会话(opencode 103 次请求、最高 130K ctx)生成平均 153.0 tok/s、峰值 262 tok/s,99.5% 的 prompt token 来自缓存,首 token 中位时间 0.2 秒,显存占用 15.7GB。

10月24日周六
  1. Reddit · r/LocalLLaMA72

    qwen3.8 27B 在韩文 RAG 评测上与 Opus 5.5 基本打平

    作者在 3090 上用 Allganize 韩文 RAG 数据集(300 题、64 份 PDF)实测,qwen3.8 27B 开启 thinking 得 77.3%,Opus 5.5 得 76.6%,McNemar 检验 p=0.82 属于打平。Opus 5.5 的 70 次失败中仅 25 次是模型问题,22 次源于无文本层的扫描页,作者认为瓶颈在 PDF 解析而非模型;韩文形态学分词器把 BM25 的 hit@5 从 56% 提到 80%,gpt-oss 20B 在把 token 上限从 1024 提到 8192 后从 57.5% 升至 69.6%。

    推荐理由:作者用带标准答案的韩文 RAG 数据集实测并给出 McNemar 检验和失败归因,还指出 PDF 解析而非模型才是瓶颈。

  2. Reddit · r/LocalLLaMA33

    LocalLLaMA 社区测试近期模型量化版本:DeepSeek-V4-Flash-Vision-Exp 与 Qwen3.8-Flash-Next 领跑初步 benchmark

    Reddit r/LocalLLaMA 用户 EmilPi 发布近期测试模型的量化版本初步 benchmark 结果,DeepSeek-V4-Flash-Vision-Exp(MXFP4)以 Delta score 2.86 居首,Qwen3.8-Flash-Next-Q4KXL-STRATA 得 2.38。测试覆盖智能体编程、推理、空间推理等任务,作者在 2xRTX3090+128GB RAM 上发现没有新模型超越数月前的 DeepSeek/Qwen 老模型,并意外发现 Qwen3.8-Flash-Next 加 Strata 无质量损失且更快。

  3. Reddit · r/LocalLLaMA34

    实测 DeepSeek-V4.1-Flash-1017:像"穷人版 Opus 5.5",Qwen3.8-Flash-Next 更好用

    作者实测 DeepSeek-V4.1-Flash-1017 后认为不如 Qwen3.8-Flash-Next:DSF 坚称 Broadwell-EP 有 AVX-512、拒绝从 libgen 下载论文,而 QFN 20 分钟完成同样任务。让四个模型对比 AI 泡沫与历史泡沫后,Opus 5.5 评审发现 DSF 与 Opus 5.5 报告最相似:TF-IDF 相似度 0.572、共享 200 个四词短语,分析方法几乎一致。

10月23日周五
  1. Reddit · r/LocalLLaMA33

    Qwen 3.8 Flash Next(129 GB)在量化对比中胜过 DeepSeek V4.1 Flash 1017(187 GB + 203 GB Engram)

    Reddit 用户用修改版 BenchKit 对比 Qwen3.8-Flash-Next-W4A16-FP8PLE(129 GB)与 DeepSeek-V4.1-Flash-1017 2.6 bit 量化版(187 GB + 203 GB Engram),Qwen 以 25/25 满分胜过 DeepSeek 的 23/25。HumanEval 第 22 题上 Qwen 18.8 秒答对,DeepSeek 思考 127.9 秒后陷入循环被终止;第 24 题 DeepSeek 等待 297.7 秒未答出,Qwen 34.5 秒给出正确答案。作者表示将继续使用 Qwen。

  2. Reddit · r/LocalLLaMA38

    Meta 816B Muse Spark Open 在 Artificial Analysis 得 39 分,180B Qwen3.8-Flash-Next 得 40 分:11 个开源权重模型得分与规模对比

    基于 Artificial Analysis 数据绘制的 11 个开源权重模型得分与总参数量(log 轴)对比图。Muse Spark Open(816B,42B active)得 39 分,Qwen3.8-Flash-Next(180B,6B active)得 40 分;最高为 MiMo-V2.6-Pro(1T)的 46 分,DeepSeek V4.1 Flash 1017(552B)和 GLM-5.3(753B)均为 45 分。该指数是 AA 自评的单一综合分,不反映速度、长上下文或视觉能力。

  3. Reddit · r/LocalLLaMA50

    RTX 5090 实测 Qwen3.8-FN NVFP4 三引擎性能:basalt 全场景最快

    作者在单张 RTX 5090 上对 Qwen3.8-Flash-Next NVFP4 的 basalt、capy-flash、ninfer-ext 三个引擎做了 262,144 token 全上下文对照测试,统一开启 MTP 推测与 int8 KV。结果 basalt 在所有上下文深度最快,prefill 8.1k-9.2k tok/s、greedy decode 176-265 tok/s;decode 排名与 MTP draft 接受率一致(0.74/0.57/0.56),采样解码使各引擎 decode 下降 7-10%。

10月22日周四
  1. Reddit · r/LocalLLaMA54

    10个Agent框架实测Qwen3.5-4B:50次运行暴露哪些真实失败模式

    Reddit 用户 /u/GapNew4766 在 M5 MacBook Pro 32GB 上用 Qwen3.5-4B(Q4_K_M、64K 上下文、llama-server)对 Pi、goose、Crush、Cline、OpenClaw、OpenCode、Hermes、Qwen Code、Codex CLI、Atomic Agent 共 10 个 Agent 框架各跑 5 个小任务,10 个中 6 个全部通过。失败不来自工具调用解析,而是精确匹配编辑无法逐字节复现旧文本导致反复重发、只修可见测试用例、数错 ERROR 行(40 vs 43)、模糊指令被字面执行写错位置;相同硬件和模型下最快框架 1m36s、最慢 17m43s,快 11 倍。

  2. Reddit · r/LocalLLaMA23

    Argon 与 DeepSeek V4.1 Flash、QwenFlashNext 对比:KV Cache 配置评审结果出人意料

    一位 LocalLLaMA 用户让 Argon 修改 Strata 上的 KV Cache 配置,再将 DeepSeek V4.1 Flash 与 QwenFlashNext(QFN)的评审结果交回 Argon 复核。Argon 最初建议改用 K8V8,但看到另两家评审后收回该建议,且对比中未列出自身分析;作者指出 Argon 运行环境可见性更高,结果仅供参考。

  3. Reddit · r/LocalLLaMA50

    Strata v0.2.1 基准测试:RTX 5080 16 GB 上 Qwen3.8-Flash-Next IQ3_XXS 64K 上下文跑出 150 tok/s 解码、4.4K tok/s 预填充

    社区在单张 RTX 5080 16 GB(Linux/Fedora 44)上用 Strata v0.2.1 测试 Qwen3.8-Flash-Next IQ3_XXS、64K 上下文,中位解码速度 150 tok/s,16K-32K 预填充约 4,400 tok/s,4K 预填充 3,755 tok/s、TTFT 1.08 s。agent 会话缓存命中 69.5%,每轮 TTFT 0.97 s。测试还发现 Fedora 44 上 GCC 16/15 混用导致链接失败,统一用 g++-15 编译可解决。

10月21日周三
  1. Reddit · r/LocalLLaMA51

    Qwen3.8-Flash-Next 对比 Opus 5.5:同一 Rust 任务六组合 12 次基准实测

    /u/deepu105 在 r/LocalLLaMA 发布受控编码评测:以 LlamaStash 路线图中的保存与恢复 llama-server KV cache 功能为同一任务,6 种模型与 harness 组合各跑 2 次共 12 个 PR,全部通过端到端测试。Claude Code + Opus 5.5 xhigh 平均 6.94/8 分,Claude Code + Flash-Next 为 5.5 分,Pi + Flash-Next 为 5.06 分;Opus 代码质量领先(82% vs 68%/66%),差距集中在边界情况、测试与文档。

  2. Reddit · r/LocalLLaMA62

    Intel Arc Pro B65 几乎没有跑分数据,作者自建 4x 平台实测长上下文吞吐

    /u/SamSausages 因 Intel B65 几乎没有公开跑分,自建 4x B65 平台,用 vLLM 对 Flash-Next W4A16 和 Qwen3.8-27B 的 INT4、FP8、BF16 等配置做长上下文吞吐扫描,覆盖 0 到 200K 上下文和 1 到 16 并发请求。数据显示 Flash-Next 开启 MTP-3 后单请求吞吐约翻倍(0 上下文 84.5 对 42.7 tokens/sec),200K 上下文下降到 45.8;Qwen3.8-27B INT4 在 4 卡下 8 并发可达 468.2 tokens/sec。

    推荐理由:作者自建 4x Intel B65 平台,实测多款模型在 16K 到 200K 上下文下的吞吐数据,并给出 MTP 开关与不同精度的对照。

10月20日周二
  1. Reddit · r/LocalLLaMA53

    Qwen3.8-Flash-Next 与 Opus 5.5 六组实测对比:真实 Rust 功能任务上 Opus 平均 82% 对 68%

    /u/deepu105 在 r/LocalLLaMA 发布受控对比:用 LlamaStash 路线图中的真实 Rust 功能(卸载前保存并恢复 llama-server 的 KV cache)作为统一任务,六种组合各跑两次共 12 个 PR,全部通过端到端测试。Claude Code + Opus 5.5 平均得分 82%,Claude Code + Flash-Next 为 68%,Pi + Flash-Next 为 66%,差距主要在边界情况、测试和文档;Flash-Next 耗时为 Opus 的 1.1 到 2.1 倍,但本地运行(Strix Halo 笔记本上约 Q4 量化、4.16 bpw、70W TDP)几乎零成本。

  2. Reddit · r/LocalLLaMA31

    Qwen3.8-FlashNext 与 Qwen3.8-27B 工具调用问题对比

    Reddit r/LocalLLaMA 用户反馈,ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF:IQ3_S 在 Basalt 上运行时工具调用失败明显增多,最多连续四五次失败才成功,而 Qwen3.8-27B 在 4bpw 以上量化及 llama.cpp、vLLM、exllamav3、NInfer 引擎下几乎无失败。作者计划用 BFCL v3 或 v4 测试不同配置以收集数据。

  3. Reddit · r/LocalLLaMA31

    Nvidia Nemotron 3.5 Super 120B 与 Qwen 3.8 27B 对比:HTML 动画叙事与可视化能力测试

    Reddit r/LocalLLaMA 用户用"降噪耳机原理"单文件 HTML canvas 动画提示词对比 Nvidia Nemotron 3.5 Super VL 120B A12B(Q4_K_M)与 Qwen 3.8 27B(Q8_0)。前者思考 7 分钟、31 tps,后者思考 20 分钟、15 tps,测试在 AMD Strix Halo 128GB、Win11 LM Studio 上进行,Nemotron 效果明显更好。

  4. GitHub · 灵魂体仓库67

    kevinelong/local-llm-lab:64GB DDR5 + RTX 5070 桌面机本地模型实测笔记本

    kevinelong 在 GitHub 发布 local-llm-lab 仓库,记录在一台 64 GB DDR5、RTX 5070 12 GB 的 Windows 桌面机上对本地大模型的系统实测,并列出 693 项检查的九套基准。最佳配置为 Qwen3.6-35B-A3B Q4_K_M 经 llama.cpp 预配置(context 131,072、--cpu-moe),以及由 Strata 流式从磁盘服务的 Qwen3.8-Flash-Next Q2_0,两者在排名指标 414/414、全部九套 692/693 上逐格持平,后者的 1,100 项知识测试快 31%。

    推荐理由:作者在固定一台桌面机上实测本地模型的匹配度、速度和分数,并公开预测记录与纠错,方法可迁移到自己跑本地评测时参考。

10月19日周一
  1. Reddit · r/LocalLLaMA64

    裸 IPython harness 用 Qwen3.5-9B 在 TB-Lite 上追平生产级 coding agent,工具输出归一化消除大部分波动

    /u/HauntingMoment 在 r/LocalLLaMA 报告,单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身,各 harness 约 25-30% 的调用用于读文件,工具使用更多反映系统提示词而非模型;OpenHands 因默认硬编码 temperature=0.0 最稳定,但同一任务 20 次试验的通过率仍在不同任务间大幅波动。

    推荐理由:作者用多 harness 对照实测定位了小模型 agent 波动的来源,并给出约 40 行正则归一化工具输出这一可复用的降噪方法。

  2. Reddit · r/LocalLLaMA63

    Qwen3.8-27B 与 Flash-Next 在消费级硬件上的推理引擎实测与成本对比

    /u/FeydRowan 在 2× RTX 5070 Ti + 96 GB DDR5 上整理了可运行 Qwen3.8-27B 和 Flash-Next(125B MoE、6B 激活)的各推理引擎 decode 速度,区分了本人验证与作者自报数据,capy-flash(DFlash2)在 27B 上达 379 tok/s。文中指出 TP 比层切分更快、drafter 可带来 2–3× 加速、单模型内核在 batch 1 下比通用引擎快 2–6×;按本月欧盟含税价折算,两张中端卡每欧元性能比 5090 高 3–10×,且 96 GB DDR5 涨价后约占专家放内存方案成本的 40%。

    推荐理由:作者在同一台机器上实测多款推理引擎并按欧元换算每千欧元的 tok/s,还指出 2026 年 RAM 涨价改变了性价比排序。

  3. Hugging Face · 新模型:abliterated50

    RTX 3080 20 GB 实测 Qwen3.8-27B 两个 abliterated 量化版的 MTP 速度与困惑度对比

    作者在单张 RTX 3080 20 GB 上用 llama.cpp 实测了 Qwen3.8-27B 的 Huihui 与 Heretic RVN 两个 abliterated 量化版本,仓库不含模型权重。结果显示 RVN IQ4_XS 在 MTP 下最快(代码 69.4 tok/s、散文 58.2 tok/s,比 Huihui 快约 5–7%),德语困惑度略低,通过 88.6K 上下文与全部 6 项工具调用测试,但多占 1.1 GB 显存导致 n-max 3 无法启动;MTP 草稿深度 n-max 2 是综合最优设置,MTP 对 prefill 无帮助反而约损失 5%。

10月18日周日
  1. GitHub · 去对齐工具与仓库52

    晴天 SVG 海报横评:同一提示词实测 8 平台 24 个大模型

    greenwoodpro 发布晴天 SVG 海报横评,用同一句提示词在 8 个平台、13 家厂商的 24 个模型上各生成一次 SVG,共 59 件作品,全部由模型手写矢量图形,不调用图片生成。作者用 Edge 无头浏览器按原始 viewBox 2× 渲染成 PNG,结论是能当海报用的不超过十张,最好的三张来自 v0 上的 GPT (astra) xhigh、claude.ai 的 Sonnet 5.5 high 和商汤 SenseNova;作品存在同质化重、人物回避正脸、小字排版失控等通病,且思考强度更高不等于更好。画廊托管在 GitHub Pages,仓库附 30 份 SVG 源码,其中 v0 侧 Sonnet 5.5 max 与 high 输出 MD5 相同,系重复导出已合并计数。

  2. Reddit · r/LocalLLaMA31

    新一代本地编程 LLM 表现相当不错,远超过去的大参数模型

    一位 Reddit r/LocalLLaMA 用户自建测试:让模型学习一种新图形语言的语法并生成可被程序解析的图形。Qwen 3.8 与 Ornith-1.5 表现最佳,两者仅 27B,却在语法理解和想象力上击败了 DeepSeek 4 flash、Qwen 3.5 122b、GLM 4.7 等更大的本地模型,想象力甚至超过 Haiku 5.5;GLM 4.7 已生成 66k token 思考仍未完成。

  3. Reddit · r/LocalLLaMA72

    RX 9060 XT 16GB 上十个模型跑五项编码任务实测

    作者在一张 RX 9060 XT(16GB)上用五项编码任务实测十个模型,每轮只给 spec 文件,需自行产出 solution.py 和 test_solution.py 并跑测试,由模型看不到的 checker 评分,单格上限 1750 秒。deepseek-v4.1-flash 云端 API 与 Qwen3.8-27B UD-IQ4_XS+MTP(kvstream fork)均 5/5,前者 236 秒 43k tokens,后者 94 分钟 185k tokens;其余本地模型多在 4/5 或更低,c4、c5 是主要分水岭,失败集中在 tie-break 规则、嵌套组解析和用 re 回溯导致超时或内存暴涨。

    推荐理由:作者自建带盲测 checker 和性能门槛的编码评测,在 16GB 显卡上实测十个模型,失败原因逐个拆到具体规则和实现细节。

10月17日周六
  1. Reddit · r/LocalLLaMA32

    Qwen Flash Next 量化等级与温度参数对比实测:性能、任务时间与质量

    一位 Reddit 用户在本地硬件上对 Qwen Flash Next 的 q3_xxs、q3_s、q4_xs 三种量化版本,分别在 temp 1(官方推荐采样参数)和 temp 0 下各跑 3 次共 12 组测试,任务为浏览器内 Tetris 游戏。结果显示各量化版本质量均可接受,低量化版本因思考与额外工具调用生成更多 token,总解码量与任务时间随量化等级提升而下降;temp 0 或略降任务时间并提升一致性,但样本太少不足以下结论。作者建议在硬件允许下选最高量化,关注任务时间而非解码速度。

  2. Reddit · r/LocalLLaMA28

    Qwen 3.8 Flash Next 真有那么强吗?作者实测对比 Qwen 3.8 27B 后表示存疑

    一位 r/LocalLLaMA 用户在 4x 3090 上实测 Qwen 3.8 Flash Next UD-Q4_K_XL,与 Qwen 3.8 27B Q8 直接对比后认为差距明显,Flash Next 并不如社区宣称的那样好。在用两个提示词生成 Windows 俄罗斯方块独立 .exe 的测试中,27B 模型首提示出现两个 bug(暂停和游戏结束后按键仍生效),但第二次提示自行修复;strata 框架跑 4 小时未产出可玩 exe,生成速度虽快但结果比 llama.cpp 更差。

  3. Reddit · r/LocalLLaMA31

    Nemotron 3.5 Bolt 真实任务评测:与 Qwen Flash Next 各胜一局

    一位数据工程师用两个真实 ETL 任务(重构 run.sh、编写 orchestrator.py)实测 Nemotron 3.5 Bolt,并以 Qwen Flash Next(UD-IQ4_XS、llama.cpp)的已完成结果作对照,由 Gemini 评审。结果两者各胜一局:Nemotron 在脚本重构上胜出,Qwen 在 orchestrator.py 上胜出。作者认为 Nemotron 3.5 Bolt 足以胜任其工作负载,在其服务器上平均速度约 130t/s,且 2-bit 量化下表现令人印象深刻。

10月16日周五
  1. Reddit · r/LocalLLaMA29

    无人谈论的 Qwen Flash Next:潜在 SOTA 级 Q2 量化

    Reddit 用户实测 Agantai 的 GYRO 系列量化 GYRO-M,称其在 KLD、top 1 和体积上同时优于 ISTA-lab 的量化。3 天测试中未出现循环问题,最长自主运行 2-3 小时,速度与 ISTA 2 bit 量化相当,整体接近 ISTA q3 水平但体积更小,仅在西里尔文本编辑上偶有出错。

  2. Reddit · r/LocalLLaMA31

    阿里巴巴 Qwen 团队发布 BlenderWorld Benchmark

    阿里巴巴 Qwen 团队于 10 月 14 日发布 BlenderWorld Benchmark 仓库,用于评测视觉智能体根据真实世界参考在 Blender 中创建 3D 场景的能力。作者推测 Qwen 未来可能聚焦 3D 设计智能体技能及通过 MCP 使用 Blender 等工具,并可能公布后续模型在该基准上的成绩,但这并非官方公告。

  3. Reddit · r/LocalLLaMA31

    Qwen3.8-Flash-Next 在双 AMD AI Pro R9700 平台上的个人推理方案对比评测

    作者在双 AMD AI Pro R9700(Lenovo P620、Threadripper Pro 3945WX、128 GB DDR4)上对比了 Qwen3.8-Flash-Next 的三种推理方案:radiance 1.4.0、Strata 0.1.42 和 Unsloth 的 llama.cpp fork。radiance 生成速度最快达 147.2 tps,Strata 为 79.1 tps,llama.cpp 仅 17.6 tps;三者与 OpenRouter 上 Alibaba 托管的 Qwen3.8-Flash 输出一致性接近,作者认为可视为等效并按速度选择。

10月15日周四
  1. Reddit · r/LocalLLaMA52

    Qwen3.8 Flash Next Unsloth 量化版实测:芬兰语能力随量化明显下降

    /u/MarkoMarjamaa 用 Project Lönnrot 三本芬兰语书、Project Gutenberg 同源英语书和 wiki 语料,实测 Qwen3.8 Flash Next Unsloth 各量化档的 KLD 与 top-1% 差异。结果显示芬兰语受量化影响明显,Q8 时 KLD 已远超 0.02 的可察觉阈值;其自测的混合(chimera)模型把 Unsloth Q4 换成 Q8 级 n-gram,效果介于 Q4 与 Q5 之间,且 n-gram 从磁盘读取不占内存。原文链接:https://www.reddit.com/r/LocalLLaMA/comments/1x6kw7k/

  2. Reddit · r/LocalLLaMA54

    Qwen3.8 27B 16GB 显存 KV 量化实测:21 个模型 9 种量化共 189 组基准

    Reddit 用户 /u/Fancy-Snow7 对可装入 16GB 显存的 Qwen3.8 27B 量化组合计算 KLD 与困惑度,覆盖 21 个模型、9 种 KV 量化共 189 组基准。结论是 q5_1/q5_1 几乎总是优于 q8_0/q4_0 或 q4_0/q8_0,而后两者差异很小;模型量化升一档跑 q4_0/q4_0 在 KLD 上几乎总优于低一档配 f16/f16,建议先选最高可用模型量化,再视余量提高 KV 量化。作者提醒该结论适用于较低量化,从 q6 升到 q8 时提高 KV 量化收益可能更大,且不适用于 Gemma 等需 f16 KV 的模型;Bonsai 和 swift 量化因属微调,KLD 差异显著,计算意义不大。完整基准数据见评论区。

  3. Reddit · r/LocalLLaMA22

    Qwen 3.8 Flash Next 与 DeepSeek-V4 Flash 对比讨论:速度与质量如何取舍

    一位 Reddit r/LocalLLaMA 用户在 128GB M1 Ultra Mac Studio 上对比 DeepSeek-V4 Flash 与 Qwen 3.8 Flash Next 的使用体验。DeepSeek-V4 的 benchmark 成绩略低于 GPT 5.5 high,Flash Next 略高于 5.4/5.5 xhigh,但 Flash Next 完成任务耗时明显更长,大约 5 个任务的时间才能换来 1 个任务的完成度。该用户仍在使用 Qwen 3.8 27b,因其占用资源更少,可腾出机器做图像生成等其他工作。

  4. Reddit · r/LocalLLaMA37

    Qwen 3.8 27B 与 Flash Next 125B 同题对比:威胁监测项目的代码评审、测试与双方失败点

    同一提示词下,Qwen 3.8 27B 与 Flash Next 125B 分别构建实时网络威胁情报平台(FastAPI、异步摄取、WebSockets、Three.js 地球)。两者均未满足完整需求,但 27B 的代码库更值得修复延续:Flash Next 测试更多(34 通过 vs 16 通过),却出现 Feodo 适配器 5 条记录解析 0 条、DShield 误读列、重复摄取致 count=100 变 200 等数据契约错误。

  5. Reddit · r/LocalLLaMA31

    Qwen 3.8 27B 与 Flash Next 125B 在同一威胁监控项目上的代码评测:测试、集成与双方失败点对比

    同一提示词下对比 Qwen 3.8 27B 与 Flash Next 125B 构建实时网络威胁情报平台(Python、FastAPI、WebSockets、Three.js 地球仪)。两者均未完整满足提示词;Flash Next 125B 的 pytest 测试 34 通过、27B 为 16 通过,但 Flash Next 多个核心数据契约损坏,如 DShield 适配器把子网前缀 24 当作活动计数。作者认为 27B 的提交更值得修复和继续构建,并强调这是单次产物对比而非受控能力研究。