跳到正文
#Qwen
10月18日周日
  1. Reddit · r/LocalLLaMA31

    新一代本地编程 LLM 表现相当不错，远超过去的大参数模型

    一位 Reddit r/LocalLLaMA 用户自建测试：让模型学习一种新图形语言的语法并生成可被程序解析的图形。Qwen 3.8 与 Ornith-1.5 表现最佳，两者仅 27B，却在语法理解和想象力上击败了 DeepSeek 4 flash、Qwen 3.5 122b、GLM 4.7 等更大的本地模型，想象力甚至超过 Haiku 5.5；GLM 4.7 已生成 66k token 思考仍未完成。

  2. Hugging Face · 新模型：abliterated54

    Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 量化版发布

    alpha2beta 在 Hugging Face 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 GPTQ Int4 W4A16 量化版（sym、group-128），面向 vLLM XPU 后端并在 Intel Arc Pro B60 上验证，截至 2026-10-18 是该模型在 Hub 上唯一的 GPTQ 量化。实测 decode 40.183 tok/s、TTFT 0.460 s，MTP 投机解码 k=4 时相对关闭草稿提速 2.08 倍；12,288 token 长上下文下 decode 从 40.200 降至 37.315 tok/s（-7.2%）。

    推荐理由：作者给出了在 Intel Arc Pro B60 上的实测吞吐、长上下文衰减和 16 题质量分，并记录了校准偏差与评测陷阱，便于复现和横向对比。

  3. GitHub · 灵魂体仓库41

    MobitSolidity/marfin-llm：CPU 本地双语金融 LLM 的主系统提示词与治理文档仓库

    GitHub 仓库 MobitSolidity/marfin-llm 提供面向 CPU 本地运行、波斯语–英语双语金融 LLM 的主系统提示词（SYSTEM_PROMPT.md v2.0）及配套治理文档，涵盖 RAG、MCP/tool calling、TradingView 集成、券商连接与模拟/实盘交易门控。仓库按阶段推进，当前处于 Phase 8，包含决策日志 D-0001–D-0123、Phase 4 失败归因脚本、Phase 6 红队评测（51/51 mutants killed）以及选定 Q4_K_M 量化的 Ollama Modelfile 等部署与安全组件。

  7. Reddit · r/LocalLLaMA18

    Qwen 4 会不会减少思考 token？LocalLLaMA 社区讨论

    Reddit r/LocalLLaMA 用户讨论 Qwen 4 系列能否在保持同等或更高智能的前提下减少思考 token，认为这是比硬件或推理优化更大的升级。发帖者称正在以约 28 tokens 每秒的速度运行 qwen flash next 3.8，其中大部分 token 花在思考上，并希望 Qwen 4 能在圣诞节前发布。

  8. Reddit · r/LocalLLaMA33

    网友用 5070 Ti + 3070 组建 Chimera 双卡本地 LLM 方案

    一位 Reddit 用户将 $750 购入的 5070 Ti 与闲置的 3070 通过 PCIe riser 组成混合双卡，用 Ollama/llama.cpp 拆分运行 Qwen 3.6 35B-A3B（MoE，约 3B 激活参数），在 16k 上下文下达到约 82 tok/s。目前约 23% 的层溢出到系统内存，3070 尚有约 4GB 显存未利用，作者计划调整拆分比例并加装外置 enclosure。

  9. Reddit · r/LocalLLaMA55

    网友用单张 RX 9060 XT 16GB 本地跑 Qwen 3.8 27B 262k 上下文

    Reddit 用户 /u/Maglcite 分享了一套低成本本地 LLM 部署：仅用一张 RX 9060 XT 16GB 和 24GB DDR5，以 unsloth IQ4XS 量化加 q4 KV cache（keys 用 q8）、MTP 与 ngram 预测，跑 Qwen 3.8 27B 达 262k 上下文。实测 20k 上下文生成 42.7 tps、预填充 658 tps，200k 时为 35/500 tps；使用 achyudh 的 llama.cpp fork，并让 Grok bot 通过 SSH 修复了缺失 PCIe atomics 的 bug。

  10. Reddit · r/LocalLLaMA72

    RX 9060 XT 16GB 上十个模型跑五项编码任务实测

    作者在一张 RX 9060 XT（16GB）上用五项编码任务实测十个模型，每轮只给 spec 文件，需自行产出 solution.py 和 test_solution.py 并跑测试，由模型看不到的 checker 评分，单格上限 1750 秒。deepseek-v4.1-flash 云端 API 与 Qwen3.8-27B UD-IQ4_XS+MTP（kvstream fork）均 5/5，前者 236 秒 43k tokens，后者 94 分钟 185k tokens；其余本地模型多在 4/5 或更低，c4、c5 是主要分水岭，失败集中在 tie-break 规则、嵌套组解析和用 re 回溯导致超时或内存暴涨。

    推荐理由：作者自建带盲测 checker 和性能门槛的编码评测，在 16GB 显卡上实测十个模型，失败原因逐个拆到具体规则和实现细节。

  11. GitHub · 灵魂体仓库66

    Alia v0.2.0 发布：Linux 全本地 coding-agent 启动器

    Alia 是一个仅支持 Linux 的全本地 coding-agent 启动器，检测 NVIDIA GPU、显存和内存后自动选择硬件配置、启动 llama-server 并打开 Qwen Code 终端或 Web Shell。v0.2.0 在 RTX 3070 8GB 上实测 Qwen3.6 35B-A3B IQ3_XXS 4K 上下文生成速度 49.9 tok/s，提供多档预设配置、可选 MCP 浏览器与搜索服务器、bubblewrap 沙箱和自动硬件配置选择，README 附带完整基准方法与原始数据。

    推荐理由：README 附带在 RTX 3070 上的多配置实测数据和基准方法说明，读者可以据此评估本地跑 coding agent 的速度与内存需求。

  13. Reddit · r/LocalLLaMA53

    Qwen Flash Next 在 Mac Mini 上可不满内存运行：SSD 流式不同内存占用的实测结果

    作者分享在 Mac Mini M5 64GB 上通过 SSD 流式运行 Qwen Flash Next（Unsloth UD-Q4_K_XL 量化）的实测结果，模型无需占满内存即可运行。prompt processing 采用 carousel buffering 机制，decode 使用训练出的 lookahead 模型提前从 SSD 取专家；满内存约 29 tks 解码，减 4GB 后约 26 tks，非 LLM 服务空间低于约 18GiB 会出现 swap。项目地址 https://github.com/skeggsguy/Flash-next-ssd。

  15. Reddit · r/LocalLLaMA62

    网友用两台游戏 PC、M4 Pro MacBook 和两台 iPhone 17 Pro Max 串联跑 Qwen3.8 Flash Next，60k 上下文达 37-39 tok/s

    Reddit 用户 /u/StayLameBro 将两台游戏 PC、一台 M4 Pro MacBook 和两台 iPhone 17 Pro Max 通过 Ethernet 和 USB-C 串联，分布式运行 48 层、每层 512 专家的 MoE 模型 Qwen3.8 Flash Next。实测 60k 上下文写入 37-39 tok/s、读取 856-895 tok/s，靠流水线投机采样平均每步产出约 2.2 个 token；另一布局单次读取超 164k token，完整 262k 布局在筹备中，代码将发布于 github.com/StayLameBro/backburner。

    推荐理由：作者用五台家用设备串行跑 MoE 大模型，给出了各设备分层方案和不同上下文长度的实测速度，方法可复现。

  16. Reddit · r/LocalLLaMA63

    4090 单卡加内存到 64GB 后将 Qwen3.8-Flash-Next 从 IQ2_XS 升级到 UD-IQ4_XS

    Reddit 用户 /u/Distinct-Pie2389 把内存从 32GB 升到 64GB DDR5-5800 后，在 RTX 4090 24GB 单卡上用 Strata 0.1.45 将 Qwen3.8-Flash-Next 从 IQ2_XS 换成 UD-IQ4_XS，40GiB 专家权重驻留内存、0 次磁盘读取，262K 原生上下文下解码 87-98 t/s，136K 针测试通过，专家缓存命中率约 91%。对比 IQ2_XS 的 140-160 t/s 牺牲了速度，但按 Strata 量化表 UD-IQ4_XS 与 Q8_0 顶部 token 一致率达 88.9%；作者还发现 STRATA_ROUTE_TAIL_SKIP=7 在内存预算模式下使对 Q8_0 的 KL 翻倍，已设为 0。

    推荐理由：作者给出从 2-bit 升到 4-bit 后的完整量化档位、显存内存分配和实测速度对比，可迁移到自己的本地部署配置。

  17. arXiv · cs.AI52

    在手机 NPU 上运行一阶 LoRA 训练的系统研究

    论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统，训练图、适配器和优化器留在 CPU，并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护，支持可恢复执行和热节流以作为后台任务运行，在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。

    推荐理由：论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法，涉及输入梯度实现、精度选择和端侧个性化工作负载，思路可迁移。

  18. Hugging Face · 新模型：uncensored60

    sky3c 发布 Qwen3.8-27B TURBO 去对齐 GGUF 微调版，ARC-C 达 735

    sky3c 在 Hugging Face 发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本，用 Heretic v1.2.0 的 ARA 方法去审查，8 bit 拒绝率从 99/100 降到 0/100，KL 散度 0.0535。模型将思考 token 减至原版的 1/2 到 1/10，8 bit ARC-C 735、ARC-E 882，4 bit ARC-C 719，作者称在全部 7 项基准上超过原版 Qwen3.8-27B。提供常规与 MTP 两种 GGUF 量化，Q4_K_S 下常规版约 75 t/s、MTP 版可超 90 t/s（5090 实测），支持 256k 上下文与视觉（需另下 mmproj 文件），工具调用建议 Q4_K_M 以上量化。

    同一新闻，精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版，ARC-C 达 735》

  19. arXiv · cs.CL32

    BanglaBBQ：面向孟加拉国语境的问答偏见基准

    BanglaBBQ 是一个覆盖孟加拉语和英语的问答偏见基准，捕捉孟加拉国语境下的刻板印象，保留了 140 个改编模板并新增 5 个本地类别、372 个经人工校验的新模板。评测 Qwen3-4B、Qwen3-8B、GPT-4.1-mini 和 Gemini 2.5 Flash 四个模型显示：语境模糊时所有模型都倾向刻板印象，且英语结果无法预测孟加拉语中的表现。

10月17日周六
  1. GitHub · 3D 生成新仓库45

    imyassmine/rag：基于 Qwen3-0.6B 的开源 RAG 代码库问答项目

    GitHub 仓库 imyassmine/rag 是一个检索增强生成（RAG）流水线，用 AST 感知分块和 TF-IDF/BM25 检索，搭配 Qwen/Qwen3-0.6B 生成有依据的回答，面向约 1,900 个文件的 Python 与 Markdown 代码库（vLLM 源码）。BM25 将标识符拆词并索引文件路径后，代码 recall@5 从 35.4% 提升到 65.7%，docs recall@5 达 79.0%；项目以 CLI 形式提供，并带 recall@k 评测工具。

  2. Hugging Face · 新模型：abliterated28

    Hemmingway-1-27B-abliterated 的 INT8 W8A8 量化版发布

    moeshawky 发布 distributedcognition/Hemmingway-1-27B-abliterated 的 INT8 W8A8 动态量化版，基于 27.32B 参数的 BF16 原模型，体积从 54.64 GB 降至 30.30 GB（55.5%），仅量化语言模型解码器中的 496 个 linear 层，lm_head、embed_tokens、MTP 头与 Gated DeltaNet 状态张量保持 BF16。实测 INT8 权重 SNR 约 39.6–40.8 dB，logits 分布接近原模型；可直接在 vLLM、SGLang 或 Transformers 中加载，尚未做 benchmark、吞吐或消融鲁棒性测试，许可证为 apache-2.0。

  3. Reddit · r/LocalLLaMA44

    Reddit 网友实测：Qwen 3.8 Flash 搭配完整 FP8 n-gram 表（PLE）提升生成质量

    Reddit r/LocalLLaMA 用户发现，Qwen 3.8 Flash 常见 GGUF 量化中 PLE（SSD 上的 n-gram 表）被重度量化，影响性能。其用 ple_fp8_pack.py 打包 FP8 PLE（bf16 sidecar 仅 llama.cpp 支持，Strata 需 FP8），在 iq3_s 量化下明显减少低级错误且不损失速度，仅需约 47GB 额外磁盘空间。

  4. Reddit · r/LocalLLaMA32

    Qwen Flash Next 量化等级与温度参数对比实测：性能、任务时间与质量

    一位 Reddit 用户在本地硬件上对 Qwen Flash Next 的 q3_xxs、q3_s、q4_xs 三种量化版本，分别在 temp 1（官方推荐采样参数）和 temp 0 下各跑 3 次共 12 组测试，任务为浏览器内 Tetris 游戏。结果显示各量化版本质量均可接受，低量化版本因思考与额外工具调用生成更多 token，总解码量与任务时间随量化等级提升而下降；temp 0 或略降任务时间并提升一致性，但样本太少不足以下结论。作者建议在硬件允许下选最高量化，关注任务时间而非解码速度。

  5. arXiv · cs.CL61

    arXiv 论文：RL 给推理带来的是 base 模型原本不会做的少数关键决策

    一项 arXiv 研究通过对 Qwen3-4B-Base 做生成时干预，分析 RLVR 对数学推理的增益来自哪里。仅在两模型贪心解码分歧的约 4% 位置借用 RL 模型的 token，就能恢复 90.5% 的 pass@1 增益；强制 base 模型以 "Alright" 开头可恢复 35% 的 RL 增益，开头之后的后续替换再增加 5.2 个百分点，而固定插入 "Wait" 等反思词的规则无法复现该效果。稀疏替换在 k=256 时解决 67.5% 的问题，高于 RL 模型的 61.4%，同时保留较多 base 模型多样性；比较基于相同尝试次数而非相同算力。

    推荐理由：论文用生成时干预把 RLVR 增益拆到具体 token 决策层面，结论对理解 RL 训练到底改变了什么有参考价值。

  7. Reddit · r/LocalLLaMA19

    Qwen3.6 35B A3B 在 llama-server 上为何比 26B 稠密模型快近 10 倍

    一位用户在 llama-server 上以 Q5_K_XL 量化运行 Qwen3.6 35B A3B（26GB、132k 上下文、KV cache q8_0），在 4060TI 16GB 加老 i7 与 48GB DDR4 的配置下获得 19.53 t/s 生成速度，prompt 处理 132.58 tokens/s，仅占 4.5GB VRAM；而 26B 稠密模型（Gemma 或 Qwen）Q4_K_M 量化仅约 2 t/s。用户疑惑 MoE 版本为何快近 10 倍，并询问专家层经 PCIe 与 DDR4 是否会成为瓶颈。

  9. Hugging Face · 新模型：abliterated60

    Qwen2.5-32B-Instruct abliterated 去对齐版本发布

    varun-balani 在 Hugging Face 发布 Qwen2.5-32B-Instruct 的 abliterated 版本，用 Heretic 的 ARA 修饰器去除拒绝方向。mlabonne/harmful_behaviors 拒绝率从 98/100 降到 10/100，相对基座模型 KL 散度 0.22；该结果从 24 次试验的优化中选出，提供 bf16 全量权重及 Q4_K_M（约 20 GB）和 Q8_0（约 35 GB）GGUF 量化版本，Q4_K_M 可在约 36 GB 内存的本地环境用 Ollama、LM Studio 或 llama.cpp 运行。

    推荐理由：原文给出拒绝率前后对比和 KL 散度数据，可据此判断这个去对齐版本的行为漂移程度。

  10. GitHub · 3D 生成新仓库49

    Multi-Agent CAD（MAC）开源：从自然语言生成可编辑 CAD 零件与装配体

    开源项目 MAC（Multi-Agent CAD）通过自然语言生成可编辑 CAD 零件与多零件装配体，新增视觉验证、独立 Judge 与实验性装配生成（Technology Preview）。在十提示词、141 特征的 single-part benchmark 中，MAC v2 基于 Qwen 3.8 以 140/141（99.3%）通过率、约 $4.85 成本完成，比复现的 CAD Skill 基线少用 62.7× token、成本低 6.1×；装配工作流可导出 STEP、STL、GLB 和 URDF，项目已获近 1,000 GitHub stars。

  11. Reddit · r/LocalLLaMA42

    Qwen3 14B 评测模型不比 8B 强：一处提示词修改让正确评分从 3/14 升到 10/14

    一位 LocalLLaMA 用户在 Ollama 本地 agent 环境中测试发现，Qwen3 14B 作为 judge 模型并不比 qwen3:8b 更准，还因超出 3060 VRAM 慢约 3 倍。失败主因是 judge 把 coder 仅提出而未执行的命令也扣分；在提示词中说明这一区别后，正确评分从 3/14 提升到 10/14。作者认为结构比模型规模更重要，但样本较小。

  12. arXiv · cs.CL50

    哪些长文档有用？上下文扩展数据选择的对照研究

    一项对照研究在 Qwen2.5-3B 上以 6B token 持续训练预算比较上下文扩展的长文档选择方法，发现随机采样长文档优于 repacking，而按 LongPPL 关键 token 密度选文档效果更好。其提出的 truncLongPPL 通过截断前缀计算密度，获得 2.28× 端到端评分加速，在验证 HELMET 上超过 random-long 4.54 分、held-out RULER 上 3.28 分。在 Qwen2.5-3B、Qwen3-8B、OLMo 3-7B 的短长混合训练及 SFT 后，该方法的 LongBench v2 提升 1.13–1.67 分、MRCR 提升 0.62–1.44 分。

  13. Hugging Face · 新模型：abliterated20

    huihui-ai 发布 Huihui-Qwen3.8-Flash-Next-abliterated-v2-GGUF 去审查版本

    huihui-ai 基于 Qwen/Qwen3.8-Flash-Next 通过 abliteration 技术移除拒绝行为，发布去审查的 GGUF 版本 v2。相比第一版调整了消融重点，且未对专家（experts）进行消融，适合小说写作和编程。该版本安全过滤大幅降低，建议用于研究、测试或受控环境，支持最新 llama.cpp，示例命令上下文长度为 262144。

  14. Hugging Face · 新模型：uncensored28

    VicTeam Agency 发布 Qwen3.8-27B-Uncensored GGUF 量化版

    VicTeam Agency 基于 Alibaba Qwen 的 Qwen3.8-27B（Apache 2.0）发布去审查版 GGUF 模型，采用 huihui-ai 社区的 abliteration 去除拒答、Unsloth 动态量化，面向单显卡本地智能体开发。提供 Q4_K_XL（约 17.4 GB，质量优先）和 IQ4_XS（约 14.4 GB，可完整装入 16 GB 显存、速度更快）两种量化，可通过 llama.cpp（llama-server --jinja）和 llama-swap 运行。

  15. Reddit · r/LocalLLaMA28

    Qwen 3.8 Flash Next 真有那么强吗？作者实测对比 Qwen 3.8 27B 后表示存疑

    一位 r/LocalLLaMA 用户在 4x 3090 上实测 Qwen 3.8 Flash Next UD-Q4_K_XL，与 Qwen 3.8 27B Q8 直接对比后认为差距明显，Flash Next 并不如社区宣称的那样好。在用两个提示词生成 Windows 俄罗斯方块独立 .exe 的测试中，27B 模型首提示出现两个 bug（暂停和游戏结束后按键仍生效），但第二次提示自行修复；strata 框架跑 4 小时未产出可玩 exe，生成速度虽快但结果比 llama.cpp 更差。

  16. Reddit · r/LocalLLaMA56

    Qwen 3.6 27B 本地十条实用玩法分享：从自建应用到给 Agent 加记忆

    Reddit 用户 GrungeWerX 在 r/LocalLLaMA 分享 Qwen 3.6 27B 的十条本地实用玩法，称基于四个多月使用经验整理，并推荐搭配 llama.cpp。做法包括让模型自建应用和聊天前端、创建 ReAct 循环与 MCP 工具、用子智能体扩展上下文、注入元数据实现时间感知和上下文超限时自动换备份模型，以及启动时加载历史会话摘要作为记忆。

  17. Hugging Face · 新模型：uncensored60

    tatekuperus 发布 Qwen3.6-27B-Fable-Fusion-711 无对齐 GGUF 量化版

    tatekuperus 在 Hugging Face 发布基于 Qwen/Qwen3.6-27B 的多阶段微调与合并模型 Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic GGUF 量化版，作者称其为首个在 8bit 和 4bit 下 ARC-C 超过 700 的该规模微调。去审查由 trohrbaugh 用 Heretic v1.2.0+custom 的 Arbitrary-Rank Ablation 方法完成，拒绝率从原版 99/100 降至 4/100，KL 散度 0.0469；作者给出的基准显示该模型在 7 项基准中 6 项超过 Qwen3.6-27B 基座。

    推荐理由：作者给出 Heretic 消融方法与去审查前后拒绝率对比，并附多组基准和第三方实测数据，可核对去对齐是否损伤模型能力。

  19. Reddit · r/SillyTavernAI18

    Qwen3.6 无法在 SillyTavern 中正常使用的排障求助

    一位用户在本地运行 SillyTavern 并通过自建服务器连接 llama.cpp 使用 Qwen3.6 时遇到输出不稳定问题：模型有时只输出一行，有时输出大段 "Here is a thinking process" 思考块和乱码标签。用户尝试了 jinja 模板、"derive from model metadata" 选项、在 System Prompt 添加标签以及 --reasoning-budget 0 参数均无效，且角色扮演中的 Impersonating 功能完全无法使用，在论坛求助通用模板。

  20. Reddit · r/LocalLLaMA42

    Qwen3.8-Flash 改进版聊天模板发布，附 Sharp 简洁模式选项

    Reddit 用户 returnity 发布自维护的 Qwen3.8-Flash-Next 聊天模板 v1.4/v1.5，修复了工具参数 JSON 字符串渲染失败、空块重放等问题，并移植 27B Sharp 的简洁块形成可选的 terseness 模式。实测在 llama.cpp 上 Flash-Next UD-Q5_K_XL、thinking off 时回答 token 减少 61%，thinking on 时减少 40%；作者提醒简洁模式会略降准确率。

  21. Reddit · r/LocalLLaMA32

    Qwen3.8-27B 在网页研究任务中出现反复写删 /tmp 文件的怪癖

    一位 r/LocalLLaMA 用户报告，在 Pi harness（含 Swift-Qwen）中本地运行 Qwen3.8 时，要求模型用自建 cli 工具 web_fetch 做网页研究时，它会先在 /tmp 写文件又立即删除，反复几次后才调用正确工具；其他 cli 工具任务无此现象。作者称 curl 无法渲染动态网页，其工具在后台运行真实浏览器，并征求解决办法。