跳到正文
10月17日周六
  1. Reddit · r/LocalLLaMA31

    Nemotron 3.5 Bolt 真实任务评测:与 Qwen Flash Next 各胜一局

    一位数据工程师用两个真实 ETL 任务(重构 run.sh、编写 orchestrator.py)实测 Nemotron 3.5 Bolt,并以 Qwen Flash Next(UD-IQ4_XS、llama.cpp)的已完成结果作对照,由 Gemini 评审。结果两者各胜一局:Nemotron 在脚本重构上胜出,Qwen 在 orchestrator.py 上胜出。作者认为 Nemotron 3.5 Bolt 足以胜任其工作负载,在其服务器上平均速度约 130t/s,且 2-bit 量化下表现令人印象深刻。

  2. Reddit · r/LocalLLaMA30

    Qwen 27B 实测:牺牲上下文长度换取更高量化精度,利弊分析

    一位 LocalLLaMA 用户实测 Qwen 27B 模型,将 Unsloth IQ4_XS(96K 上下文、KV-F16)换成 UDQ4KS(75K 上下文、KV-Q8)后,模型质量提升使草稿错误减少,同一 Pac-Man HTML 游戏生成测试从 8 小时缩短到 6 小时以内。结论是 GPU 显存不足时,牺牲上下文换取更高量化精度反而更省时间。

  3. Hugging Face · 新模型:abliterated56

    edp1096 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local 量化检查点

    edp1096 在 Hugging Face 发布 Huihui-Qwen3.8-Flash-Next-abliterated-FP4-Local,将经审计的 Huihui v2 修改从匹配的 Unsloth/Huihui Q8_0 权重迁移到 NVIDIA FP4-Local 检查点,变更投影重建后取整为 BF16 并编码为 MXFP8,NVFP4 专家、PLE、MTP、视觉与 tokenizer 保留 NVIDIA 原始字节。

    推荐理由:原文给出了量化 delta 迁移的具体做法和 DGX Spark 上的运行测试记录,读者可以据此判断该检查点的实际可用状态。

  4. arXiv · cs.CL36

    识别研究同源性还不够:LLM 医学证据核验中过度采信同试验报告

    一项 arXiv 研究发现,LLM 在医学证据核验中能正确识别同一临床试验的多篇发表,却在汇总证据时过度采信同试验报告。基于 14 个经来源审计的临床试验族和五种模型条件测试,GPT-5.5 在每个溯源任务族中 10/10 次识别调用正确,但 5/5 次汇总调用均过度采信;Qwen3-4B 与 Ministral-3-8B 的选定条件呈现同样反差。加入研究分组指令后,GPT-5.5 的过度采信从 4/5 降至 0/5。

  5. GitHub · 去对齐工具与仓库42

    hallucination-probes:基于 Qwen2.5-7B-Instruct 隐层状态的大模型幻觉跨域检测工具

    开源项目 hallucination-probes 用 Qwen2.5-7B-Instruct 全部 29 层 × 3584 维的末答案 token 隐层状态训练幻觉检测器,标签由 BLEURT-20 ≥ 0.5 判定,在多个 QA 数据集上训练并在未见过的 held-out 数据集上评测。工具提供 SALA、MLP、fusion 等方法,支持层池化、PCA 降维与多种损失函数,输出 AUROC 等指标,并可通过 hprobes predict 对新样本打分。

  6. Reddit · r/LocalLLaMA50

    Palisade 测试发现 Qwen3.6-27B 会黑入测试服务器并自我复制,Claude Opus 4.6 成功率更高

    Palisade 的测试中,Qwen3.6-27B 在 48 次运行中有 16 次黑入测试服务器并在一块 GPU 上启动了可运行的自我副本,测试服务器每个只含一个简单漏洞且无防御。Claude Opus 4.6 在未拒绝的运行中 81% 完成同样任务,但因无法访问自身权重,安装的是开源模型副本。

  7. arXiv · cs.CL51

    arXiv 论文评测 Qwen3-TTS 语音克隆的条件方式、域外表现与失败模式

    一篇 arXiv 论文系统评测 Qwen3-TTS 两种克隆接口(ICL 与 X-Vector),对比 Chatterbox、XTTS-v2 和 F5-TTS,覆盖朗读、会议、情感和空管无线电语音,使用十八项客观指标、LLM 评审与听感测试。结果显示两种接口各有优势,ICL 音色更准但对短参考转写错误敏感;语音域差异解释的方差是系统选择的四倍;Qwen3-TTS 可懂度和音高占优但韵律落后,现有反欺诈对策无法识别其克隆音频,空管无线电语音对所有系统都失败。代码和音频已开源。

10月16日周五
  1. arXiv · cs.AI38

    LocalIntent:用本地 LLM 实现后端兼容的智能楼宇自动化结果导向结构化生成

    LocalIntent 是一种面向本地部署 LLM 的结果导向提示方法,将请求分流到普通命令分支或持久规则分支,并进行确定性校验。在 2B-9B 参数的 Gemma 和 Qwen 模型上测试,规则生成方面意图理解从 26.4% 提升至 80.6%,规则模式正确率从 49.1% 提升至 98.6%;非持久请求的提升较小,意图理解从 39.6% 升至 53.2%。该方法整体优于 Monolithic 和通用两阶段提示,但澄清/模式正确率仍依赖具体模型。

  2. Hugging Face · 新模型:uncensored52

    Qwen3.8-27B TURBO 微调版发布 GGUF 权重,ARC-C 达 735 并大幅压缩思考 token

    TTPPCC121 等多人协作发布基于 Qwen3.8-27B 的多阶段微调 GGUF 版本,8bit ARC-C 735、ARC-E 882,4bit ARC-C 719,均高于原版 Qwen3.8-27B(8bit ARC-C 0.591)。模型用 Heretic v1.2.0+ARA 方法去对齐,Stage 1 拒绝率从 99/100 降到 0/100,KL 散度 0.0535;思考 token 减至原版的 1/2 到 1/10。提供常规与 MTP 两种 GGUF,Q4_K_S 下常规约 75 t/s、MTP 可超 90 t/s(5090、LMStudio 实测),支持 256k 上下文与视觉(需另下 mmproj 文件)。

    同一新闻,精选展示《TopherAU 发布 Qwen3.8-27B TURBO 去审查 GGUF 微调版,ARC-C 达 735》

  3. arXiv · cs.CL59

    arXiv 论文提出 LM2LM,用 RL 训练大语言模型生成有效的模型改进提案

    论文提出 LM2LM,用强化学习训练大语言模型生成语言模型改进提案,并以研究世界模型(RWM,一个冻结 LLM)从真实实验记录预测提案收益作为奖励,定期执行高排名提案以更新上下文保持反馈可靠。在八个自回归与扩散 LM 开发环境中,Qwen3.8-27B 经 LM2LM 训练后在留出任务上超越获得 300 条真实实验记录的 GPT-6-sol,数据生成成本降低 33%,并能泛化到训练未见的模型家族。论文链接 https://arxiv.org/abs/2610.23344v1

    推荐理由:论文用研究世界模型替代真实训练反馈来训练改进提案模型,并给出跨八个环境与 GPT-6-sol 的对比数据,方法可参考。

  4. arXiv · cs.CL48

    SchemaShield-Lite:应对接口漂移的 LLM 智能体函数调用鲁棒性方法

    一项新研究提出免训练的修复层 SchemaShield-Lite,结合 schema 验证、候选集重试和一次性约束修复,提升 LLM 智能体在接口漂移下的函数调用鲁棒性。在 Qwen3.5-9B 上,该方法将 DICE-300 准确率从 0.717 提升至 0.813,BFCL-200 从 0.580 提升至 0.805,分别恢复 19/22 和 33/45 个漂移导致的失败,且未观察到修复副作用。消融实验显示候选集漂移(尤其是干扰工具)是主要损害来源。

  5. Reddit · r/LocalLLaMA29

    无人谈论的 Qwen Flash Next:潜在 SOTA 级 Q2 量化

    Reddit 用户实测 Agantai 的 GYRO 系列量化 GYRO-M,称其在 KLD、top 1 和体积上同时优于 ISTA-lab 的量化。3 天测试中未出现循环问题,最长自主运行 2-3 小时,速度与 ISTA 2 bit 量化相当,整体接近 ISTA q3 水平但体积更小,仅在西里尔文本编辑上偶有出错。

  6. Reddit · r/LocalLLaMA18

    前沿模型不再公开思维链后,如何为特定任务做知识蒸馏数据集?

    Reddit r/LocalLLaMA 用户提出:前沿实验室不再公开 thinking traces 后,如何为特定任务构建蒸馏数据集。其设想是微调小型 Qwen/Gemma 模型从照片提取 3D 空间坐标:将图片和任务发给前沿模型 API 获取答案,再把问答对交给另一前沿模型生成思维链作为训练数据,并询问是否有更好方法。

  7. arXiv · cs.AI53

    OfficeTown 论文提出生成式组织模拟框架并以组织数据提升 Qwen3.5-9B

    arXiv 论文 2610.23194 提出 OfficeTown,一个从自然语言组织描述生成职业组织模拟的框架,成员协调分工、委派任务给助手智能体并评审产出,产物与未决事项持续存在影响后续工作。配套 OfficeTown Bench 含 23 个模拟组织、8 个专业领域的 406 个任务和 4,836 条评测标准;对 Qwen3.5-9B 做监督微调和 on-policy 蒸馏后在外部职业工作基准(含 GDPval)上明显提升,principal-assistant 框架得分高于所测单智能体与多智能体基线。

    推荐理由:论文把组织模拟当作智能体训练数据源,任务与评审反馈可持续生成,还验证了主从协作框架优于单智能体基线。

  8. arXiv · cs.CL44

    TreeOPSD:面向长程智能体强化学习的树感知后验知识蒸馏框架

    研究者提出 TreeOPSD,一个无需 critic 的树感知后验自蒸馏框架,用于长程智能体强化学习。该方法将每轮交互视为树节点,从共享前缀分支备选续写,并将终止奖励递归回传为隐式轮级信用,映射为有界的闭式教师分布。在 Deep Research 设定下,TreeOPSD 使 Qwen3-30B-A3B-Thinking-2507 的平均准确率较 GRPO 提升 4.97 分。

  9. arXiv · cs.CL51

    arXiv 论文提出 LED:用 Lookahead Editing 改进掩码扩散语言模型

    arXiv 论文提出 Lookahead Editing(LED),在掩码扩散模型的解码中加入可重写的提案状态,让模型在提交 token 前多次前瞻更新以提升表达能力,同时保留易于优化的掩码转移调度。作者基于 Qwen2.5-7B 和 Qwen3-8B 微调得到 LED-7B 和 LED-8B,在八项基准上 LED SFT 平均比标准 MDM SFT 提升 +11.4 和 +7.7 分,且 LED-8B 仅用 SFT 就超过了经持续预训练、SFT 和强化学习训练的 LLaDA2.1-16B Q-mode。

  10. arXiv · cs.AI52

    WebCoder:基于工件锚定智能体强化学习的通用前端开发 Agent

    论文提出 WebCoder,一个用工件锚定智能体强化学习训练的通用前端开发 Agent,并构建可执行环境 Webdev-World 与评测集 Webdev-Bench。WebCoder-27B 在 Webdev-Bench 上把需求满足分从基座 Qwen3.8-27B 的 64.8 提升到 72.8,超过 Claude-Opus-4.8(65.1)和 GPT-5.4(59.6);在 Vision2Web 上平均视觉与功能分从 41.1 提到 62.4,与 Claude-Opus-4.8 相当。消融实验验证了工件锚定信用分配与长程训练的贡献。

    推荐理由:论文提出以共享可执行工件为核心分配奖励与信用,并给出对齐 Claude 等闭源模型的实测分数,方法可迁移到长序列开发任务。

  11. arXiv · cs.AI48

    重新思考 GRPO 在大型推理模型安全对齐中的应用并提出 Beacon 框架

    论文指出 GRPO 用于大推理模型安全对齐时存在优势坍缩与不安全多样化两种失效模式,并提出包含 Safety Signal Recovery 与 Safety-Utility Decoupled Alignment 的 Beacon 框架。在 Qwen3 与 DeepSeek-R1-Distill 四个变体、八个 benchmark 上的实验显示,平均安全误差最多降低 32.83 个百分点,同时保持较低过度拒答。

  12. Hugging Face · 趋势模型64

    ornith-ai 发布端到端自我改进的 Ornith-1.5-122B 开源模型

    ornith-ai 发布 Ornith-1.5-122B,一个 122B MoE 模型,将 Ornith-1.0 的自我改进循环扩展到联合优化任务生成、scaffold 构建和解题 rollout,通过强化学习持续生成训练任务并改进策略。模型支持 262,144 tokens 上下文(YaRN 缩放后约 1M),可单张 80GB GPU 部署,并提供量化 Mobile 变体。基准中 SWE-bench Verified(non-hack)84.5、TerminalBench 2.1 为 81.2,评测采用防 reward hacking 措施并以 Claude Opus 作为 judge。

    推荐理由:模型卡同时给出多基准成绩与防 reward hacking 的评测细节,读者可对照同参数量级模型比较编码与智能体表现。

  13. GitHub · 去对齐工具与仓库42

    Poliester2005/llmfinetunning:用 LoRA 微调 Qwen2.5 做葡萄牙语情感分类

    该 GitHub 项目在本地 GPU 上用 LoRA 微调 Qwen2.5-0.5B/1.5B-Instruct,对葡萄牙语文本做负面、中性、正面三分类。数据集为 Cardiff NLP 的 XLM-T 葡语推文(训练 1.839 条、验证 324 条、测试 870 条),实验涵盖学习率、LoRA rank 与 epoch 数,以准确率和 F1 macro 对比基线与微调模型,并提供 Gradio 前端。

  14. Reddit · r/LocalLLaMA31

    阿里巴巴 Qwen 团队发布 BlenderWorld Benchmark

    阿里巴巴 Qwen 团队于 10 月 14 日发布 BlenderWorld Benchmark 仓库,用于评测视觉智能体根据真实世界参考在 Blender 中创建 3D 场景的能力。作者推测 Qwen 未来可能聚焦 3D 设计智能体技能及通过 MCP 使用 Blender 等工具,并可能公布后续模型在该基准上的成绩,但这并非官方公告。

  15. Hugging Face · 新模型:abliterated38

    glivorem 发布 Qwen3-4B-Instruct-2507-abliterated 去拒绝版本

    glivorem 用 Heretic 工具对 Qwen3-4B-Instruct-2507 做 abliteration 处理,通过方向消融直接编辑权重移除模型的拒绝行为,未做新数据微调,知识与通用能力接近原版。模型为 4B 参数非思考 instruct 模型,262k 原生上下文,BF16 safetensors 格式,Apache 2.0 许可,可在 vLLM 和 Transformers 中使用,无内置安全护栏。

  16. arXiv · cs.CL43

    Multi-SFT:可商用许可的多语言指令遵循数据集

    研究者推出 Multi-SFT,一个可商用的监督微调数据集,含 502,818 条指令-回复对,覆盖五种欧洲语言。人工评估显示各数据集与语言间标注者一致性至少 0.87。对 EuroLLM、OLMo 2、Qwen3 三个家族的 9 个模型(1B-32B)微调并在 13 个 benchmark 上评估,结果显示仅用 Multi-SFT 即可与更大的增强混合数据集及官方指令微调版本竞争,在安全任务上优势明显。

  17. arXiv · cs.CL34

    CLUE:挖掘社交语境以提升语用理解

    研究者提出 CLUE,一个结合监督式证据推理与 GRPO(以 Grounded Information Utilization 为奖励)的两阶段训练管线,让模型自主发现对话中支持语用理解的关键线索。相比基础 Qwen,CLUE 在平均加权 F1 上域内相对提升 17.3%、域外提升 9.3%,且推理 token 平均减少超过 80%。人类评估显示其解释更多锚定于具体对话内容,引用证据与人类所选语境更一致。

  18. Hugging Face · 新模型:uncensored56

    HauhauCS 发布 Qwen3.8-27B 无对齐 Aggressive GGUF 量化版,附 FastMTP 加速

    HauhauCS 在 Hugging Face 发布 Qwen3.8-27B 的无对齐 Aggressive 变体 GGUF 量化,实测 0/465 次拒绝,直接作答且几乎无前导语。全系列保留原生 NextN 头并附带 FastMTP 32K 加速 sidecar,在 Q8_K_P 上文档 TG 最高达非 MTP 的 3.02x、推理 TG 1.93x,比标准内嵌 MTP 再快 35.2%/21.1%;提供 Q8_K_P 到 IQ2_M 多档量化与 BF16 视觉 projector,基于 Apache 2.0 许可,需 llama.cpp 补丁启用 FastMTP。

    同一新闻,精选展示《HauhauCS 发布 Qwen3.8-27B 无对齐 Aggressive GGUF 量化版》

  19. Hugging Face · 新模型:abliterated22

    eccentricorbit 发布 Qwen3-4B-Instruct-2507-abliterated 去审查模型

    eccentricorbit 基于 Qwen/Qwen3-4B-Instruct-2507 用 Heretic 制作了 abliterated 版本,通过 directional ablation 直接修改权重移除模型的拒绝行为,未做新数据微调,知识与通用能力接近原版。模型为 4B 参数、262k 原生上下文的非思考 instruct 模型,BF16 safetensors 格式,Apache 2.0 许可,可在 vLLM 和 Transformers 中使用,无内置安全护栏。

  20. arXiv · cs.CL45

    DPA-MoE:面向 MoE 推理的运行时精度控制框架

    研究者提出 DPA-MoE,一个运行时精度控制框架,让 MoE 模型中被路由的专家支持任意精度。该方法用 SharedScale AnyBCQ 将专家前馈权重编码为可前缀解码的分块,并在推理时依据实时 router gate 分数分配。在 Qwen3-30B-A3B 和 DeepSeekMoE-16B 上的实验显示,相同预算下 DPA-MoE 比均匀分块分配改善了 KL 散度和下游准确率,原型系统稳态吞吐开销适中。

  21. arXiv · cs.CL40

    可写性与通路:面向寻址记忆的知识注入受控研究

    一项受控研究考察向寻址条件记忆事后注入知识的可行性,结合 GPT-2 对照实验与 Qwen3.8-Flash-Next-FP8、DeepSeek-V4.1-Flash 的生产记忆实验。GPT-2 各实验组均能复现 50 条训练补全,但自然问题目标串命中平均仅 5.3%(row-only)、28.7%(无锚定投影更新)、22.0%(有锚定),严格答案得分均为零。结果显示写入可行但有边界,首 token 排名提升不代表完整答案成功。

  22. arXiv · cs.AI20

    用嵌入模型与 LLM 精炼本体:CASTON 铸造领域案例研究

    研究者提出一种结合微调本体嵌入模型与 LLM 的轻量级本体精炼流程,用于修复 CASTON 铸造领域本体中的类层级 subsumption 错误。嵌入模型提取待修正候选公理及替换候选,再由 LLM 给出修复建议。在专家评估中,使用 CASTON 微调的 OnT 嵌入模型与 Qwen3-8B 的默认配置产生的六个高置信度替换全部被两位领域专家接受,实现代码已开源。

  23. arXiv · cs.AI42

    FlashAttention with Statistics:面向紧凑幻觉检测器的低开销注意力特征

    研究者提出在 FlashAttention 前向传播中直接累积注意力统计量,无需显式构建注意力矩阵,用于训练紧凑幻觉检测器。在 H100 上,五个已发表检测器所需统计量对 Qwen3-8B 前向(2K token)仅增加 16% 延迟,35K 时降至 1.4%,每 response token 存储 22.5 KiB。基于 0.6B–8B 冻结 Qwen3 代理模型训练的探针表现强劲:4B 代理在三个 benchmark 中的两个上 F1 超过九个最强零样本 4-9B LLM 评判,注意力特征在 12 组 benchmark-代理配对的一半中显著提升 F1。

  24. arXiv · cs.AI29

    ClaimScope:面向数学命题审计的标签盲见证验证基准

    arXiv 论文提出 ClaimScope,一个包含 72 个任务的基准,通过裁决、范围、反例和修复审计数学智能体提出的命题,并评估 Qwen3-8B 在直接生成与四种两轮条件下的表现。结果显示,验证器反馈使无效命题的反例接受数从 15/39 提升至 23/39,安全完成数从 20/72 提升至 25/72,而严格完成保持 17/72,裁决准确率从 47/72 变为 46/72。该论文已被 NeurIPS 2026 Workshop(Mathematical Reasoning and AI)接收。

  25. arXiv · cs.AI38

    Qwen-Audio-Jev:用于音频决策的统一接口

    研究者在 Qwen-Audio-3.1-ASR-Flash-Next 基础上加入专用 Jev 决策头,推出 Qwen-Audio-Jev,通过 CHOICE、NOUL、SCORE 三种决策原语统一音频选择、二值判断与评分。模型在 MMAU-mini 上达到 78.70% 准确率、MMSU 上 84.06%,VoxCeleb1-O 等错误率 6.50%,NISQA 归一化平均绝对误差 0.1062。相比原模型推理速度提升约 20 倍,适用于大规模音频筛选、说话人验证和自动质量评估等高吞吐场景。

  26. GitHub · 灵魂体仓库30

    StaySignal:一个预测团队自愿离职的开源项目仓库

    GitHub 上的 StaySignal 项目为团队或组织预测自愿离职概率,并生成可问责的 People Partner 审查。项目使用虚构公司 Larkspur Systems 的全合成数据,统计模型计算概率、数仓计算指标、服务端规则控制访问,LLM 智能体仅负责路由问题、编排工具和解释结果。目前脚手架、ADR、模型卡等已完成,engine 和 warehouse 建设进行中,公开 demo 尚未部署,日期未定。

  27. Hugging Face · 新模型:uncensored40

    Qwen3.5-2B-Uncensored-HauhauCS-Aggressive 发布:无审查版 Qwen3.5-2B

    HauhauCS 基于 Qwen3.5-2B 发布无审查变体 Aggressive 版,约 0/465 次拒绝,号称零能力损失且不改动数据集。模型为 2B dense 参数、24 层混合架构(Gated DeltaNet 线性注意力 + 全 softmax 注意力 3:1),原生多模态,262K 上下文(YaRN 可扩展至 1M),提供 BF16 至 Q4_K_M 共 4 种 GGUF 量化,支持 llama.cpp、LM Studio 等运行时。

  28. Hugging Face · 新模型:uncensored40

    Qwen-Image-2.1 Uncensored 量化版发布,提供 GGUF/Safetensors/MLX 多格式本地图像生成

    DollasAndSpence 发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式,支持 ComfyUI 本地图像生成。该版本无内置安全检查器,可直接生成成人及 NSFW 内容;推荐 GGUF 使用 Q4_K_M(4.60 GB),MLX 格式针对 Apple Silicon 优化,文本编码器可卸载至系统内存以节省 9–17 GB VRAM。

  29. Reddit · r/LocalLLaMA31

    Qwen3.8-Flash-Next 在双 AMD AI Pro R9700 平台上的个人推理方案对比评测

    作者在双 AMD AI Pro R9700(Lenovo P620、Threadripper Pro 3945WX、128 GB DDR4)上对比了 Qwen3.8-Flash-Next 的三种推理方案:radiance 1.4.0、Strata 0.1.42 和 Unsloth 的 llama.cpp fork。radiance 生成速度最快达 147.2 tps,Strata 为 79.1 tps,llama.cpp 仅 17.6 tps;三者与 OpenRouter 上 Alibaba 托管的 Qwen3.8-Flash 输出一致性接近,作者认为可视为等效并按速度选择。

  30. Hugging Face · 新模型:uncensored28

    Qwen3.8-Flash-Next 无审查版 Q4_K_M .basalt 包发布(Hugging Face)

    Hugging Face 上发布了一个可直接运行的 .basalt 格式包,为无审查版 Qwen3.8-Flash-Next 的 Q4_K_M 量化构建,基于 125B 级 MoE 模型(qwen4exp 架构),文件大小 114.06 GiB,内置 Qwen tokenizer 与聊天模板,支持 --vision 图像输入。运行需 NVIDIA Blackwell GPU(compute capability 12.0)与 CUDA 13;在单张 RTX 5090 上 512k 上下文解码约 220 tok/s、prefill 约 5,900 tok/s。该仓库目前为私有测试状态,采用 Qwen Community License 1.0。