跳到正文
10月22日周四
  1. Hugging Face · 新模型:abliterated54

    lilcheaty 发布 RecursiveSI/flint 的 abliterated 去对齐权重版

    lilcheaty 发布了 RecursiveSI/flint 的 abliterated BF16 衍生版本,按 Arditi et al. 2024 的拒绝方向方法从第 20 层估计方向并编辑了 12,131 个张量,采用 Apache 2.0 许可。Q3_K_M 量化版在 20 条保留提示上显式拒绝从 20/20 降到 0/20,20 条编码提示双方均 0 拒绝且 40/40 完成回答,作者提醒该小规模对比不代表通用安全或能力基准。运行需 llama.cpp PR #30928 等补丁,GGUF 转换版在 lilcheaty/flint-abliterated-GGUF。

    推荐理由:作者给出了拒绝方向的估计方法与 20 条保留提示上的拒绝率前后对比,还说明了编辑未覆盖的局限。

  2. Hugging Face · 新模型:abliterated53

    lilcheaty 发布 Flint abliterated Q3_K_M GGUF 去对齐权重

    lilcheaty 基于 RecursiveSI/flint 发布权重编辑的去对齐版本 flint-abliterated-GGUF,沿用 Apache 2.0 协议,从 128 条 AdvBench 有害提示与 128 条 Alpaca 无害提示估计拒绝方向并改写权重。实测显示 20 条保留提示上显式拒绝从 20/20 降到 0/20,20 条编码提示双方均 0 拒绝且 40/40 完成回答;作者说明该对比规模小、不构成通用安全或能力基准,运行需应用 llama.cpp PR #30928 的补丁版本。

    同一新闻,精选展示《lilcheaty 发布 RecursiveSI/flint 的 abliterated 去对齐权重版》

  3. Hugging Face · 新模型:uncensored73

    dealignai 发布 DeepSeek-V4.1-Flash 无对齐 FP8 权重版

    dealignai 团队基于 deepseek-ai/DeepSeek-V4.1-Flash(552B backbone,8B/16B 激活)发布权重级 abliterated 无对齐版本,原生 FP8 量化、1M token 上下文,保留视觉、推理与工具调用能力。HarmBench-320 实测 CRACK 版在 effort=off 和 max 下均 100% 响应、零 HARD_REF/SOFT_RED/HEDGE,而基座在 effort=max 拒绝率反而升至 42.8%→1.6% 通过;MMLU-14k 全集准确率从 86.96% 降至 82.74%,剔除伦理类科目后仅 -1.1 pp。

    同一新闻,精选展示《DeepSeek-V4.1-Flash-UNCENSORED-FP8 发布:权重级消融版附拒绝率与 MMLU 对比》

  4. Hugging Face · 新模型:abliterated28

    Huihui-MiniCPM5-2B-abliterated:openbmb/MiniCPM5-2B 的无审查版本

    Huihui-ai 发布 openbmb/MiniCPM5-2B 的无审查版本 Huihui-MiniCPM5-2B-abliterated,采用 abliteration 技术移除 LLM 的拒答行为,且不依赖 TransformerLens。该版本 abliterated 第 6-37、40 层(0-based),属概念验证实现,用于探测各层对消融的影响;由于模型太小,性能仍不足。模型可通过 Hugging Face transformers 库加载使用。

  5. Hugging Face · 新模型:abliterated32

    Spark-X2.6-4B-Abliterated GGUF 发布:内置 Sharp-Spark 聊天模板

    cinnybun02 在 Hugging Face 发布 Spark-X2.6-4B-Abliterated 的 Q5_K_M GGUF(2.77 GiB),用 llama.cpp 的 gguf_new_metadata.py 仅改元数据,将 Sharp-Spark v1.0.0 模板内置为 tokenizer.chat_template,权重与源文件逐字节一致。该模型为 XHToken 的 4.1B dense thinking model,经 Heretic 去除 53 个张量中的 refusal 方向;spark2_5 架构下 131k 上下文时 KV cache 量化后约 1.9-2.5 GiB。

  6. Hugging Face · 新模型:abliterated76

    orcarouter 发布 DeepSeek-V4.1-Flash-1017 去对齐版 GGUF 量化权重

    orcarouter 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 去对齐(abliterated)版的 GGUF 量化权重,提供 Mix-256G(235.8 GB 内存占用)与 Mix-128G(114.0 GB)两种构建,基于 763B 参数 MoE 模型,含 197B 参数 Engram n-gram 表常驻 SSD。去对齐后 500 条有害提示拒绝率加权均值从 0.874 降至 0.074,过度拒绝从 0.069 降至 0.006,MMLU 保持 0.91 左右不变。

    推荐理由:原文给出实测 KLD、拒绝率与 MMLU 前后对比,读者可据此判断这个去对齐版本到底去掉了多少、能力是否保留。

  7. arXiv · cs.CL22

    LLM 作为问卷受访者:与简单语义基线的比较

    一项 arXiv 研究评估了三个 LLM 基于部分已知回答预测问卷缺失题项回答的能力,并与最大化 embedding 相似度的简单基线对比,数据来自两项关于自动驾驶或轻型电动车态度的调查。结果显示 LLM 大多优于基线,但随已知回答比例下降,其表现持续变差,在其中一个调查中降至与基线持平,表明其数据增强能力依赖足够的人类数据。

  8. arXiv · cs.CL37

    模型规模与量化对问答中社会偏见与弃答的影响研究

    一项基于 BBQ 基准的研究考察了 Qwen3、Gemma-3 和 SmolLM2 在多种规模与量化设置下的社会偏见与弃答行为。结果显示,更大模型问答准确率更高,但偏见无简单缩放趋势,量化影响因配置而异;26 个偏见响应更少的配置中有 20 个同时出现过度弃答增多。研究表明公平性评估需将偏见响应、弃答、提示词形式与选项设计联合考虑。

  9. arXiv · cs.CL54

    SPARE 提出基于路由熵的 MoE 分层剪枝稀疏度分配方法

    论文提出 SPARE,一种免训练、与 selector 无关的方法,用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家,路由越分散的层剪得越激进,并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下,SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配,50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%,DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1

    推荐理由:论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题,给出的路由熵方法无需训练即可提升高剪枝率下的精度。

  10. arXiv · cs.CL27

    BiasGuard-D:面向 LLM 输出质量可审计执行的类型化对抗契约

    论文提出 BiasGuard-D 框架,用来自不同模型族的两个对抗角色交换类型化声明文档、三模型多数投票裁决,并以引用加语义组合不变量验证结果,为 LLM 生成记录提供可审计的溯源链。该方法在 HaluEval QA 上仅改角色设定即从刻板印象迁移到幻觉修复,正确答案恢复率提升 49 个百分点;语义组件能捕获引用检查漏掉的判定,移除迭代循环会使不变量满足率大幅下降。

  11. arXiv · cs.CL51

    Uni-Mem 论文提出用统一在线强化学习联合优化智能体长期记忆构建与检索

    Uni-Mem 论文提出用端到端在线强化学习训练统一记忆管理器,同时学习记忆构建与检索两项能力。针对联合优化中 GRPO 存在的组间混淆与长轨迹稀疏反馈问题,提出 Stage-Decoupled GRPO 交替优化两个阶段,并引入 Event-Wise Credit Assignment 将反馈定位到具体事件;在 LoCoMo 和 LongMemEval 上优于最强 RL 记忆方法。

  12. arXiv · cs.CL35

    MPIXEL 像素语言模型的多语言预训练扩展研究

    arXiv 论文提出 MPIXEL 像素语言模型系列,沿更多语言、更多文字、更大模型容量三条轴扩展多语言预训练,在覆盖 83 种语言的五项任务上评估。结果显示扩展呈局部效应:各轴仅提升新增语言与文字,更大容量可缓解多语言诅咒;对未见文字的迁移随多语言预训练改善但不随扩展继续提升。这些模型在多种文字系统的低资源语言上超过 subword 与字符级基线。

  13. arXiv · cs.CL50

    RAG 组合性研究:LASAGNA 框架揭示各组件收益无法简单叠加

    研究者提出开源 RAG 评测框架 LASAGNA,预声明三项假设,在 8 个 benchmark、5K 至 200K 文档规模的语料上测试 450 种配置。结果显示:三项单独预测合计 +47% 收益的检索技术组合后仅带来 +17%;组件收益对检索质量与答案忠实性的影响方向不同,且最优组合随语料规模变化。作者呼吁新 RAG 技术应在完整技术栈中评测,并开源 LASAGNA 简化实验。

  14. arXiv · cs.CL40

    Accept or Repair(AoR):一种保留文本支持答案的无训练对比解码改进方法

    一项 arXiv 论文提出 Accept-or-Repair(AoR),一种无需训练的方法,解决大语言模型忽略与自身知识矛盾文本的问题:先检查采样答案是否被文本支持,支持则保留,否则最多做两次对比解码替换。AoR 在反事实文本上比采样提升 12.5 分,普通文本提升 2.3 分,超过八个对比解码与提示词基线。

  15. arXiv · cs.CL41

    ALIAS:评估 LLM 编写 TLA+ 规范的性能与记忆化

    arXiv 论文提出 ALIAS,用一致标识符重命名(CIR)在 111 个 TLA+-Bench 任务上检测 LLM 记忆化。重命名使 Claude Opus 4.8 正确率从 28% 降至 18%、GPT-5 从 9% 降至 7%,但按行为评分后降幅缩小至约 3 和 0 个百分点,说明大部分下降来自要求精确名称的评分方式。微调实验中重命名移除约一半训练增益,在未见任务上损失 4.9(Qwen)和 1.3(Gemma)个百分点。

  16. arXiv · cs.CL65

    DeepEvolve 论文提出基于未来事件预测的递归自我改进系统

    Zhipeng Chen 等人在 arXiv 发布 DeepEvolve,一个以未来事件预测为环境的可持续演化智能体系统,通过递归进化引擎把每次预测的推理轨迹转化为能力。在按周更新、以真实世界结果评估的 FutureX 榜单上连续三周排名第一,rating 最高提升 195%;在自建评测中于四个基座 LLM 上进入前三,领先最强基线最多 10.7 Bradley-Terry 分。论文 47 页,标注为进行中的工作。

    推荐理由:论文以未来事件预测这一可持续演化的环境为基础研究递归自我改进,FutureX 榜单连续三周第一是可复核的外部结果。

  17. arXiv · cs.CL40

    LLM 从哪里学会推荐 AI?

    一项 arXiv 研究追溯了大语言模型倾向推荐 AI 相关选项的来源:预训练模型已在 27% 的回复中包含明确的 AI/ML 术语,指令微调版本升至 59%。微调实验显示这一上升并非必然——剔除 7% 的 AI 相关指令数据可使比例下降 14 个百分点;奖励“有帮助”的数据使其上升 9 点,按多样化模拟用户偏好排序的数据使其下降 9 点。提问方式也有影响:要求“最佳”或“现在就做”分别提升 8 和 18 个百分点。

  18. arXiv · cs.CL33

    MAPS:面向 RAG 检索动量调控的宏自适应并行推理框架

    提出搜索动量(search momentum)概念来刻画 RAG 推理过程中查询意图的演化,发现子查询生成倾向于沿既有检索轨迹持续演化。据此提出 MAPS(Macro-Adaptive Parallel Reasoning)框架,保留检索知识与精炼推理状态,并将顺序推理扩展为并行推理以调控检索动量、缓解查询意图漂移。在六个问答 benchmark 上,MAPS 在不同 backbone 模型下均优于代表性 RAG 方法,代码已开源。

  19. arXiv · cs.CL57

    生物医学声明验证智能体的 harness 设计消融研究

    一项 arXiv 研究(arXiv:2610.29812)在 SciFact 生物医学声明验证任务上,用 live PubMed API 作为唯一工具,对四种 harness 做受控消融,涵盖 closed-book、以 claim 为 query 的单次检索、ReAct 式自写 PubMed 查询的智能体,以及给定 gold abstracts 的 oracle,使用两种高效 frontier 模型作为固定骨干。

    推荐理由:受控消融比较四种 harness,指出检索而非推理是生物医学声明验证智能体的瓶颈,方法可迁移到类似评估设计。

  20. arXiv · cs.CL52

    MemoryTax 论文:在 LoCoMo 对话上比较四种记忆方法与三个编码 Agent 的成本与准确率

    arXiv 论文 MemoryTax 提出:当模型足够强、能自行搜索原始历史时,Mem0、Zep 这类预先设计的记忆系统是否仍有价值。作者在一段 LoCoMo 对话(419 轮、152 个问题)上测试四种记忆方法(full context、BM25、Mem0、Zep)和三个编码 Agent(Pi、Codex、Claude Code),每个单元搭配 GPT-4o-mini、GPT-6 Luna 和 Claude Opus 5.5 各跑一次。结果显示 Mem0 仅在 GPT-4o-mini 上胜过 full context,且其构建成本就超过一次 full context 推理;记忆系统还有由写入模型设定的上限。

    推荐理由:论文用同一对话横向比较记忆系统与让模型自带工具搜索原始历史,给出成本与准确率的具体数据,可作设计取舍参考。

  21. arXiv · cs.CL29

    研究语法错误对大语言模型社会偏见的影响

    一项 arXiv 研究构建了向提示词注入常见二语学习者语法错误的受控框架,并在三个覆盖性别、种族、宗教的社会偏见基准上测试。结果显示语法错误会加重大语言模型的偏见且随错误率上升,其中介词错误对刻板印象对齐的提升最大、最稳定;在错误文本上微调可缓解这种偏见增加。基于规范英语提示词的偏见评测可能低估语法错误使用者所受的偏见。

  22. arXiv · cs.CL31

    用混合语言讽刺句子基准测试评估大语言模型

    研究者构建了包含 60 余万条样本的罗马尼亚语-英/德/法/意混合语言讽刺检测数据集 CS-SeLeRoNa 及人工校验的 CS-SeLeRoNa-Gold 基准,采用随机替换、短语翻译、依存句法分析和 LLM 四种方法生成语料。评测显示,老一代开源模型 macro-F1 降至 37%-55%,Gemma 4 31B 零样本达 68.1%,接近 GPT-5 mini 的 69.5%;微调后 Gemma 4 31B 在 CS-SeLeRoNa 上达 77.5%、gold 基准上达 72.6%,超过前沿模型零样本基线。

  23. arXiv · cs.CL26

    WMT 2026 MIST:面向开放式问答的任务保持多语言指令微调

    该论文介绍 WMT 2026 Multilingual Instruction Shared Task 的参赛方案,用 LoRA 基于主办方数据 EuroAlpaca 和跨语言增强数据 CrossEuroAlpaca 微调 Qwen3-8B,面向十种语言的开放式问答(QA-OEG)。在相同解码设置下,目标语言 QA-OEG 的 Gemma-4 评分较基座模型相对提升 7.8%;在 Aya Evaluation Suite 评测中,macro-平均 ROUGE-L 相对提升 41.5%、BERTScore-F1 提升 2.9%。但这些增益具有任务和语言特异性:目标语言的上下文问答及非目标语言的三项任务得分均有下降。

  24. arXiv · cs.CL20

    英-米佐法律机器翻译研究:语料库构建、分析与基准评测

    研究者发布首个印度法院判决书英-米佐平行语料库,含 13,168 个句对,来自 Gauhati High Court 和印度最高法院,由专业母语译者翻译并双人审校。在 1,000 句对的平衡法律测试集上,微调后的 NLLB 200 1.3B 模型取得 27.47 BLEU,比基础模型提升 7.16 BLEU,但英文词使用频率仍约为人工译者的三倍。语料分析还发现法律术语几乎保留英文,日常词汇多用米佐本土表达,且声调符号使用不一致。

  25. arXiv · cs.CL42

    循环均匀扩散语言模型研究:训练 FLOP 最多降低 3.3 倍

    研究者将循环技术引入均匀扩散语言模型(UDLM),在保持训练目标和采样器不变的前提下显著提升训练效率:达到非循环模型约 0.5 万亿 token 的验证 NLL,在 OpenWebText 上最多节省 2.8 倍训练 FLOPs,FineWeb-Edu 上为 3.3 倍。相同 NFE 预算下,循环 UDLM 的生成困惑度最多降低 9.8%。训练时更频繁采样较小循环次数,可在不损失精度的前提下减少 12% 的推理循环。

  26. arXiv · cs.CL19

    GoiBERT:基于两阶段知识蒸馏的紧凑型越南语语言模型

    研究者推出 GoiBERT,包含 26M 和 49M 两个参数规模的越南语编码器,通过同分词器教师与大教师软标签两阶段知识蒸馏训练,可直接处理原始文本。在文本分类、方面级情感分析、自然语言推理和命名实体识别共八个 benchmark 上,GoiBERT-large 以不到最强紧凑基线一半的参数量取得非教师模型中的最高平均分,且吞吐量翻倍;GoiBERT-base 以四分之一大小保留基线 99% 的性能。压缩对情感和分类任务几乎无损,但在推理和实体识别上代价仍高。

  27. arXiv · cs.CL30

    VX-One:面向实时边界分流的类型化校准决策头——未知攻击诚实性、级联灰区与漂移下校准的实证研究

    论文提出 VX-One,一个 100K-10M 参数的小型多决策头网络,输出校准门控、含显式 unknown 选项的闭集选择和序数分数,CPU 上 p50 约 0.7-1.7 ms。在 UNSW-NB15、CIC-IDS2017、EMBER2024 上与 XGBoost、Kitsune 等对比,检测在 UNSW-NB15 和 CIC-IDS2017 时间漂移下占优(0.711 vs 0.637),但多分类归因均输给 XGBoost。两级级联(Suricata 52,674 条规则 + VX-One)组合 recall ≥0.978,而所有方法的校准在时间漂移下均崩塌(ECE 0.04→0.40)。

  28. arXiv · cs.CL49

    P2NPCBench:用对抗性多智能体重写检验 LLM 在配对 P 与 NP 完全问题上的真实推理能力

    研究者推出 P2NPCBench 基准,将 12 个问题族中的 NP 完全问题与同表面的 P 问题配对,并用 AgentGAN 对抗性多智能体框架改写题目以消除教科书式提示,生成 2,114 条经人工验证的题目。评测 12 个专有与开源模型发现,模型在 NP 完全题目上的 pass@1 为 35.4%,显著低于 P 题的 63.8%;十倍时间限制仅将 NP 完全准确率从 28.5% 提升至 31.9%,说明失败源于程序错误而非速度,且对抗性加固使复杂度类差距从 24.8 收窄至 14.6 分。

  29. arXiv · cs.CL50

    LongZero:从零数据提升大语言模型的长上下文推理

    Zhennan Wan 等提出 LongZero,让 LLM 自行合成带证据的多跳推理与多轮检索任务,再用 GRPO 训练,无需任何外部数据即可提升长上下文推理。模型先以紧凑结构化形式生成问题、答案与证据,再将其扩展为长多文档上下文;在两个 LLM、五个长上下文推理基准上优于基于外部语料合成数据的 RL 基线,代码与数据已开源。

  30. Hugging Face · 新模型:abliterated76

    Spark-X2.6-4B 消融版发布 FIT-GGUF 五档量化,输入门控消融将 KL 扰动降至 0.0477

    SC117 发布 Spark-X2.6-4B-abliterated 的 FIT-GGUF 量化仓库,基于 XHToken/Spark-X2.6-4B 本地做输入门控消融,100 条留出有害提示的拒绝数从 99 降到 7,3-token 全分布 KL 扰动 0.0477,比同拒绝门槛下无门控的 0.2134 低 78%。仓库含 5 个经 KL 门限验证的 FIT 档位加 BF16 参考文件,五档合计 12.84 GiB,比同门槛下最小原生预设小 0.60 GiB(4.5%),其中两档即原生预设;imatrix 由公开语料重建,评测切片未进入校准文本。

    推荐理由:原文给出输入门控消融的拒绝率与 KL 前后对比,以及五档量化相对原生预设的实测差距,可据此评估取舍。

  31. Hugging Face · 新模型:uncensored40

    DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型基准测试数据上线 Hugging Face

    Hugging Face 用户 Lordking998 发布 DeepSeek-V4.1-Flash-1017-MXFP4-uncensored 量化模型。基准测试显示,Native MXFP4 格式在 32 并发下达 831.66 tokens/second 聚合吞吐,1 并发时为 146.84 tokens/second、首字延迟 p50 为 0.34 秒,整体吞吐高于 EXL3 2.875 和 EXL3 3.5 两种量化格式。模型以 uncensored(无审查)版本形式开源在 Hugging Face。

  32. Hugging Face · 趋势模型17

    Fibo-2.0 发布 ComfyUI 重打包版本

    Hugging Face 上线 Comfy-Org/Fibo-2.0,为 BRIA AI 的 Fibo 2.0 模型提供 ComfyUI 重打包文件,包含 fibo2_dev 与 fibo2_edit_turbo 的 bf16 和 int8_convrot 版本,文本编码器为 qwen3vl_4b,VAE 为 flux2-vae。权重仅限非商业用途,商用需与 BRIA AI 另行协议。

  33. Hugging Face · 新模型:abliterated20

    privastudio 发布 Qwen3.8-27B Abliterated GGUF 版本

    privastudio 在 Hugging Face 上重新分发 huihui-ai 制作的 Huihui-Qwen3.8-27B-abliterated 的 Q4_K GGUF 量化版(约 16.8 GB),打包为可在 PrivaEmanator 中本地加载的格式。该模型基于 Qwen3.8-27B,由 huihui-ai 移除了拒绝回答行为,附带 mmproj-BF16.gguf 视觉投影文件以支持图像输入,采用 Apache-2.0 许可证。

  34. arXiv · cs.AI29

    每个部分都有其角色:词性对 LLM 后训练的影响

    一项 arXiv 研究将概念增强(用语义相关词替换目标词的句子增广训练)从名词扩展到动词和形容词,考察词性对 LLM 训练效果的影响。结果显示:概念增强对新闻类文本的困惑度改善最稳定且不依赖词性,而动词带来最可靠的下游任务增益;CKA 和 linear probing 的表征分析表明,下游增益最大的条件未必最改变模型内部表征。

  35. arXiv · cs.AI54

    PAUSE 提出在编码智能体首次改代码前用单次规划干预引导其走向

    论文提出 PAUSE 框架,在编码智能体发出首次源码编辑请求前拦截,由独立 Planner 读取任务和编辑前转录生成一份修复计划,无需学习监控器、检查点搜索或额外模型调用。以 Qwen3-coder 为 Executor、GPT-5.6 Sol 为 Planner,在 SWE-bench Verified 的 OpenHands 上提升 16.8%,在 Multilingual 的 SWE-agent 上提升 14.7%,并优于 LivePlan 3.2% 和 3.7%,Planner 开销约为 SICA 周期性监督的 11-15%;离线模式下从记录前缀恢复可挽回 35.4% 的合格失败任务,比重启少用 33-41% 的 Executor token。

    推荐理由:论文给出单次规划干预的无搜索引导框架,用 SWE-bench 实测提升幅度与 Planner 开销对比,方法可参考。