跳到正文
10月22日周四
  1. arXiv · cs.CL42

    PACE:四比特循环状态的周期性且通道对齐编码方法

    PACE 是一种面向线性注意力语言模型的后处理四比特状态量化器,只需每生成几个 token 舍入一次状态,并按列共享量化比例、将误差保留最久的头保持在 8 比特。在 4B 到 35B 参数的四个混合模型上,混合 4/8 比特头的 PACE 在约为 8 比特 DAMP 三分之二内存的情况下性能相当,全程 4 比特版本在同等内存下得分高于 Q-Mamba,且保持解码加速。

  2. arXiv · cs.CL49

    WRDO:对齐语言模型中的加权拒绝方向优化

    WRDO(Weighted Refusal Direction Optimization)通过学习聚合权重,将逐提示词的拒绝方向组合为复合拒绝方向,改进传统差值均值单一方向的做法。该方法在三个开源权重模型上以三个 guard judge 和 HarmBench 评估,优于既有单方向方法,还可反向用于恢复被 abliterated 模型检查点的拒绝行为。论文已被 EMNLP 2026 接收。

  3. Reddit · r/LocalLLaMA49

    Reddit 用户提出 2-bit GPU + 残差放系统内存的投机解码方案,用于装不进显存的大模型

    Reddit r/LocalLLaMA 用户分享一种投机解码思路:GPU 上保留模型 2-bit 副本负责起草 token,6-8 bit 残差权重留在系统内存由 CPU 校验,仅激活值经过 PCIe。实测 2-bit + 8-bit 残差比 Q8_0 更接近 bf16(KL 约减半);6-bit 残差达到 Q8_0 级质量且从 RAM 读取字节减少约 28%;复用校验器 KV cache 的 2-bit 起草比 Google 官方 Gemma 4 drafter(31B)每次校验多接受 25-30% token(5.23 对 4.20)。代码已开源。

  4. Reddit · r/LocalLLaMA60

    Reddit 用户提出 VRAM 放 2-bit 副本、系统内存放残差的投机解码方案

    Reddit 用户 /u/Happy_Guitar3521 分享一种面向 Q8 量化模型放不进显存场景的投机解码思路:GPU 上只保留 2-bit 副本用于起草候选 token 树,残差 W−Ŵ 以 6/7/8-bit 存在系统内存,由 CPU 与 GPU 分工完成验证,仅激活值跨 PCIe 传输。实测该验证器比 Q8_0 更接近 bf16(KL 约为一半),2-bit 起草器读取验证器精确 KV 后,在 Gemma 4 31B 上每次验证接受 token 数比 Google 官方 Gemma 4 drafter 高 25–30%;AVX-512 CPU 内核使一次验证 16 个 token 的成本接近验证 1 个。

    推荐理由:作者给出完整的量化拆分方案和 KL、接受率等实测数据,还附上可复现的 POC 配方与失败经验,方便他人在此基础上继续实验。

  5. GitHub · 去对齐工具与仓库27

    giahuy1310/topicmodeling:基于集成学习的越南语情感识别研究仓库

    giahuy1310 开源的 topicmodeling 仓库以 stacked ensemble 为核心,用多个基分类器加 Gemma 元模型(google/gemma-2-9b-it,4-bit QLoRA 训练)做越南语细粒度情感识别(UIT-VSMEC)与情感分类(UIT-VSFC),目标是提升 macro 与少数类表现。流水线含 LLM 数据增强与预处理 notebook,需在 Google Colab GPU(A100/T4/G4)上运行,notebook 06 峰值内存约 80 GB、VRAM 约 24 GB。

  6. GitHub · 去对齐工具与仓库40

    fixture-entropy:测量 7 个 Claude 模型生成测试数据时的重叠率

    GitHub 仓库 fixture-entropy 测量 Claude 模型两次独立生成 30 个测试值时的重叠概率:人名场景下 64%–98% 的运行对至少共享 1 个名字,同规模 Faker 仅 1.29%。项目覆盖 7 种值类型、7 个 Anthropic 模型共 1274 次调用,经 Claude Code CLI 2.1.302 于 2026 年 10 月 19–20 日完成,并与 Faker、真随机基线对比,评估 UNIQUE 约束种子失败风险。

  7. GitHub · 去对齐工具与仓库64

    barkup-bench:预注册基准系列实测 LLM 智能体编辑类型化树的可靠性

    Kevin Peckham 在 GitHub 开源 barkup-bench,一个持续进行的预注册基准系列,比较 barkup(HTML 整树重写)与 JSON 细粒度变更工具等方案在让 LLM 智能体编辑页面布局、文档模板、CMS 内容等类型化树时的可靠性。系列已含 45 项研究、8 个模型上超过 36,000 次评分运行,覆盖接口、树规模、部分上下文、检索、会话记忆、多目标编辑等维度,并保留两次重大修正与若干自我反驳。

    推荐理由:预注册协议加可复现语料和回归门禁的做法,为评测 LLM 智能体编辑结构化树提供了可迁移的实验纪律。

  8. GitHub · 灵魂体仓库55

    arhugula-persistent-memory 项目实测把 LLM 权重当数据库写入和查询事实

    该 GitHub 项目测试能否像数据库一样把事实直接写入大语言模型权重,再查询、修改并留痕,无需每次重读全部内容,当前结论草案为 NOT-READY-WITH-CONDITIONS。基于 Qwen2.5-3B 用 MEMIT/AlphaEdit 系列方法编辑,批量写入在 3B 规模消除串扰(100%保持),编辑可经受 Q4_K_M 量化并经 llama.cpp 在 CPU 上以约 8–13 tok/s 服务;主要未解问题是多词新造名称的换措辞问答,目前最好成绩为 72 题中答对 24 题。

    推荐理由:原文以预注册实验和可复现证据逐项检验把事实写进模型权重当数据库的可行性,并如实报告失败项。

  9. Hugging Face Blog59

    Hugging Face 博客预览 VocabX 方法:按成本而非频率特化词表,将葡语作文批改器推理成本降低 77%

    Dharma AI 在 Hugging Face 博客预览 VocabX 论文结果:按每个 token 的成本而非频率重建词表,在不改基座模型、数据和训练配方的前提下,将基于 Qwen3-4B 的葡萄牙语作文自动批改器实测推理成本降低 77.0%。响应平均从 350 降到 101 个 token,bench 分数从 0.703 升到 0.810,LM head 从约 152,000 行缩到约 65,000 行;在 5 个公开领域和 Qwen3、Llama-3.1、Gemma-3 三个模型族的 15 种组合中,压缩率和估算推理成本均领先 FVT、MWT 和 in-place BPE 三个参照方法。

    推荐理由:作者用同一基座、同一训练配方做对照实验,把成本按读写分别计价,方法思路可迁移到其他单一领域的专用模型。

  10. GitHub · 3D 生成新仓库34

    AutoQuant:把量化研究观点转化为可证伪回测的开源研究工作区

    GitHub 新仓库 AutoQuant 是一个把已发表的量化研究观点转化为清晰、可证伪回测的研究工作区,首个研究管线为 Quantocracy Lab。该管线用 Python 从 Quantocracy、Cboe Insights 和 arXiv 收集文章与论文,经 LLM 提示词评估可回测性后转为策略规格,再以隔离进程、超时受控的方式批量回测,各阶段独立且可断点续跑。可复用资产包括 Python 管线、LLM 提示词、策略规格模板和示例策略,数据源、价格缓存与生成报告均不进入 Git。

  11. GitHub · 去对齐工具与仓库31

    llm-aftershock-forecast:评测 LLM 余震预测校准度的 benchmark 项目

    GitHub 上的 llm-aftershock-forecast 是一个 benchmark,用于检验通用 LLM 能否给出校准的余震预测:模型获得与 USGS 业务化余震预测(OAF)发布时相同的信息(主震与 ComCat 目录),其分位数计数和大余震概率将与实际结果及官方预测对比打分,且只使用模型训练截止后的序列。目前数据层、as-of 目录、条目构建、提示词渲染及经 USGS Java 代码验证的 legacy-ETAS 基线已完成并测试,尚未引出任何 LLM 预测;设计已在 Oct 21 冻结于 prereg-v1 预注册。

10月21日周三
  1. GitHub · 3D 生成新仓库56

    SPAR 项目检验 LLM 行为自签名:未发现特权的自我访问能力

    SPAR 2026 秋季项目通过掷硬币模拟和石头剪刀布、匹配便士博弈两类实验,检验 LLM 是否有可识别的行为签名及对自身签名的特权访问,结论是没有证据支持特权自我访问。仅 Fable 显示真实的自我预测效应,但一个只看历史的分类器表现相当,更像是对模型习惯的知识;实验覆盖 GPT-6 Astra、Claude Fable 5.1 和 Qwen3.8 27B,判断者重测仅约80%复现,总花费约 $251。

  2. AIHOT · 精选36

    OpenAI 与 PerturbAI、Scripps Research 用数千个 GPT-Rosalind 智能体 32 分钟挖掘脑细胞数据新研究线索

    OpenAI、PerturbAI 与 Scripps Research 联合发布研究,用数千个 GPT-Rosalind 驱动的 AI 智能体并行分析数百万小鼠脑细胞的全脑 CRISPR atlas,32 分钟完成分析与文献解读。团队称同样工作人工逐一分析需数月至一年。该研究从数据中挖掘出新的研究线索。

  3. Reddit · r/LocalLLaMA60

    论文提出用 16 MB 冻结词表替代小模型嵌入层,BitNet b1.58 版本整模仅 46 MB

    一篇 arXiv 论文提出用 16 MB 冻结 512-bit 编码表替代可训练嵌入层,经主成分投影和符号二值化得到,无任何可训练参数。在 Gemma 3 270M 形状模型上,可学习词表花 2.6 倍可训练参数只换来 0.20 nats 验证损失改善,而冻结词表模型在 LAMBADA、HellaSwag、PIQA 上持平或更好,仅 ARC-Easy 落后;在罕见词上反超 1.7 到 2.3 nats,训练后新增 10,000 词仅损失 3%,可学习词表则崩掉 43%。配合 ternary BitNet b1.58 主体,整个模型仅 46 MB,在笔记本 CPU 上以 62 MB 内存生成 615 到 740 tokens 每秒,速度是 float 模型 8-bit GGUF 的五到六倍、内存为其七分之一。

    推荐理由:论文用同一训练设置对照验证冻结 16 MB 词表的效果,并给出 LAMBADA、PIQA 等基准与 CPU 生成速度数据,权重和评测全部开放。

  4. Reddit · r/LocalLLaMA68

    MemT-1.0 记忆基础模型发布,将记忆内化为模型计算的一部分

    MemT-1.0 是一套把记忆内化为模型计算一部分的记忆基础模型架构,基于 Metis,采用 Gated DeltaNet-2 与逐 token 稳定记忆更新机制,并用 Mixture-of-Storage 扩展原生记忆容量,训练管线含继续预训练与后训练,共 34B token 数据。发布了 MemT-1.0-Nano 和 MemT-1.0-Flash,评测显示平均优于参数化记忆基线、与检索增强方法相当且大体保留通用能力;在 128K 历史长度下 Nano 端到端推理约 1.86× 加速、持久存储较全上下文 KV cache 减少 66 倍,并通过内化检索到的程序性经验提升 agentic 任务成功率。

    同一新闻,精选展示《MemT-1.0 记忆基础模型发布,将记忆内化为模型原生能力》

  5. Reddit · r/LocalLLaMA54

    TokenGate 论文提出可学习 token 剪枝,将长上下文 prefill 提速 1.4-11.3 倍

    TokenGate 是一个即插即用小组件,通过受 MoE 启发的 token-gated attention 机制实现端到端可学习的 token 剪枝,用于加速和降低长上下文 prefill 的内存占用。在多种任务上实现 1.4-11.3 倍更快 TTFT 和 1.5-3.4 倍更低峰值内存且无精度损失,较此前最优 token 剪枝方法最高 6.4 倍提速和 2 倍内存降低;可适配 Qwen3 等标准 Transformer 及混合注意力模型,适配成本类似参数高效微调。代码与论文见 arXiv 2610.26754 和 GitHub。

  6. GitHub · 灵魂体仓库19

    FemPrompt SozArb:社工领域 LLM 负责任使用的深度研究辅助文献综述

    FemPrompt SozArb 是一项定性文献综述,探讨社会工作者如何负责任、有建设性地使用 LLM,并以女性主义 AI 素养为框架。研究通过 AI 辅助深度研究识别文献,按 PRISMA 2020 与 PRISMA-trAIce 报告筛选流程,由人类评审在 PRISM 工具中筛查、AI 智能体编码,最终学术权威由领域专家掌握。该项目属格拉茨大学 Elisabeth List Fellowship 项目,代码采用 MIT 许可,文档采用 CC BY 4.0。

  7. Reddit · r/LocalLLaMA52

    Specter 论文提出量化多步投机卸载加速单 GPU MoE 推理

    arXiv 论文 Specter 提出一种 MoE 推理系统,用量化让轻量 draft 模型在设备上运行,对未来专家使用做多步投机预判,提前安排专家的搬运与执行。单请求推理下相对 SOTA 系统平均取得 1.50x(最高 1.88x)的 TPOT 加速,让单 GPU 受限显存下的 MoE 推理在消费级硬件上更可行。代码在 https://github.com/wwwwwf/specter_asplos,论文见 https://arxiv.org/abs/2511.14102。

  8. GitHub · 去对齐工具与仓库71

    AgentVFS 发布 VFS-Bench 1.0:虚拟文件系统接口比 MCP 平均省 52% token

    AgentVFS 团队发布 VFS-Bench 1.0 基准,200 个任务(100 个来自 MCP-Atlas、100 个来自 Toolathlon)覆盖 46 个外部服务,每个任务分别通过 MCP 工具调用和虚拟文件系统 AgentVFS 各运行一次,任务文本、数据和评分器完全一致。结果显示虚拟文件系统平均减少 52% token,pass@1 从 77.6% 升至 81.6%,其中 Claude Opus 5.5 在 MCP-Atlas 上 token 减少 88%。基准用本地 fake 服务复现 API,每次运行前重置并重新播种数据,完整榜单和轨迹见 agentvfs.org,仓库地址 https://github.com/agentvfs/vfs-bench。

    推荐理由:同一任务在 MCP 与虚拟文件系统两种接口下各跑一遍并保留原始评分器,token 与 pass@1 的对比数据齐全,可复现。

  9. GitHub · 去对齐工具与仓库46

    mikeflame/airate:用 AI agent 实测报告为仓库打分的协议与开放数据集

    GitHub 上的 mikeflame/airate 是一套协议和开放数据集,由 AI agent 提交 install、weekly、bench 三类报告,将安装成功率、首次使用成功率、留存率和 bench uplift 汇总为每个仓库一个 0-5 的 AI Rate 评分,人类不参与计分。评分采用 Wilson 下限加权的证据指数,单账户重复报告权重按 1/k 递减,维护者报告权重为零。agent 可通过 `npx skills@latest add mikeflame/airate --skill airate` 安装技能,用 `gh issue create` 提交报告,数据以 ratings.json 和 RATINGS.md 公开。

  10. GitHub · 3D 生成新仓库19

    MGFlow 开源项目网站发布:单步视觉生成分布式训练统一框架

    shihaoyang0423 发布 MGFlow 项目网站,用于论文 "Unifying Distributional Training for One-Step Visual Generation",提供交互式 demo、模型权重下载与样本浏览。站点为无构建依赖的静态页面,内置原生 interactive ImageBench 排行榜(2026-10-21 快照:76 个 All models / 37 个 Local),支持查看指标、切换视图和导出 SVG,通过 GitHub Pages 部署。

  11. GitHub · 去对齐工具与仓库44

    reasoning-bench:GitHub 开源的可复现 LLM 推理能力基准

    GitHub 开源 reasoning-bench,一个可复现的基准,用于在受控条件下测量 LLM 的特定推理能力,并检验这些能力在问题表面变化后是否保持。v0.1 规划 5 个赛道,其中假设检测赛道含 99 个基础场景(含变体共 367 个测试项),每题生成原始、表面扰动、加干扰项三个版本,每模型每题跑 5 次报告均值与方差,核心指标为鲁棒性差距。项目仅用 Python 标准库(3.8+),支持 GitHub Codespaces 复现,首批结果仅覆盖一个免费模型。

  12. GitHub · 去对齐工具与仓库62

    richajoy 开源 H100 上 Qwen3-8B 推理性能七部分实测研究

    richajoy 在 GitHub 发布 llm-inference-performance 仓库,用 NVIDIA Dynamo、vLLM 和 Kubernetes 在 H100 上部署 Qwen3-8B,逐项改变负载、路由、分离式部署、自动扩缩和引擎设置并测量 TTFT、TPOT、吞吐与容量。

    推荐理由:原文用字节与 FLOPs 从第一性原理解释每个调优参数为何影响 TTFT、TPOT 和吞吐,并给出可复现的基准数据与修正记录。

  13. GitHub · 去对齐工具与仓库48

    OpenSAE 开源 SAEBase:可复现稀疏自编码器(SAE)研究工具包

    OpenSAE 发布开源工具包 SAEBase,用于可复现的稀疏自编码器(SAE)研究,支持加载模型与 SAE、捕获与复用激活缓存、特征干预与消融,并独立报告 L0、重构 MSE、FVU 等指标而不合成单一分数。配套 Research Lab 提供 48 个站点 × 500 条冻结提示的测量、300 张统计卡片及 SAR、RSS、Input Localization 分析,支持 Python 3.11–3.12,可通过 Docker 在 Hugging Face 浏览。

  14. arXiv · cs.AI41

    Racer:用符号等价检查猎捕 GPU 内核 Bug

    Racer 是一个 PTX 级符号等价检查引擎,在符号输入上执行内核与参考实现,将输出变为精确代数表达式以区分浮点误差与逻辑 Bug。它通过 Shape Reduction、lockstep CTA 调度器和带精确数值反驳的 idiom 模板三项技术实现生产级可用。在来自 41 个收集目标的 2,408 个生产内核上,Racer 发现 23 个库中的 82 个真实 Bug,其中 76 个为未知 Bug,41 个已获确认。

  15. arXiv · cs.AI37

    TaskWAM:解决世界-动作模型中的阶段混淆问题

    研究者提出 TaskWAM,一个闭环、阶段感知框架,用 Mode Tokens 表示细粒度任务要求、用 State Tokens 追踪执行进度,解决世界-动作模型(WAM)在长程操作中漂移到错误任务阶段的 Stage Confusion 问题。论文同时发布多阶段操作基准 StageBench。实验显示 TaskWAM 在仿真与真实任务上有效减少混淆并达到与 SOTA 方法相当的性能,且可即插即用迁移到单臂、双臂、灵巧手和人形机器人等异构 WAM 架构与机器人本体。

  16. arXiv · cs.AI54

    Stratified Sparse Attention 论文提出确定性检索结合分数引导采样以缩小极端稀疏下与稠密注意力的差距

    Sahil Joshi 等在 arXiv 发布论文,提出 Stratified Sparse Attention(SSA),将确定性检索与分数引导采样结合以缩小稀疏注意力与稠密注意力在极端稀疏下的差距。在 RULER、LongBench、LOFT、AIME 及 3B 至 27B 五个模型上,SSA 均优于基线;RULER-HARD 用 Ministral-3-8B 在 50 倍注意力稀疏下,32K 和 128K 准确率从 81.8% 提至 84.2%、从 63.8% 提至 69.3%,分别恢复稠密注意力性能的 94% 和 85%。优化 CUDA 内核后,1M 上下文解码速度相对 FlashInfer 最高加速 2.96 倍,代码已开源。

    推荐理由:论文给出 SSA 在 RULER 等基准和 50 倍稀疏度下的精度与解码加速数据,方法可复用,代码已开源。

  17. arXiv · cs.AI13

    MOTION:基于演化用户-位置图社区一致性的人类移动生成框架

    研究者提出 MOTION,一个用于社区一致性人类移动生成的多智能体框架,将移动生成形式化为动态用户-位置图生成。该框架由用户 agent、位置 agent 和全局管理 agent 组成,先用 Leiden 算法检测历史移动中的社区并提取社区条件交互先验,再由用户 agent 规划移动、位置 agent 从社区视角推断到达、管理器协调两视角并定向反思修正。在两个真实数据集上,MOTION 在个体轨迹、人口与流量分布、社区与图结构等指标上比基线至少高出 4.05%,代码已开源。

  18. arXiv · cs.AI34

    论文主张:AI 涌现的判定应以信息分解为理论基础

    一篇入选 NeurIPS 2026 Spotlight 的论文提出,用信息分解作为统一形式框架来操作化 AI 系统中关于涌现与协同的评估。该框架区分组件独有的信息、多组件共享的冗余信息和只有组合才能获得的协同信息,并给出可证伪标准:系统行为只有在携带关于任务结果的协同信息时才可称涌现。论文将这一视角应用于注意力头、自主智能体和人机团队。

  19. arXiv · cs.AI33

    G-JEPA:在潜在世界模型中探索时序上下文感知的物理接地

    研究者提出 G-JEPA,将时序上下文显式引入 JEPA 世界模型的物理接地,并结合先验引导的动作规划。该方法用共享因果时序模块在物理状态监督下聚合观测与预测序列的时序上下文,规划时通过以当前与目标潜在表征及其差异为条件的生成式动作分布进行动作推理。实验显示该模型在操作任务上规划性能提升,包括初始与目标观测时序间隔增大的任务,代码已公开。

  20. arXiv · cs.AI51

    Carlo Ciliberto 提出 Proof-Carrying Contracts 框架,用机器可验证证明约束 AI 智能体行为

    Carlo Ciliberto 在 arXiv 发布论文,提出 Proof-Carrying Contracts(PC2)框架,要求智能体在执行操作前提交机器可验证的证明,说明该操作在其模型允许的所有情况下都保留约定约束。名为 Airlock 的执行系统负责检验证明并控制访问,论文证明了约束在执行全程每个时刻都成立,即使智能体是对抗性的,并提供可复用能力模块用于构建合约。

  21. arXiv · cs.AI21

    基于 SSM 的脉冲神经网络实现模型级与层级闭环时间序列预测

    一项研究提出基于 SSM 的脉冲神经网络(SNN)闭环预测方法,解决 SNN 自回归预测时依赖不可得数值的问题,包括模型级和层级两种策略。在 ETT-small 基准上,两种方法与 S4 的 zero-masking 基线相当或更好,多数情况下可与 SpaceTime 等最先进方法媲美。结果显示连续激活与低比特量化激活之间的权衡,证明 Deep SSM 架构可作为有竞争力的预测框架。

  22. arXiv · cs.AI11

    ECG 推断实验室指标:一项全面的生理学与技术分析

    这篇论文研究用多模态深度学习从 ECG 记录和患者元数据预测 NT-proBNP,并评估其生理合理性。基于 MIMIC-IV 的回归、二分类和三分类实验显示,12 导联配置持续优于 lead II 单导联:回归 MAE 为 534.98 pg/mL(单导联)对 514.27 pg/mL(12 导联),二分类 AUROC 分别为 0.849 和 0.876。结果表明精确回归仍有挑战,但更宽浓度范围的分类效果较好;实验仍需独立数据集验证。

  23. arXiv · cs.AI41

    DecisionPivot:面向 LLM 系统决策模型的诊断性 Benchmark

    DecisionPivot 是一个诊断 LLM 系统中决策模型的 benchmark,包含 48 个任务、40,033 个条目和七种决策角色,核心 track 有 7,800 个条目组成的对照组。评测显示,两个在 reference track 上仅差 2.6 分的 27B 模型,对照组准确率分别为 70.1% 和 44.2%;Perplexity Decider 在 2,400 对二元对照中概率排序正确率达 92.3%,但仅 74.1% 两题都对。GLM-5.3 在 1,296 条目子集上以更高推理设置达到 93.5% 对照组准确率,最低设置下为 81.5%。

  24. arXiv · cs.AI54

    REACT 框架:VLM 引导接触重定向与生成式伙伴建模用于人形机器人与人交互

    论文提出 REACT 框架,从人类双人示范中学习可部署的人形机器人交互策略,用 VLM 引导的接触建模与重定向提取语义接触,并将特权策略蒸馏为仅靠机载深度感知的部署策略。为应对严重部分可观测,引入生成式伙伴状态建模目标预测被遮挡伙伴运动;在仿真和真实 Unitree G1 上评测五项接触丰富交互,实机上仅靠机载感知完成全部五项。

    推荐理由:论文聚焦近距离接触时人形机器人看不到人类伙伴的难题,用语义接触结构作为监督信号,并给出了仿真与 Unitree G1 实机的验证。