跳到正文
10月23日周五
  1. GitHub · 灵魂体仓库49

    llm-verifier-reliability:NeurIPS 2026 Verify-Agents Workshop 论文验证实验代码与数据发布

    该仓库发布 NeurIPS 2026 Verify-Agents Workshop 论文的验证可靠性实验代码与数据,共 64,800 次 verification calls,覆盖 HumanEval+、MATH、GPQA-Diamond 三个领域、每域 150 题,报告 headline +13.1 pp 的 self-preference gap。代码为 MIT 许可,派生产物为 CC BY 4.0;GPQA-Diamond 题目文本被隐去,需 HF_TOKEN 本地恢复。

  2. GitHub · 灵魂体仓库63

    tatra-labs 开源 nano-pixelmoe:约 260 行实现像素空间扩散的 LLM 式混合专家

    tatra-labs 发布 nano-pixelmoe,用约 260 行代码独立实现 PixelMoE 论文(arXiv:2610.18857)方法,将 LLM 式 mixture-of-experts 原样迁移到无 VAE、无 tokenizer 的像素空间扩散。实现在 RTX 5060 Laptop 上训练,CIFAR-10 上 64.2M 参数(每 token 激活 27.0M)FID 26.43,与匹配激活参数的 dense 基线 26.73 在 10k 样本噪声范围内持平;展示了无辅助损失的负载均衡(最忙专家为平均负载 1.6 倍)及专家按内容和噪声水平分工的路由图。作者指出论文的收益出现在 200M+ 激活参数规模,并附完整训练与采样命令。

    推荐理由:作者在单卡笔记本 GPU 上复现了 PixelMoE 的 MoE 路由机制,并给出与 dense 对照的 FID 数据和平衡路由结果,代码可自行训练。

  3. GitHub · 去对齐工具与仓库28

    sportPredictLLM:用 Gemini Flash 做 NBA/NHL 投注预测的 GitHub 实验项目

    GitHub 上的 sportPredictLLM 项目测试 AI 分析师能否在 NBA 和 NHL 比赛投注中超越市场。四个组合以 1-unit 固定注额投注同一批比赛,其中 ai_analyst 由 Gemini Flash 依据 ESPN 伤病报告等最多调整市场公平概率 5 个百分点,EV 达 3% 才下注,并以 ROI、CLV 和 Brier score 评分。v1(2025 年 11 月至 2026 年 1 月)战绩 105-136,-33 units,ROI -13.7%。

  4. GitHub · 去对齐工具与仓库57

    rag-context-attention:预注册实验测量 RAG 提示词长度与迭代检索收益

    MitushiG 发布预注册实验仓库 rag-context-attention,研究 RAG 场景下提示词长度与迭代检索的实际收益。实验在单张 RTX 4090 上用 Qwen2.5-7B-Instruct 完成,发现长度本身影响很小,30K token 无关文本下准确率仍有 83%(仅金标段落为 82%),真正伤害来自相似干扰项(30K 时下降 30 分,金标段落在中间时最差,39% vs 65%);金标段落上的注意力可预测答对(分层 AUROC 0.77);真实 top-k RAG 在 k=20 达到峰值 51.5%。

    推荐理由:预注册实验把提示词长度、干扰相似度与检索收益拆开测量,并给出可复现的实验代码与统计校正方法。

  5. GitHub · 灵魂体仓库59

    SurfBench 基准发布:用 50 个真实任务评测各网页访问 API

    riccardogiorato 发布 SurfBench 基准,用 50 个真实任务(分 4 个层级)统一评测 parallel、exa、tavily、firecrawl、keenable、linkup 等网页访问 API,检查各服务商能否找到并抓取正确页面。评分按质量 0.50、可靠性 0.35、速度 0.15 加权,使用固定的 MiniMax M3 读取模型和 Kimi K3 + GLM-5.3 评审面板,给出 95% 置信区间与每千个通过任务的成本列,完整结果包、任务检查器与方法论页面随仓库公开,MIT 协议,可自行运行复现。

    推荐理由:这是一个可直接复现的网页访问 API 评测基准,方法论、提示词与评分细则全部公开,还给出了置信区间与成本列。

10月22日周四
  1. GitHub · 3D 生成新仓库36

    RadMatch:基于 LLM 的可审计放射报告评估框架开源上架 PyPI

    新开源框架 RadMatch 用 LLM 评估放射报告生成质量:先从报告中抽取原子化 findings,按临床等价性匹配预测与 ground truth,再从七个临床属性维度刻画每处错误,并以 actionable_errors_per_report(越低越好)作为核心分数。所有中间步骤均写入磁盘,分数可回溯到具体 finding 对,并提供可选 dashboard。支持 OpenAI、Anthropic、Mistral 及 OpenAI 兼容自托管端点,示例使用本地 vLLM 部署的 Gemma-4-31B(fp8 量化)。

  2. GitHub · 3D 生成新仓库25

    MECLabTUDA 开源 VoxelSceneGraph:3D 医学影像场景图研究中枢

    MECLabTUDA 在 GitHub 发布 VoxelSceneGraph 项目,汇集 3D 医学影像 Voxel Scene Graph 相关的数据集、标注工具与训练框架,聚焦颅内出血(ICH)研究。核心数据集 BleedScene3D 提供 574 个标注 volume,已在 Kaggle 开放获取,配套 scene-graph-api、scene-graph-prediction 和联邦学习框架 federated-scene-graph-prediction 等工具库。相关论文已被 MICCAI2024、WACV2025 和 ICPR2024 接收,并提出了新的 VC-IoU loss。

  3. GitHub · 3D 生成新仓库34

    CAMGen 开源:基于仓库三视图上下文的 LLM 提交信息生成复现包

    CAMGen 通过识别代码变更的核心实体,结合结构依赖、功能语义和历史范例三种仓库上下文视图,配合代码 diff 让 LLM 生成提交信息。该复现包提供 7,522 条评测提交(源自 ApacheCM,覆盖 C++、Java、Python 三种语言)、固定的 1,000 条提交消融子集、提示词模板、上下文构建代码、API 推理及自动评测脚本,任务构建仅需 Python 3.10+。

  4. GitHub · 去对齐工具与仓库18

    coreytoolathon 开源仓库:优化 LLM 在多任务环境中的上下文推理(论文审稿中)

    coreytoolathon 在 GitHub 发布论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的配套仓库,目前状态为即将发布,论文正在 COAI 2025 审稿中。论文提出优化 LLM 上下文推理的策略,实验结果显示其在动态环境中具有更好的适应性,仓库将陆续开源实现代码、benchmark 结果和预训练模型 checkpoint。

  5. GitHub · 去对齐工具与仓库30

    llm-adaptive-learning:LLM 动态环境自适应学习开源实现(ICML 2025 论文配套代码库)

    GitHub 仓库 coreytoolathon/llm-adaptive-learning 发布了 ICML 2025 论文《Adaptive Learning Strategies for Large Language Models in Dynamic Environments》的实现代码,使 LLM 能在动态环境中实时自适应、持续学习且不产生灾难性遗忘。在四类动态环境测试中,新领域性能从 68.1% 提升至 86.2%(+18.1%),时序变化场景提升 +19.1%,采用轻量更新机制、无需全量重训练,代码以 Apache 2.0 许可开源。

  6. GitHub · 去对齐工具与仓库19

    enhancing-llms:用高级微调技术增强大语言模型的开源仓库

    GitHub 仓库 enhancing-llms 实现了论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》中的微调方法,用于提升 LLM 在领域特定任务上的表现。该方法在 GLUE 上取得 92.5%(较基线提升 8.3%)、SuperGLUE 上取得 89.3%(提升 12.5%),支持领域适配与高效训练,代码以 MIT 许可开源。

  7. GitHub · 灵魂体仓库30

    GitHub 开源仓库:静态分析警告验证的 Heuristic 与 LLM 对比复现包

    GitHub 仓库 demonzwm/heuristic-vs-llm-warning-labeling 发布了覆盖 1,027 条警告的可复现验证包,包含跨版本 Heuristic 匹配、独立代码切片 LLM 判断与 EvoVerify 融合。标注真值含 54 条 TP(actionable)和 973 条 FP(unactionable),独立 DeepSeek-v4-flash 与 GPT-6 Luna 在 518 条警告上一致,Heuristic 与其共同标签在 141 条上相左。该复现无需调用 API。

  8. GitHub · 3D 生成新仓库24

    leandr-osu/domain-generation-segmentation:DNS 域名自动切分与合成域名生成的代码与数据

    Oregon State 的 Andrew Le 与 Zane Ma 开源了域名语义切分研究的代码与数据,实现合成域名生成与多种分词器(Viterbi、VBE、POS、GPT-5 Mini 及混合模型)对比评估。仓库含 100,000 条合成域名和 2,000 条人工切分域名,评估输出 exact match 与 Jaccard 分数;GPT 相关分词器默认回放已存响应,需设 OPENAI_API_KEY 才可调用 API,完整评估约需 40 分钟。

  9. GitHub · 3D 生成新仓库35

    KAIST 开源 MUNI:NeurIPS 2026 多模态统一潜在扩散模型官方 PyTorch 实现

    KAIST 团队开源了 MUNI(Multimodal Unified Latent Diffusion)的官方 PyTorch 实现,该工作已被 NeurIPS 2026 接收。MUNI 通过 product-of-experts 或 Hellinger 聚合结合模态特定高斯后验,并与基于 flow 的潜在先验联合训练,实验覆盖 image-text-audio、PolyMNIST-Quadrant-Labels 和 GMM 三类任务。代码需 Python 3.10 和 PyTorch 2.9.1,图像渲染默认使用 Stable UnCLIP。

  10. GitHub · 灵魂体仓库34

    Kaggle-LLM-Challenge:Name That LLM 竞赛可复现基线流水线

    arshjohari1 发布 Name That LLM,一个面向 Kaggle LLM 作者归属竞赛的 CPU 优先可复现流水线,根据文本预测 18 个模型标签之一。最佳候选 multi_c150_s020 达到 37.56% 的 grouped CV balanced accuracy,随机猜测基线约为 5.56%。流水线以 TF-IDF 与线性分类器为基线,支持离线推理与 Parquet 输出,尚未提交 Kaggle。

  11. GitHub · 3D 生成新仓库25

    behavior-in-the-wild 项目主页:探索“行为模态”的模拟、预测与优化

    behavior-in-the-wild 项目旨在解释、预测和优化真实世界中的人类行为,主要面向营销、广告和计算社会科学场景。该项目把通信拆解为发送者、内容、信道、接收者、行为等 7 个模态,提出行为模拟、个性化、定向、Transsuasion、发送者与时间优化等六类问题,研究成果包括 LCBM(Large Content and Behavior Models)、BOIG 图像生成、广告记忆度研究等,联系邮箱为 behavior-in-the-wild@googlegroups.com。

  12. GitHub · 3D 生成新仓库12

    Ishra18-hub/solar-pv-forecasting-ml:太阳能光伏电站功率短期预测 ML 项目

    这是一个机器学习研究项目,利用同期天气传感器数据和近期功率历史,预测太阳能光伏电站 15、30、60 分钟后的交流(AC)功率输出。项目使用印度两座光伏电站 34 天(2020-05-15 至 2020-06-17)、15 分钟间隔的 Kaggle 数据集,比较四组特征集和三个无训练基准,采用 MAE、RMSE 和 R² 在按时间顺序划分的测试集上评估。主要发现:在 Plant 1 上加入近期 AC 功率历史在三个预测时域均无统计可检测的改进,时间信息比历史功率更有帮助;在 Plant 2 上历史的影响持续为正但多数与零不可区分。

  13. GitHub · 去对齐工具与仓库33

    ShreyasK06 的 Tiny Shakespeare GPT:从零训练小规模 GPT 语言模型项目

    一个从随机初始化、无预训练权重开始训练的 GPT 风格语言模型项目,使用约 1MB 的 TinyShakespeare 文本(1,115,394 字符、65 个字符类别),字符级 tokenize,模型 3.24M 参数,上下文窗口 256 字符。经 next-token prediction 预训练,选中的 exp_c_small 配置验证损失 1.4338、测试困惑度 6.19,并通过 React 前端与 Vercel serverless 后端以纯 JavaScript 逐字符流式输出。

  14. arXiv · cs.CL22

    LLM 作为问卷受访者:与简单语义基线的比较

    一项 arXiv 研究评估了三个 LLM 基于部分已知回答预测问卷缺失题项回答的能力,并与最大化 embedding 相似度的简单基线对比,数据来自两项关于自动驾驶或轻型电动车态度的调查。结果显示 LLM 大多优于基线,但随已知回答比例下降,其表现持续变差,在其中一个调查中降至与基线持平,表明其数据增强能力依赖足够的人类数据。

  15. arXiv · cs.CL37

    模型规模与量化对问答中社会偏见与弃答的影响研究

    一项基于 BBQ 基准的研究考察了 Qwen3、Gemma-3 和 SmolLM2 在多种规模与量化设置下的社会偏见与弃答行为。结果显示,更大模型问答准确率更高,但偏见无简单缩放趋势,量化影响因配置而异;26 个偏见响应更少的配置中有 20 个同时出现过度弃答增多。研究表明公平性评估需将偏见响应、弃答、提示词形式与选项设计联合考虑。

  16. arXiv · cs.CL54

    SPARE 提出基于路由熵的 MoE 分层剪枝稀疏度分配方法

    论文提出 SPARE,一种免训练、与 selector 无关的方法,用校准数据上 token 归一化 Top-K 门控权重的路由熵决定每层剪去多少专家,路由越分散的层剪得越激进,并用随机剪枝扰动界形式化该直觉。相同 selector 与预算下,SPARE 在 Mixtral、Qwen3 和 DeepSeek 模型上平均精度优于均匀分配,50% 专家剪枝时 Qwen3-30B-A3B 八任务平均从 57.2% 升至 63.8%,DeepSeek-R1 的数学、代码与科学平均从 80.1 升至 82.8。论文地址 https://arxiv.org/abs/2610.29662v1

    推荐理由:论文把 MoE 专家剪枝从剪哪些专家推进到每层剪多少的问题,给出的路由熵方法无需训练即可提升高剪枝率下的精度。

  17. arXiv · cs.CL27

    BiasGuard-D:面向 LLM 输出质量可审计执行的类型化对抗契约

    论文提出 BiasGuard-D 框架,用来自不同模型族的两个对抗角色交换类型化声明文档、三模型多数投票裁决,并以引用加语义组合不变量验证结果,为 LLM 生成记录提供可审计的溯源链。该方法在 HaluEval QA 上仅改角色设定即从刻板印象迁移到幻觉修复,正确答案恢复率提升 49 个百分点;语义组件能捕获引用检查漏掉的判定,移除迭代循环会使不变量满足率大幅下降。

  18. arXiv · cs.CL51

    Uni-Mem 论文提出用统一在线强化学习联合优化智能体长期记忆构建与检索

    Uni-Mem 论文提出用端到端在线强化学习训练统一记忆管理器,同时学习记忆构建与检索两项能力。针对联合优化中 GRPO 存在的组间混淆与长轨迹稀疏反馈问题,提出 Stage-Decoupled GRPO 交替优化两个阶段,并引入 Event-Wise Credit Assignment 将反馈定位到具体事件;在 LoCoMo 和 LongMemEval 上优于最强 RL 记忆方法。

  19. arXiv · cs.CL35

    MPIXEL 像素语言模型的多语言预训练扩展研究

    arXiv 论文提出 MPIXEL 像素语言模型系列,沿更多语言、更多文字、更大模型容量三条轴扩展多语言预训练,在覆盖 83 种语言的五项任务上评估。结果显示扩展呈局部效应:各轴仅提升新增语言与文字,更大容量可缓解多语言诅咒;对未见文字的迁移随多语言预训练改善但不随扩展继续提升。这些模型在多种文字系统的低资源语言上超过 subword 与字符级基线。

  20. arXiv · cs.CL50

    RAG 组合性研究:LASAGNA 框架揭示各组件收益无法简单叠加

    研究者提出开源 RAG 评测框架 LASAGNA,预声明三项假设,在 8 个 benchmark、5K 至 200K 文档规模的语料上测试 450 种配置。结果显示:三项单独预测合计 +47% 收益的检索技术组合后仅带来 +17%;组件收益对检索质量与答案忠实性的影响方向不同,且最优组合随语料规模变化。作者呼吁新 RAG 技术应在完整技术栈中评测,并开源 LASAGNA 简化实验。

  21. arXiv · cs.CL40

    Accept or Repair(AoR):一种保留文本支持答案的无训练对比解码改进方法

    一项 arXiv 论文提出 Accept-or-Repair(AoR),一种无需训练的方法,解决大语言模型忽略与自身知识矛盾文本的问题:先检查采样答案是否被文本支持,支持则保留,否则最多做两次对比解码替换。AoR 在反事实文本上比采样提升 12.5 分,普通文本提升 2.3 分,超过八个对比解码与提示词基线。

  22. arXiv · cs.CL41

    ALIAS:评估 LLM 编写 TLA+ 规范的性能与记忆化

    arXiv 论文提出 ALIAS,用一致标识符重命名(CIR)在 111 个 TLA+-Bench 任务上检测 LLM 记忆化。重命名使 Claude Opus 4.8 正确率从 28% 降至 18%、GPT-5 从 9% 降至 7%,但按行为评分后降幅缩小至约 3 和 0 个百分点,说明大部分下降来自要求精确名称的评分方式。微调实验中重命名移除约一半训练增益,在未见任务上损失 4.9(Qwen)和 1.3(Gemma)个百分点。

  23. arXiv · cs.CL65

    DeepEvolve 论文提出基于未来事件预测的递归自我改进系统

    Zhipeng Chen 等人在 arXiv 发布 DeepEvolve,一个以未来事件预测为环境的可持续演化智能体系统,通过递归进化引擎把每次预测的推理轨迹转化为能力。在按周更新、以真实世界结果评估的 FutureX 榜单上连续三周排名第一,rating 最高提升 195%;在自建评测中于四个基座 LLM 上进入前三,领先最强基线最多 10.7 Bradley-Terry 分。论文 47 页,标注为进行中的工作。

    推荐理由:论文以未来事件预测这一可持续演化的环境为基础研究递归自我改进,FutureX 榜单连续三周第一是可复核的外部结果。

  24. arXiv · cs.CL40

    LLM 从哪里学会推荐 AI?

    一项 arXiv 研究追溯了大语言模型倾向推荐 AI 相关选项的来源:预训练模型已在 27% 的回复中包含明确的 AI/ML 术语,指令微调版本升至 59%。微调实验显示这一上升并非必然——剔除 7% 的 AI 相关指令数据可使比例下降 14 个百分点;奖励“有帮助”的数据使其上升 9 点,按多样化模拟用户偏好排序的数据使其下降 9 点。提问方式也有影响:要求“最佳”或“现在就做”分别提升 8 和 18 个百分点。

  25. arXiv · cs.CL33

    MAPS:面向 RAG 检索动量调控的宏自适应并行推理框架

    提出搜索动量(search momentum)概念来刻画 RAG 推理过程中查询意图的演化,发现子查询生成倾向于沿既有检索轨迹持续演化。据此提出 MAPS(Macro-Adaptive Parallel Reasoning)框架,保留检索知识与精炼推理状态,并将顺序推理扩展为并行推理以调控检索动量、缓解查询意图漂移。在六个问答 benchmark 上,MAPS 在不同 backbone 模型下均优于代表性 RAG 方法,代码已开源。

  26. arXiv · cs.CL57

    生物医学声明验证智能体的 harness 设计消融研究

    一项 arXiv 研究(arXiv:2610.29812)在 SciFact 生物医学声明验证任务上,用 live PubMed API 作为唯一工具,对四种 harness 做受控消融,涵盖 closed-book、以 claim 为 query 的单次检索、ReAct 式自写 PubMed 查询的智能体,以及给定 gold abstracts 的 oracle,使用两种高效 frontier 模型作为固定骨干。

    推荐理由:受控消融比较四种 harness,指出检索而非推理是生物医学声明验证智能体的瓶颈,方法可迁移到类似评估设计。

  27. arXiv · cs.CL52

    MemoryTax 论文:在 LoCoMo 对话上比较四种记忆方法与三个编码 Agent 的成本与准确率

    arXiv 论文 MemoryTax 提出:当模型足够强、能自行搜索原始历史时,Mem0、Zep 这类预先设计的记忆系统是否仍有价值。作者在一段 LoCoMo 对话(419 轮、152 个问题)上测试四种记忆方法(full context、BM25、Mem0、Zep)和三个编码 Agent(Pi、Codex、Claude Code),每个单元搭配 GPT-4o-mini、GPT-6 Luna 和 Claude Opus 5.5 各跑一次。结果显示 Mem0 仅在 GPT-4o-mini 上胜过 full context,且其构建成本就超过一次 full context 推理;记忆系统还有由写入模型设定的上限。

    推荐理由:论文用同一对话横向比较记忆系统与让模型自带工具搜索原始历史,给出成本与准确率的具体数据,可作设计取舍参考。

  28. arXiv · cs.CL29

    研究语法错误对大语言模型社会偏见的影响

    一项 arXiv 研究构建了向提示词注入常见二语学习者语法错误的受控框架,并在三个覆盖性别、种族、宗教的社会偏见基准上测试。结果显示语法错误会加重大语言模型的偏见且随错误率上升,其中介词错误对刻板印象对齐的提升最大、最稳定;在错误文本上微调可缓解这种偏见增加。基于规范英语提示词的偏见评测可能低估语法错误使用者所受的偏见。

  29. arXiv · cs.CL31

    用混合语言讽刺句子基准测试评估大语言模型

    研究者构建了包含 60 余万条样本的罗马尼亚语-英/德/法/意混合语言讽刺检测数据集 CS-SeLeRoNa 及人工校验的 CS-SeLeRoNa-Gold 基准,采用随机替换、短语翻译、依存句法分析和 LLM 四种方法生成语料。评测显示,老一代开源模型 macro-F1 降至 37%-55%,Gemma 4 31B 零样本达 68.1%,接近 GPT-5 mini 的 69.5%;微调后 Gemma 4 31B 在 CS-SeLeRoNa 上达 77.5%、gold 基准上达 72.6%,超过前沿模型零样本基线。

  30. arXiv · cs.CL26

    WMT 2026 MIST:面向开放式问答的任务保持多语言指令微调

    该论文介绍 WMT 2026 Multilingual Instruction Shared Task 的参赛方案,用 LoRA 基于主办方数据 EuroAlpaca 和跨语言增强数据 CrossEuroAlpaca 微调 Qwen3-8B,面向十种语言的开放式问答(QA-OEG)。在相同解码设置下,目标语言 QA-OEG 的 Gemma-4 评分较基座模型相对提升 7.8%;在 Aya Evaluation Suite 评测中,macro-平均 ROUGE-L 相对提升 41.5%、BERTScore-F1 提升 2.9%。但这些增益具有任务和语言特异性:目标语言的上下文问答及非目标语言的三项任务得分均有下降。