跳到正文
10月24日周六
  1. GitHub · 去对齐工具与仓库18

    Vhagar181 开源仓库:优化 LLM 在多任务环境中的上下文推理(论文审稿中)

    Vhagar181 上线论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的配套代码仓库,论文正在 COAI 2025 审稿中。该论文提出优化策略以增强 LLM 跨多任务的上下文推理能力,实验显示在动态环境中适应性更优。仓库标注“即将发布”,将包含实现代码、benchmark 结果、预训练模型 checkpoint 及文档教程。

  2. GitHub · 去对齐工具与仓库42

    Vhagar181 开源 llm-adaptive-learning:LLM 动态环境自适应学习实现(ICML 2025)

    Vhagar181 在 GitHub 开源论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments"(ICML 2025)的实现,支持 LLM 实时适应动态环境且避免灾难性遗忘。该方法在多类动态场景上较基线提升 16.8%–19.1%,如时序变化场景从 69.8% 提至 88.9%,采用轻量更新机制无需全量重训,代码以 Apache 2.0 许可发布。

  3. GitHub · 去对齐工具与仓库18

    优化 LLM 在多任务环境中的上下文推理:论文代码仓库(待发布)

    John Smith 等人的论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》正在 COAI 2025 审稿中,其代码仓库即将发布。论文提出优化策略以增强 LLM 跨多任务的上下文推理,实验结果显示在动态环境中适应性更优。仓库将包含实现代码、benchmark 结果、预训练模型检查点及文档教程。

  4. GitHub · 灵魂体仓库10

    enhancing-llms:先进微调技术提升 LLM 在 GLUE 和 SuperGLUE 上的表现

    GitHub 仓库 enhancing-llms 发布论文《Enhancing Large Language Models with Advanced Fine-Tuning Techniques》的实现与实验,探索面向领域任务的新型微调方法。该方法在 GLUE 上取得 92.5%(较基线 +8.3%)、SuperGLUE 上取得 89.3%(+12.5%)的 SOTA 结果,并提供高效训练管线,代码以 MIT 许可开源。

  5. GitHub · 灵魂体仓库51

    ARM-Sparse 实测 Llama 3.2 1B 与 TinyLlama 1.1B 在 Apple M2 上的 FFN 块稀疏加速收益

    ARM-Sparse 项目在 Apple M2 CPU 上实测 Llama 3.2 1B 与 TinyLlama 1.1B 的 FFN 块稀疏推理,结论是 packed B8 块内核只在 40-50% 稀疏度才快过 Accelerate 稠密基线,而此时模型质量已不达标(Llama 在 20% 处困惑度 +8.773% 失败)。在 10-20% 质量门槛内,只有采用 neuron-major 权重的 per-neuron 执行器跑块对齐 mask 能比稠密快百分之几(真实 mask +0.9% 到 +3.5%,合成 mask 最高 +7.3%),且质量上限决定了收益上限,不构成端到端可部署加速;仓库附带 99 项自动化测试的完整复现包。

  6. GitHub · 灵魂体仓库13

    LLM 多任务环境上下文推理优化研究(COAI 2025 在审)

    一篇题为《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的论文提出优化策略,以提升 LLM 在多任务环境中的上下文推理能力,实证结果显示其在动态环境中适应性更佳。该论文目前在 COAI 2025 会议审稿中,仓库标注"To be released",完整实现代码、实验配置、Benchmark 结果、预训练模型 checkpoint 和文档教程尚未发布。

  7. GitHub · 灵魂体仓库17

    Beamoaadvance 开源 llm-adaptive-learning:ICML 2025 论文的 LLM 动态环境自适应学习实现

    Beamoaadvance 在 GitHub 开源了 ICML 2025 论文 "Adaptive Learning Strategies for Large Language Models in Dynamic Environments" 的实现,使 LLM 能在动态环境中实时自适应调整。该方法支持持续学习而不发生灾难性遗忘,无需完整重训练即可轻量更新,在多类动态环境中较基线提升 16.8%-19.1%(如 Temporal Changes 场景从 69.8% 提至 88.9%)。项目采用 Apache 2.0 许可证。

  8. arXiv · cs.CL26

    UMer:基于心理引导证据推理的社交媒体抑郁严重程度估计框架

    论文提出 UMer,一个基于社交媒体痕迹的抑郁严重程度估计框架。UMer 先从历史社交痕迹中蒸馏用户特定心理先验,再通过量表引导的多查询检索构建证据记忆,最后进行由粗到细的证据感知推理,区分直接与间接证据并给出可解释的条目级评分。在真实基准上,UMer 性能优于现有基线,并具备证据可解释性和向其他量表任务的泛化能力。

  9. arXiv · cs.CL29

    ARMOR-DP:让多语言 BabyLM 训练动态追踪最弱语言

    ARMOR-DP 是一个面向多语言 BabyLM 的模块化框架,用各语言验证损失动态更新采样比例,诊断表征、曝光、容量与目标压力导致的失衡。实验显示等字符预算会给中文带来严重表征伪影,字节级编码可消除大部分,而静态中文保护又会使英语变为最弱语言;动态控制器取得比固定保护更好的分数—平衡权衡,curriculum-dynamic 检查点在官方评测中以更少中文 epoch 超过静态中文保护基线。

  10. GitHub · 3D 生成新仓库23

    PixelBudget:延迟与内存约束下的自回归图像生成研究

    UIT(VNU-HCM)研究员 Nguyen Huynh Dang Nhut 发布 PixelBudget 项目,研究在计算预算(GPU VRAM、缓存容量、内存带宽)与图像质量之间的权衡,在 NVIDIA T4 GPU 和多核 CPU 上实现像素级自回归生成。研究对比了自定义解析反向传播与 PyTorch autograd 的开销,并分析逐像素解码与并行 patch 生成的内存带宽瓶颈。项目含 68 个 cell 的 Colab notebook 及离线 HTML 报告。

  11. GitHub · 灵魂体仓库53

    Sleight 编程语言仓库发布:带依赖类型与终止检查,实现由 LLM 智能体编写

    emmarion 发布了 Sleight 编程语言仓库,语言采用 s-expression 语法、受限依赖类型、每个 binder 标注 multiplicity(erased/many/unique)以及无逃逸的终止检查,编译器会检查程序声明的性能断言如尾调用。仓库含参考实现(OCaml)、自举编译器 slc 和 Lean 4 模型,附千余个测试程序及 checked_runs、no_false、eval_sound 等机器验证定理;palindrom、heapsort、msort 等认证程序中堆排序由 LLM 智能体经多会话写成,2026 年 10 月 14 日的 talk 报告了模型表现。

  12. GitHub · 3D 生成新仓库36

    novasyne 开源 SyntheticEEG:验证合成 EEG 数据能否替代真实训练数据

    GitHub 新仓库 novasyne/SyntheticEEG 研究合成 EEG 数据能否替代或增强真实数据,用于跨数据集压力与认知负荷分类。项目使用 4 个公开 EEG 数据集(EDMA、SAM40、MentalWorkloadEEG、MentalStress),评估相关性引导插值、WGAN-GP、条件 VAE 三种合成策略,并加入 CORAL、Optimal Transport、Prototype-shift 域适应,覆盖全部 12 个 source→target 数据对。仓库提供预处理、合成、跨数据集与 LOSO 评估脚本,含 LDA、Logistic Regression、Random Forest、SVM-RBF、XGBoost 五种分类器。

  13. GitHub · 3D 生成新仓库11

    SriHarsha61 开源基于 DCGAN 的人脸生成项目

    GitHub 用户 SriHarsha61 发布了一个使用 DCGAN 生成人脸的开源仓库,包含 DCGAN.py 训练脚本、README、requirements.txt 及运行脚本 run.bat,并附带 samples_input_text.txt 与截图文档 SCREENS.docx。项目采用 Django 项目结构(manage.py、db.sqlite3),可直接在本地运行查看生成效果。

  14. GitHub · 灵魂体仓库37

    Open Accounting Bench:GitHub 开源的 AI 会计智能体可执行基准

    GitHub 上的 bex-co 仓库 Open Accounting Bench(OAB)是一个用于评测 AI 会计智能体的开源可执行基准,目前处于 pre-alpha 阶段的 v0.2 开发中状态。它通过参数化任务家族动态生成任务,并采用五层确定性状态验证打分,不依赖 LLM judge,核心指标为 Verified Task Completion Rate。任务基于 Harbor 格式在隔离无网络容器中评估,现有 7 个冻结 Stable 实例,90 天目标是 12–15 个经过验证的生成器,采用 Apache-2.0 许可证。

  15. GitHub · 灵魂体仓库49

    研究发现:LLM 对心理健康帖子的分类更贴近专家而非自述标签

    针对 Kallstenius 等人原研究的 Matters Arising 评论发现,三名临床心理学家盲评了 Kaggle 心理健康语料的 103 条帖子,GPT-4o-mini 与专家共识的一致率为 61%,与原始自述标签仅 42%;SVM 复现结果相反(46% 和 57%)。这说明原研究中 TF-IDF+SVM(95%)优于 LLM(65%)的结论可能受标签质量影响。

  16. Nielsen Norman Group · ux 研究40

    AI in UX 调查:工作更快了,但从业者对 AI 的感受复杂

    Nielsen Norman Group 调查了 521 名 UX 从业者,发现 AI 使用几乎普及(99% 可访问),但情绪评分仅 3.57/5,69% 的开放式评论带有负面情绪。主要障碍是输出质量(54%)和数据隐私安全(50%);Agentic AI 在初创公司使用率达 85%,非营利组织仅 36%。多数人(65%)预期自己的角色仍重要,但研究员和设计师的安全感低于 PM。

  17. Reddit · r/LocalLLaMA23

    SCOPE 如何在 Claude Code、Codex 等编码智能体中做策略执行

    Reddit 用户 /u/1982_miguel 分享了论文 SCOPE,其思路是将复杂的项目策略拆解为多个小检查,而不是靠单个模型判断编码智能体是否遵守架构规则等约束。作者指出测试通过不等于智能体遵循了全部规范,并讨论 SCOPE 与 linter、测试、pre-commit hooks、CI 检查及 agent guardrails 等现有工具的整合可行性。

  18. GitHub · 去对齐工具与仓库45

    llm-posttrain-lab:用 Qwen2.5-1.5B 实验演示 LLM 后训练中偏好对齐为何用 RL 而非 SFT/DPO

    开源实验项目 llm-posttrain-lab 基于 Qwen/Qwen2.5-1.5B 全量微调,对比 SFT、DPO、PPO、GRPO 在偏好对齐中的表现,训练栈为 TRL 1.7 + accelerate/DeepSpeed。实验覆盖 helpful 与 math 两条任务线,math 线在全部 1319 条 GSM8K 测试题上评估 pass@1/pass@8 与 KL,并追踪 DPO 训练中 chosen 回答 log-probability 下降等失效模式。

  19. arXiv · cs.CL18

    指令微调的语言模型应被视为一种文体:指令-会话文体

    一篇 arXiv 论文提出,指令微调的语言模型实现了一种可称为“指令-会话文体”的新文体,由生成模型与人类的历史对话语言经神经网络递归沉淀而成。该文体通过指令微调、system prompt 以及使用特殊 token 和角色轮替结构的标记语言输入形式化,得以在应用中实例化。

  20. arXiv · cs.AI51

    SceneBloom 提出 Agent 式室内环境生成框架,服务具身学习

    论文提出 SceneBloom,一个结合视觉布局采样与契约引导 3D 编译的 Agent 式室内环境生成框架:分层采样器用扩散先验在功能区生成家具布局,编译器再做几何拟合与局部姿态校正。在五类房间中视觉质量与物理稳定性最高,且是对比方法中唯一没有网格碰撞和越界物体的方法;在这些场景中训练的目标导航策略在 held-out 真实扫描上的成功率高于用同等数量真实训练扫描训练的策略。代码已开源。

  21. arXiv · cs.AI33

    RobustRLlib:面向鲁棒强化学习算法的统一库与基准

    RobustRLlib 是一个面向鲁棒强化学习的算法库与基准,以统一接口集成 17 种代表性在线、离线与安全 RL 算法。其评测平台覆盖多样真实扰动及人形与视觉-语言-动作任务,并基于 273 种扰动配置给出当前鲁棒 RL 算法的能力地图,揭示仍存在显著鲁棒性缺口之处。项目以开源形式提供可复现、可扩展的代码库。

  22. arXiv · cs.AI51

    DexPort:面向灵巧手数据采集的手持技能接口

    研究团队发布 DexPort,一种面向高自由度灵巧手的便携式数据采集接口,采集与部署使用相同手部硬件以避免 embodiment 差异,无需机器人臂即可在非结构化环境采集演示。操作者只控制机械腕运动并选择或调整技能来协调手指,共采集超 2,500 条演示;行为克隆训练的 visuomotor 策略在 4 项任务上评测,使用记录的机器人命令替代状态使成功率从 11% 提升到 64%,加入真实环境数据后从 36% 提升到 78%。论文地址 https://arxiv.org/abs/2610.32969v1

  23. arXiv · cs.CL50

    Foyer 论文提出先测量再训练:typed decision models、逻辑回归与生成式 LLM 对比路由个人多语言收件箱

    Federico Lucca 发布 arXiv 论文(arXiv:2610.32955),介绍自托管个人收件箱智能体 Foyer 及一套在训练前获得真值的测量协议。基于 739 封真实意大利语/英语邮件,对比生产关键词规则、TF-IDF+逻辑回归基线、typed decision models(Tev1、Nimble、Nimble v4-max)与生成式 LLM(Qwen2.5-7B、Gemma 4 26B/31B),发现约 200 标签下逻辑回归在各字段准确率最高但从不预测最稀有的两类;准确率并非产品指标,最准确的系统组合成动作后最常忽略需行动的邮件(18%),对噪声概率设置成本阈值后可减半并成为最便宜的方案。

  24. arXiv · cs.AI29

    HAD-VLM:在医学视觉语言模型中保留数值连续性,超越离散 token

    研究者提出 HAD-VLM,一个混合自回归-扩散框架的医学视觉语言模型,将自回归文本生成与超声测量的连续数值预测结合在共享骨干中。在 EchoNet-LVH 四项超声心动图测量任务上,其平均绝对误差为 1.36、2.77、3.05 和 1.16 mm,较基于 Vicuna 的自回归基线降低 21.4-37.6%,并优于微调后的 Qwen3-VL。X 射线椎体测量的平均绝对误差从 11.4 像素降至 6.7 像素,医学问答性能保持不变。

  25. arXiv · cs.AI26

    LLM 平台的智能变现:广告与订阅设计研究

    一项研究分析垄断性 LLM 平台如何同时选择服务响应质量、广告强度和订阅价格。研究发现:广告与无广告方案并存时,部分广告支持的用户可获益但付费用户可能受损;适度的广告上限可最大化消费者剩余;更便宜的算力可提升质量、降低广告强度,但成本大幅下降时总广告收入可能反而上升。

  26. arXiv · cs.AI40

    Yalda Embedding:开源打造有竞争力的波斯语检索模型

    研究者基于 Qwen3-Embedding-0.6B 训练出 595.8M 参数的波斯语检索模型 Yalda Embedding,使用超过一百万查询-文档对。在 FaMTEB 八项波斯语检索任务上,其宏平均达 0.5488,为受评 0.6B 模型中最高,并在四项任务上胜过 Qwen3-Embedding-4B。借助 F2LLM-v2-8B 的关系型知识蒸馏,均值从 0.4813 提升至 0.5488,且模型权重、代码与数据集均已开源。

  27. arXiv · cs.CL24

    面向自然语言与结构化语料的自适应频率阈值 BPE 分词方法 AdaBPE

    研究者提出 AdaBPE(Adaptive Frequency Threshold Byte Pair Encoding),一种基于自适应频繁模式挖掘的分词方法,可根据候选 token 的长度和类型动态调整最小频率阈值。该方法能将词表容量高效分配给 LaTeX 等特定领域记法。在涵盖 LaTeX 与自然语言的五个数据集上,AdaBPE 在领域内容上提升了编码效率和下游语言模型性能,且不损害通用语言表现。

  28. arXiv · cs.AI21

    SemantEq:形式化语句的忠实双向等价判定方法

    研究者提出 SemantEq,用于检验自动形式化生成的 Lean 4 语句是否忠实于原数学陈述,要求双向转换只能经由允许的推理步骤链完成。其无模型搜索 SemantEq-Eval 在 ProofNetVerif 测试集上达到 100% 精确率和 65.6% 召回率(BEq+ 为 95.8% 和 61.8%);配套的 SemantEq-ProofAudit 审核模型证明时拒绝了全部 104 对非等价语句,并在最佳提示下把 407 对等价语句的召回率从 65.4% 提升至 81.1%。代码与数据已开源。

  29. GitHub · 去对齐工具与仓库56

    orioli/IM-LLM:完整产品知识图在 LLM 头脑风暴中始终是效率最低的条件

    orioli 发布 IM-LLM 仓库,含论文、代码与数据,检验窄上下文是否比完整产品图更高效。以微波炉创新矩阵(123 节点、246 条带类型边)为素材,claude-haiku-5-5 生成想法、claude-sonnet-5-5 盲评,主指标为每 10 万 token 产出的高分想法数(score ≥ 4.0)。主实验(580 次调用、2,892 个想法)与 50 想法/次的后续实验中,完整图在全部三个模型上都是效率最低的条件,约为其他条件的一半;需求切片与不给图无差别;按美元计 Haiku 每美元产出比 Opus 高 20-40 倍。论文在投,预印本链接待补。

    推荐理由:实验统一用每 10 万 token 的高分想法产出作指标,并给出三个模型的逐项数据,读者可以自行核对窄上下文是否更省。

  30. Hugging Face Blog34

    Hugging Face 推出 LitPivot:在文献 landscape 中通过动态情境化发展研究想法

    Hugging Face 与宾夕法尼亚大学合作开发 LitPivot,一款帮助研究者在早期选题阶段结合文献调整研究方向的系统。它通过 Asta Paper Finder 检索论文,将提案拆分为问题、贡献和评估计划三个维度并按所选维度组织文献、给出带引文依据的批评和修改建议。在 17 名研究者的实验中,领域专家认为用 LitPivot 形成的想法比基线工具更扎根于文献,该系统将在 UIST 2026 上发表。

  31. arXiv · cs.AI50

    绿色代码还是高耗代码?评估基于 LLM 的迭代代码优化的能耗成本

    一项 arXiv 研究测量了 11 个开源模型在 EffiBench 全部 1,000 道题上的代码优化能耗,发现性能优化并不等于节能:44 个配置中有 42 个生成的代码比人类参考解更耗能,开销从 +4% 到 +886%。推理能耗在 0.79 至 8.68 MJ 之间,约相当于 250 至 2800 次 GPT-4.1 查询;限制最大输出 token 可最多降低 69% 能耗,MoE 架构比同等规模稠密模型更省电。该论文已被 ICSE 2027 接收。

  32. arXiv · cs.AI42

    NgramRL:用感知 rollout 的 N-gram 推测解码加速 RL 后训练中的结构化生成

    NgramRL 从同一提示词的近期 rollout 历史构建逐提示词 n-gram 草稿器,加速 RL 后训练中占比可超 70% 训练时间的 rollout 生成,无需辅助模型或常驻 GPU 草稿状态。在两种模型家族和三种推理、结构化生成任务上,warm-cache 下每次目标模型前向提交 3.60-7.77 个 token,比 SuffixDecoding 最高快 1.99 倍、比 prompt-lookup decoding 快 7.0 倍;Spider 上 prefetcher 以候选预算 16 覆盖 Qwen3-8B 96.6% 的结果,rollout 吞吐提升 1.38 倍。

  33. arXiv · cs.AI45

    基于 SVD 的大语言模型压缩新进展:逐层误差模型搜索方法 LEMS

    研究者提出 LEMS 与 KFAC-SVD,改进基于 SVD 的大语言模型压缩:LEMS 通过逐层误差代理结合 ILP 实现更有效的全局秩分配,KFAC-SVD 利用逐 token 统计缓解此前 Fisher 方法的秩塌缩。在 Mistral、Qwen3 和 Llama 3 模型族上,LEMS 带来最高 4.8 p.p. 的 zero-shot 准确率提升(可泛化到 70B 参数规模),KFAC-SVD 平均降低困惑度 15%。论文已被 ICML 2026 接收。

  34. arXiv · cs.AI45

    Qwen3-4B、Llama-3.2-3B、Gemma-3-4B 在 LLM 智能体观点模拟中的补集一致性研究

    一项 arXiv 研究测试了 LLM 智能体观点模拟中的补集一致性:若概率描述的是智能体立场,将命题改写为补集并把 p 替换为 1-p 后,两次报告之和应为 1。但在 Qwen3-4B、Llama-3.2-3B 和 Gemma-3-4B 三个小型开源模型上,Qwen 在 2,304 个智能体状态中的成对报告平均和为 1.18,在 AVeriTeC 的 48 条真实事实核查声明上同样超过 1,偏差是同义改写影响的二至十倍。将答案与其配对补集平均可恢复一致性并降低 Brier loss,但最后一轮仅在三个模型之一上优于原始表述中较好的一方。

  35. arXiv · cs.CL38

    J-Comm:基于 Jacobian 引导的 LLM 智能体间潜空间通信框架

    J-Comm 是一个无需训练的 LLM 智能体潜空间通信框架,包含 GEAR 几何共识重加权模块和 H+J 双通道通信接口,接收方无需共享 KV cache 或相同模型宽度即可利用发送方的中间计算。在 Qwen3-8B 到 Qwen3-4B 的通信中,J-Comm 在七个 benchmark 上取得最高平均分,包括 MATH500 94.80%、GPQA-Diamond 54.55%、AIME2024+2025 73.33%;相比 TextMAS 提升 1.29-8.59 个百分点,生成 token 减少 19.2-74.8%。

  36. arXiv · cs.AI17

    从活动世界的系统性表征到对话:面向强语言型 ASI 的五层通信架构

    一篇 arXiv 论文提出 ASI 参与下消息形成与理解的五层组织架构,核心论点是语言模型的 context 无法呈现话语生成的基础以供检验。五个层次区分活动世界的系统性表征、从中切出的具体情境、情境的叙述描述、消息的完整意义与文本;接收方通过协商一致的共同表征从缩略文本重构完整意义。理论依据包括 G. P. Shchedrovitskiy 的系统方法论、A. Korzybski 的结构微分与 I. A. Mel'chuk 的 Meaning-Text 理论。

  37. arXiv · cs.AI54

    TopKLoRA 可解释稀疏微调方法支持忠实回路发现

    作者提出 TopKLoRA,一种每次仅激活 k 个最大 adapter 潜变量的可解释 LoRA 变体,仅以下游损失训练。在 gemma-2-2b、Qwen2.5-1.5B 和 Qwen2.5-7B 的 sleeper-agent 后门案例中,识别并消融了实现后门所必需且充分的回路,稀疏回路比稠密 LoRA 基线小至多一个数量级,可在不牺牲指令跟随性能的情况下手术式移除恶意能力,并开放了代码。

    推荐理由:论文给出可解释稀疏微调方法,并在多个模型上定位并消融后门回路,稀疏回路比稠密 LoRA 小约一个数量级。

  38. arXiv · cs.AI13

    PoKER:用机器学习为空空导弹估算杀伤概率的新模型

    研究者提出 PoKER,一个面向超视距(BVR)空战的杀伤概率估算模型,用机器学习结合目标随机行为与导弹脱靶距离来预测击杀概率。不同于基于最大、最小和不可逃逸距离等静态区间的传统武器交战区(WEZ)模型,PoKER 还纳入弹头杀伤力、目标与射手姿态及具体交战条件,动态量化交战成功概率,可辅助 BVR 飞行员的作战决策。论文已发表于 The Journal of Defense Modeling and Simulation,代码已开源。

  39. arXiv · cs.AI29

    PICLE-PFN:首个支持动态治疗策略的纵向因果效应估计基础模型

    研究者提出 PICLE-PFN,首个面向纵向因果效应估计、支持动态治疗策略的基础模型。它基于从纵向结构因果模型采样的合成数据预训练,通过 in-context 历史决策示例表示目标策略,一次前向传播即可直接预测条件平均潜在结果,无需任务特定训练或超参数调优。在合成与半合成基准上,其 RMSE 具有竞争力,不确定性校准显著优于逐数据集单独训练的 SOTA 传统估计器,部署运行时间仅为其一小部分。