跳到正文
10月8日周四
  1. GitHub · 灵魂体仓库37

    LLM by norin:完全本地运行的 RTX 4070 Ti 聊天与图像生成工作室

    LLM by norin 是一个完全本地运行的 LLM 聊天与图像生成工作室,不向外部 API 发送数据,在 NVIDIA RTX 4070 Ti(12GB VRAM)上运行。它使用 Qwen/Qwen2.5-3B-Instruct 以 bfloat16/float16 加载(VRAM 占用约 6GB,速度数十至 100+ tokens/sec),并通过 Hugging Face diffusers 搭载 stabilityai/sd-turbo 扩散蒸馏(ADD)模型,1-2 步即可在约 0.8-1.2 秒内生成 512x512 图像,LLM 与图像模型可同时常驻 GPU 内存(合计约 8.7GB / 12GB)。

  2. GitHub · 去对齐工具与仓库38

    83-bit 开源 Value-investing-Quant-Bot:量化筛选 + DeepSeek 三段式 LLM 辩论 + 回测的价值投资选股工具

    GitHub 上的开源 Python 工具 Value-investing-Quant-Bot 对美、欧、日、港、台股票先做量化初筛(ROIC、DuPont、FCF、估值区间、Volume Z-score),再将通过者交给 DeepSeek 三段式辩论(Grit / Culture / Catalyst),按 S ≥ 85、A ≥ 70、B ≥ 50 自动分层并生成 One-Pager 报告。所有分层和注意力分组均可回测,还支持针对美股 SEC 10-K 的 RAG、checkpoint 断点续跑及 Windows 一键打包为 dist\InvestBot.exe。

  3. GitHub · 灵魂体仓库68

    tokenhop 开源自托管 AI 路由网关:统一 40+ 上游提供商

    tokenhop 在 GitHub 发布,是自托管的 AI 路由网关,提供 OpenAI 兼容端点 /v1/*,聚合 40+ 上游提供商,支持格式转换、模型组合 fallback、多账号轮换、OAuth 凭证管理和用量追踪,附 Next.js 仪表盘。项目由 9Router 按 MIT 协议 fork 而来,旧版数据、密钥和工具配置可直接迁移;提供 Docker 快速启动,镜像发布到 GHCR,文档见 https://tokenhop.dev 。

    推荐理由:自托管 AI 网关把 40 多家上游收敛成一个 OpenAI 兼容端点,配置细节写得具体,部署和故障排查都能直接照用。

  4. GitHub · 灵魂体仓库9

    hkustnlp-cmyk 开源论文仓库:优化 LLM 在多任务环境下的上下文推理

    GitHub 仓库 hkustnlp-cmyk/optimizing-llms-contextual-reasoning 已上线,将发布论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的实现与实验代码。论文提出优化 LLM 跨多任务的上下文推理的策略,实验显示在动态环境中适应性更优,目前正在 COAI 2025 审稿中。代码、benchmark 结果、预训练 checkpoint 及文档即将放出。

  5. GitHub · 灵魂体仓库65

    QwenProxy 开源:用 Playwright 将 Qwen 网页版转为 OpenAI 兼容本地代理

    pedrofariasx 在 GitHub 发布 qwenproxy,一个本地代理服务,通过 Playwright 浏览器自动化把 chat.qwen.ai 的 Qwen 模型封装成兼容 /v1/chat/completions、/v1/models 和 /v1/upload 的 OpenAI 接口。支持多账号负载感知路由与 cooldown、多用户 API key 限流配额、SQLite 持久化、reasoning_effort 思考模式控制、多模态上传、本地工具执行、React + shadcn/ui 管理面板、Prometheus 指标,可通过 npm 全局安装或 Docker 部署;混合会话模式复用 Qwen 服务端历史以减少发送的 token,并自动重试退化为“Yes”类回复的请求。

    推荐理由:本地代理方案把 Qwen 网页版封装成 OpenAI 兼容接口,多账号路由、混合会话省 token 和多用户配额等实现细节讲得完整。

  6. GitHub · 灵魂体仓库62

    LLM Bridge 扩展将自定义 LLM 端点接入 VS Code 原生 Chat 与 Agent 模式

    Ravikant 发布开源 VS Code 扩展 LLM Bridge,通过官方 Language Model Chat Provider API 将自托管或企业 LLM 端点接入原生 Chat 和 Agent 模式。支持 Ollama、OpenAI Chat Completions 与 Responses、Azure OpenAI v1 及 legacy 等协议,API 密钥存于 SecretStorage 并严格绑定 origin,无遥测、无运行时依赖,需 VS Code 1.104 及以上。

    推荐理由:这个扩展把自托管或企业 LLM 端点直接接入 VS Code 原生 Chat 与 Agent 模式,密钥绑定 origin 且不带遥测,适合在意隐私的本地部署用户。

  7. GitHub · 灵魂体仓库73

    opencodex 发布:让 Codex 与 Claude Code 运行任意模型的开源本地代理

    opencodex 是一个轻量本地代理,把 Codex 的 Responses API 翻译成各提供商的协议,支持流式、工具调用、推理 token 和图像双向转换,让 Claude Code、Claude Desktop、Grok Build 等工具运行 Claude、Gemini、DeepSeek、Kimi、Qwen、Ollama 等 40+ 内置提供商的任意 LLM。安装为 npm install -g @bitkyc08/opencodex 后运行 ocx start,本地仪表盘在 localhost:10100;还支持 ChatGPT 账号池配额路由与线程亲和、failover/加权轮询 Combo、任意模型的子智能体路由,macOS/Windows/Linux 提供桌面应用 beta。

    推荐理由:原文详细说明了这个本地代理如何把任意 LLM 接入 Codex 和 Claude Code,包括账号池路由和内存管理设计,部署做法可直接复用。

  8. GitHub · 去对齐工具与仓库31

    ShanySky/llm-intelligence-monitor:监控 GPT 等大模型能力下降的轻量回归测试项目

    GitHub 上的 llm-intelligence-monitor 是一个轻量回归测试项目,用于监控 GPT 等大模型是否出现能力下降。自 2026-10-05 起自动日测 schedule 已停用,改为按需人工运行:默认 8 道固定锚点题 + 8 道分层轮换题,每题运行中英文镜像,四模型(GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna、GPT-5.6 Sol X High)并行测试,每模型每轮执行 32 个测试。项目还增加了基于轻量 Agent Harness 的应用型评测通道,评分以客观隐藏检查点为主,不依赖 LLM Judge。

  9. arXiv · cs.AI36

    容错基础模型:LLM 可被训练适应不可靠硬件

    一项 arXiv 研究显示,LLM 可以被训练以容忍硬件不可靠性,且随着模型规模增大,其错误韧性反而提升。基于 40,000 GPU-hours 在模拟故障数字硬件上的训练,研究者推导出修正的神经缩放定律,并猜想经过适当训练的 LLM 可能是形式上容错的,这意味着在低功耗故障硬件上运行 AI 推理有望带来可观的能耗节省。

  10. arXiv · cs.AI31

    SOTA:基于期权隐含收益分布引导的股票期权交易智能体

    研究者推出 SOTA,一个结构化期权策略选择的智能体交易框架,通过后训练 Qwen3.8-27B(先监督微调再强化学习)构建。在 9 只美股大盘股和 SPY 的期权上评测,6 个月样本外实现 18.3% 总回报,Sharpe 比率 1.60,最大回撤 8.96%。研究还发现强化学习阶段保留新闻会使样本外回报从 18.3% 降至 -2.7%。

  11. arXiv · cs.AI37

    SQAM:基于标量伴随匹配的 Q-Learning 方法用于流策略微调

    研究者提出 Q-learning with Scalar Adjoint Matching(SQAM),利用预训练流策略速度 Jacobian 对角集中的特性,推导出闭式标量伴随,省去逐步向量-Jacobian 乘积。在 OGBench 四个最难领域上,SQAM 成功率比各域最强基线高 18 到 35 个百分点;在真实双臂机器人上微调视觉-语言-动作策略,三个任务均优于监督微调。

  12. arXiv · cs.AI50

    JOLT:联合在线学习与教学的自我蒸馏训练方法

    论文提出 Joint On-Policy Learning and Teaching(JOLT),让同一策略同时充当特权教师和学生,教师用结果奖励加 token 级 KL 正则化目标训练,学生通过在线策略蒸馏获得密集监督。分析给出了教师蒸馏更新为学生奖励梯度正倍数的充要条件,指出教师还需匹配学生当前能力。在数学推理、代码、工具使用和终端使用任务上,JOLT 提升了训练效率与性能,学生奖励带来进一步增益。

  13. arXiv · cs.AI46

    Δ-MOPD:基于教师相对偏移的多教师 on-policy 知识蒸馏方法

    一项 arXiv 研究提出 Δ-MOPD,在多教师 on-policy 蒸馏中不再迁移教师的端点策略,而是迁移教师相对其基座模型的 logit 偏移,并将其重新锚定在学生的冻结初始状态上。三个教师组合时,Δ-MOPD 比 endpoint 组合高出 4.11 Math 和 1.95 五基准分数;phased 路由下将顺序差距从 10.50 降至 6.42 点。结果表明目标构建是 MOPD 中独立于教师选择的设计维度。

  14. arXiv · cs.AI42

    RECAST:通过自适应证据路由学习计算正确的上下文

    RECAST(Routing Evidence through Computation, Access, and Synthesized Tools)提出一个学习式框架,把证据构建建模为对异构检索与计算操作的序列决策,让证据被主动推导而非仅仅检索。其 RouterLM 经 SFT 与 GRPO 训练,在 6 个基准家族上平均成功率 75.6%,超最强基线 15.9%;在 3 个 held-out 基准上平均领先 15.0%,Qwen3.5-9B RouterLM 超 Gemini 3.5 Flash 5.0%。

  15. arXiv · cs.AI34

    Long-WAM:扩展世界-动作模型的上下文

    Long-WAM 是一个在实时控制约束下扩展因果世界-动作模型上下文的模型-系统框架,核心发现是视频基础模型采用自回归(AR)预训练时,更长历史才能真正带来收益。在 RoboCasa GR-1 上,上下文从 0.0 秒增至 19.2 秒,成功率从 63.3% 提升至 78.7%,并在 LIBERO-Long、RoboTwin 2.0 和 DOMINO 上取得对比方法中的最佳结果。系统可在 RTX 5090、DGX Spark 和 Jetson AGX Thor 上部署,每个 action chunk 耗时 107.4 ms,在 Unitree G1 和 YAM 上实现动态杯叠 95% 成功率,而 Pi0.5 与 Fast-WAM 在 20 次尝试中均未成功。

  16. GitHub · 灵魂体仓库24

    ergon-llm:Bot Army 生态的 LLM 操作机器人实现

    灵魂体仓库 ergon-llm 是 Bot Army 生态的 LLM 操作机器人实现,基于 Elixir 构建,支持单次提示词补全、多步链式推理管线、带会话跟踪的多轮对话、JSON 提取与重试,以及视觉模型图像分析。架构通过 NATS 订阅 5 种消息类型,包含 LlmClient 多供应商路由、会话存储等模块,使用 PostgreSQL 存储提示词与对话历史,附带 56 个测试。

  17. arXiv · cs.AI39

    CERO:面向 RL 后训练的 rollout 预算分配调度方法

    论文提出 CERO,一种在线原始-对偶调度器,用于在强化学习后训练的整个训练周期内协调有限的 rollout 预算,自适应决定选取哪些 prompt、重访频率及每轮生成组数。在匹配训练响应预算下,CERO 在三个 backbone、五个数学推理 benchmark 上均取得最高 avg@16 宏平均,多种子消融验证了自适应 pacing 相对均匀和预设花费策略的收益。

  18. arXiv · cs.AI34

    CoCo-Prover:通过智能体编排实现高性价比的定理证明与程序验证

    研究者提出 CoCo-Prover,将成本高效的程序定理证明形式化为元层级决策:在声明内的 AND/OR 证明超图与声明间的引理依赖图之上,通过智能体路由为每个专家调用按价选购动作。在 CLEVER、VERINA、AlgoVeri、NTP4VC、Vero 五个 Lean 4 基准上,它在每个基准均取得最佳解题率,其中两个基准最高达 100%,相比最强基线最多降低 30.9% 成本。

  19. arXiv · cs.AI51

    System Switch 论文研究快决策模型何时应停下来调用推理模型

    arXiv:2610.09683 研究双进程 Agent 中快速决策模型按门控把控制权交给推理视觉语言模型的时机,实验基于闭环 Doom 与 System One 类型化决策模型。在 900 道留出题上,0.15B 到 9B 的零样本决策模型在错误中选择收集道具的频率是随机的 1.6-1.8 倍;准确率、校准与灵敏度相互独立;离线把置信度最低的 30% 决策延迟给推理模型,收益与 Actor 的 AUROC 成比例(秩相关 0.87),在留出游戏上选定后收益 +0.13 [0.08, 0.18](doomLaya 选项顺序)和 +0.08 [0.02, 0.14](打乱顺序);闭环 33 局三个种子中无变体到达出口,但承诺执行计划能开门更多。代码、提示词、数据与日志已开源。

  20. arXiv · cs.AI46

    Unrolled Flow Models 如何用于推理

    一项 arXiv 研究证明,两层 Transformer 参数化的 flow 可解决图可达性问题,且所需积分步数随目标距离增加;标准 flow 语言模型却难以从更多积分步中获益,原因是各时间点被独立监督。研究改为在 [0,1] 随机子区间上训练模型自身的 latent rollout、仅在端点解码,在 ProsQA 上准确率达 97%,Sudoku 与 Maze 等任务通过将 latent 收缩到球面上显著超越参数量三倍以上的基线,配合无参数选择分数的多 rollout 采样可进一步提升性能。

  21. arXiv · cs.AI28

    超越策略支持:面向自动驾驶的交互约束离线强化学习方法 ICDP

    研究者提出 ICDP(Interaction-Constrained Drive Policy),一种离线强化学习框架,显式控制自动驾驶中的交互分布偏移(IDS)。该方法通过对比密度比估计分离交互支持分量,无需联合密度建模、周围智能体预测或仿真器 rollout。在 nuPlan、Interplan 及真实卡车实验中,ICDP 抑制了高价值但缺乏交互支持的轨迹选择,提升了交互关键场景的表现。

  22. arXiv · cs.AI52

    PaTh 论文提出在扩散模型中引入递归潜空间推理,无需符号监督

    Paweł Skierś 在 arXiv 论文中提出 Painter-Thinker(PaTh):一个小型递归网络在每个去噪步骤内细化潜状态,经 ControlNet 适配器引导冻结的扩散模型,仅用重建损失训练,无需符号目标、求解器或验证器。PaTh 解决 92.5% 的困难 MNIST Sudoku(此前最优 75%)和 71.2% 的极难样本(此前最优 4.1%),参数量 10M 对比标准扩散模型的 82M,在迷宫、Queens 和 CLEVR 场景上也有提升。

    推荐理由:论文把递归推理引入扩散模型且无需符号监督,并给出与既有最优方法的解题率对比,方法细节可直接参考。

  23. arXiv · cs.AI16

    QCATS:查询上下文感知的 Transformer 切片框架,实现高效数据库内预测查询

    QCATS 是一个查询上下文感知的 Transformer 切片框架,利用查询谓词和元数据统计在模型执行前预选上下文对齐的 FFN 切片,实现数据库内高效稀疏推理。框架包含离线专家构建和轻量查询级路由,并引入异步 CPU-GPU 流水线与路由感知批处理等系统优化。在 BERT-base 和 Qwen-0.6B 的四项预测查询工作负载上,QCATS 延迟最多降低 4.42x,预测精度与稠密基线相当。

  24. arXiv · cs.AI50

    RollVerify 论文提出验证机制缓解长尾 rollout 强化学习的效率与准确率矛盾

    Yongqiang Yao 等在 arXiv 发布论文 RollVerify(arXiv:2610.09914),提出基于部分 rollout 的轻量强化学习框架,在样本进入训练前主动验证并修复,而非被动重加权。框架引入偏离策略度量 OPS,据其约束进行序列级与 token 级验证、截断无效后缀。数学与工具辅助数学推理实验显示其准确率接近全在策略训练且降低训练成本,代码生成结果提供了数学之外的初步证据。

  25. arXiv · cs.AI28

    决策模型能诊断哪些 HVAC 故障?推理需求、物理表示与分布偏移下的鲁棒性

    一项 arXiv 研究用四个公开真实设备数据集中的 128 个故障日,评估决策模型 Jev、开源语言模型与监督模型对 HVAC 故障的诊断能力,按诊断所需推理需求分级并给出原始数据、物理特征或 Brick 拓扑三类输入。结果显示,基于物理特征时 Jev 和更大的开源模型能诊断单一特征可判定的故障,在季节、控制配置或建筑变化下保持准确率与校准,而监督模型 macro-F1 下降 0.33 但在同建筑内领先或持平。模型概率仍需修正,故障检测较弱,研究支持由代码计算物理量、模型为运维人员排序候选故障的分工方式。

  26. GitHub · 灵魂体仓库47

    campus-course-kb:基于 FastAPI + LangChain + Chroma + DeepSeek 的校园课程 RAG 问答后端

    开源项目 campus-course-kb 基于 FastAPI + LangChain + Chroma + DeepSeek 构建校园课程 RAG 智能问答后端,支持课程学分、先修课等自然语言提问。系统经意图分类走 FAQ 快路径或向量检索,FAQ 命中链路内 0.4 ms,实测比走 RAG 快约 5 倍;相关性不达标直接拒答,答案附课程编号、来源文件、章节等可追溯出处。项目内置 30 条评测集与 Recall@3/5/10 指标、Docker 部署及 GitHub Actions CI/CD,定位为作品集 / 课程设计项目。

  27. GitHub · 灵魂体仓库41

    llm-slo-lab:在 Kubernetes 上用 SLO 度量大语言模型推理

    开源项目 aLuizab/llm-slo-lab 在 Kubernetes 上为 LLM 推理建立 SLO,测量 TTFT、输出 tokens/s、每请求成本和质量信号,基于 OpenTelemetry GenAI 语义约定,存储在 Prometheus 并用多窗口多燃尽率规则告警,配合 KEDA 扩缩容。该项目是 KubeCon Europe 2027 lightning talk 的配套实验,已在 CPU 上跑通 Qwen2.5-0.5B-Instruct(TTFT 0.4–0.5 s,约 4.5 tokens/s),llm-gateway 默认不记录提示词与响应内容,许可证为 Apache-2.0。

  28. arXiv · cs.CL55

    arXiv 论文:增大推理预算并不能减少大语言模型的认知偏差

    arXiv 论文(2610.10049,被 IEEE CogMI 2026 接收)用 30 个情境、6 种偏差和 0/1024/4096/8192 token 思考上限在 4 个模型家族做了剂量反应研究,共 12,350 次 API 调用。结果发现推理模型并不比匹配的非推理模型更少偏差,偏差幅度也不随实际消耗的推理 token 增加而可靠下降;锚定是唯一沿人类方向的偏差(d = 1.89),其余偏差多反向;一条让模型先复述锚点的简单指令降低了全部锚定题目的偏差。作者据此主张不应把测试时推理当作理性保证,应对部署模型逐项审计偏差。

    推荐理由:研究用 12,350 次 API 调用检验推理预算与决策偏差的关系,结论可迁移到对部署模型的偏差审计思路上。

  29. arXiv · cs.CL45

    EncBank:将预训练 LLM 的编码器缓存为跨查询可复用的紧凑记忆

    研究者提出 EncBank,把预训练 LLM 的低层视为可复用的文档编码器并紧凑存储其输出,供适配后的上层读取器使用,且各存储精度共享自蒸馏 suffix adapter、无需针对量化重训。在三个不同规模的 Qwen 骨干上的五个 benchmark 套件中,4-bit 存储与原生精度 EncBank 各项 aggregate 差距在一个分数点内;在固定 Qwen3-8B 负载下仅保留 28.1% 的原生精度 GPU 常驻存储,并实现 1.40x prefill 加速(RULER 准确率损失 3.12 分),原生精度 Qwen3.8-27B 还通过 Terminal-Bench 2.1 的 89 项任务中的 70 项。

  30. arXiv · cs.CL51

    ExperienceIndex 论文提出基于语料的智能体经验记忆层

    Peter Baile Chen 等在 arXiv 发布 ExperienceIndex,为 AI 智能体引入基于语料(artifact)的经验记忆层,存储单个语料经验与语料对关系两类信息,以轻量中间件形式帮助智能体定位新任务的全部相关语料。在多种语料和搜索框架下,答案质量最多提升 11.0 分、在线成本最多降低 50.5%;并展示了 text-to-SQL 经验向事实问答的跨任务迁移,以及强模型经验帮助弱模型达到相近表现。论文链接 https://arxiv.org/abs/2610.10091v1

  31. arXiv · cs.CL56

    长上下文混合模型机制 Part 1.1:从混合注意力到混合位置编码

    arXiv 论文 2610.10114 提出 Mechanics of Long-Context Hybrid Models 系列的 Part 1.1,研究全注意力与滑动窗口注意力(SWA)或门控线性注意力(GLA、GDN)混合架构的工作原理。作者发现上下文扩展中的 Seesaw Effect:LA 混合更受益于长上下文持续预训练,SWA 混合在长度外推上表现更好,并归纳了 SWA 混合的 Short-Context Learning Trap、Short-Window Weariness 和 Long-Window Laziness,以及 LA 混合的 Matthew Effect。

    推荐理由:论文解释了混合注意力架构为何在长上下文上有效,并给出可复用的 Sliding-Window Linear Attention 设计与外推结果。

  32. arXiv · cs.CL57

    YANchor-4B 论文提出 O(N) 时间、O(1) 内存的锚点记忆循环模型

    Huishan Ji 在 arXiv 发布 YANchor-4B,一种以 Anchor 保存关键记忆的通用循环模型,实现 O(N) 时间生成与 O(1) 内存。该模型在 AIME 2024–2026 上平均 pass@1 达 82.93%,HMMT 达 63.64%,优于线性时间常数状态的同类模型包括更大的模型;在 H100 上批量长生成吞吐比 Transformer 与混合基线高数倍,并在数十个基准上展示通用能力。论文 24 页 8 图,代码与模型已开放。

    推荐理由:论文给出了循环架构在长程推理基准上的具体成绩和吞吐对比,读者可以据此评估 O(N) 时间加 O(1) 内存的实用性。

  33. arXiv · cs.CL40

    HySPE:基于辛对偶剪切的超双曲位置编码

    论文提出 Hyperbolic Symplectic Positional Encoding(HySPE),利用 Sp(2,R) 的双曲分支取代 RoPE 的旋转参数化,通过特征基对角化和分块坐标重定基实现与长度无关的数值界,缓存前向延迟与 RoPE 持平(RTX 4090 上 7.21 ms)。在 TinyShakespeare 上,HySPE-UltraLong 在 16 倍零样本外推(L=4096)时困惑度保持 4.810,而 RoPE 退化至 131.198;51M 参数 Transformer 在 WikiText-103 上外推到 8192 长度时,尾部困惑度较 RoPE 降低 83.9%。大规模基础模型上的扩展性评估仍是未来工作。

  34. arXiv · cs.CL42

    超越结果奖励:为搜索智能体构建与分配检索中间奖励

    一项 arXiv cs.CL 研究系统探讨了如何用中间监督改进搜索智能体的强化学习训练。研究比较了多种 reward-shaping 与 credit assignment 策略,并构建了将中间检索步骤信号与最终结果奖励结合的训练框架。在相同训练条件下跨多个基准的实验表明,该方法提升了搜索智能体的整体性能,且中间信号的选择与奖励分配位置都会影响训练效果。

  35. arXiv · cs.CL19

    GAGR-Lab:评估空间几何与分析函数联合推理能力

    研究者提出 GAGR-Lab,一个通过笛卡尔游戏场景和 Rust 轨迹执行来测量空间感知、几何关系与函数构建等联合推理能力的评估框架。试点中 Llama 3.2 11B Vision Instruct 在 72 个游戏、432 次尝试中无一命中目标,而特权解析搜索控制在 300 个场景的 600 个方向性用例上全部成功。框架将服务可靠性、符号合规与几何成功分离,完整难度矩阵和多模型对比仍待测试。

  36. arXiv · cs.CL52

    SemanticFold 论文提出潜在序列压缩方法,发现语言建模、可解码性与推理无统一保持阈值

    论文提出 SemanticFold,一种在可学习边界折叠前缀隐藏状态的压缩方案,并在 Qwen3-1.7B、Qwen3-8B、SmolLM2-1.7B、Pythia-1.4B 和 Pythia-6.9B 五个规模上评测。固定目标协议下,压缩对各端点的影响非单调且不共享同一阈值,Qwen3-1.7B 在 R=1.7 时 NLL 降低 0.135,而 Pythia 两个模型的 NLL 基本不变;线性探针与推理指标变化小于 0.03。作者结论是潜在压缩下的能力保持没有单一标量证书,语言建模拟合、可解码性与推理在同一压缩操作下可能朝不同方向变化。

    推荐理由:原文用固定目标协议把语言建模、可解码性与推理拆开评测,读者可以了解潜在压缩下各能力为何不同步。

  37. arXiv · cs.CL46

    LLM 被提示说谎时推理 token 数会出现显著飙升

    一项 arXiv 研究基于认知负荷理论提出用推理 token 数作为无需读取思维链内容的低带宽监测信号。三个具备推理能力的大语言模型在 210 道选择题上分别被指示如实、虚假或不管真伪作答,结果显示真实作答消耗的推理 token 少于说谎与真伪无关作答。该结果证明提示的非真实响应策略会产生组级差异,是推理 token 数用于区分真实与非真实行为的初步概念验证。

  38. arXiv · cs.CL48

    通过直接最小化期望解码轮数训练并行投机草稿模型

    研究者提出将投机解码建模为 Markov reward process,导出 Expected Decoding Rounds(EDR)训练目标,直接优化期望解码轮数,无辅助超参数,并给出精确的 temporal-difference 梯度和离线评估器。用 EDR 微调 DSpark 和 DFly 两个 drafter 后,平均接受长度持续提升,在覆盖数学推理、代码生成和对话的九个 benchmark 上优于现有训练目标。

  39. arXiv · cs.CL41

    你的提示词应该更有用:检索指令对嵌入模型的影响研究

    一篇 arXiv cs.CL 论文研究了检索指令如何在非对称检索任务中影响查询的嵌入向量表示。研究发现,当评测中加入查询侧干扰项时,当前嵌入模型常无法遵循检索指令,作者认为根源在训练与评测设置。实验显示,加入查询侧干扰项进行微调可带来显著提升,且对其他任务影响很小。