跳到正文
10月15日周四
  1. Reddit · r/LocalLLaMA58

    用户实测 Basalt 让 5060 Ti 16GB 跑出 75 tok/sec

    Reddit 用户 /u/ironicstatistic 发帖感谢 Basalt 作者,Basalt 是面向 Blackwell 硬件的 Strata 分支。作者用 5060 Ti 16GB 加 32GB 内存在 128k 上下文下跑出 75 tok/sec 生成和 1200 prefill(q2 量化模型),代价是 KV cache 需用 q4 且系统仅剩约 5GB 内存可用;还请 deepseek4 帮忙加了 build flag 来分配更多内存。作者称 Basalt 作者曾主动联系解答问题,项目地址为 https://github.com/jesdga95/basalt。

    推荐理由:作者给出了 16GB 显存加 32GB 内存的实测吞吐和 KV 量化取舍,低配 Blackwell 用户可据此预估自己的可行配置。

  2. Reddit · r/LocalLLaMA22

    Qwen 3.8 Flash Next 与 DeepSeek-V4 Flash 对比讨论:速度与质量如何取舍

    一位 Reddit r/LocalLLaMA 用户在 128GB M1 Ultra Mac Studio 上对比 DeepSeek-V4 Flash 与 Qwen 3.8 Flash Next 的使用体验。DeepSeek-V4 的 benchmark 成绩略低于 GPT 5.5 high,Flash Next 略高于 5.4/5.5 xhigh,但 Flash Next 完成任务耗时明显更长,大约 5 个任务的时间才能换来 1 个任务的完成度。该用户仍在使用 Qwen 3.8 27b,因其占用资源更少,可腾出机器做图像生成等其他工作。

  3. GitHub · 3D 生成新仓库21

    Gabriel-Kahen 开源 eshkol-transformer:不依赖 Python 运行时的 Transformer 预训练项目(Pre-alpha)

    Gabriel-Kahen 在 GitHub 发布 eshkol-transformer 仓库,目标是从随机初始化训练语言模型,不使用 Python 作为运行时训练框架,Python/PyTorch 仅作数值对齐的开发 oracle。项目处于 Pre-alpha,尚无稳定的训练公开 API;当前支持 Ubuntu 22.04 x86-64 与 Clang/LLVM 21.1.8,Eshkol 编译器/运行时锁定在 fork 版本 1.3.4-evolve,oracle 环境要求 Python 3.14.6。

  4. GitHub · 灵魂体仓库47

    div197/BOB-Gemini-Free:支持 OpenAI、Anthropic 与 Gemini 多协议适配的免费 AI 网关引擎

    BOB Gemini Free 是 ABCsteps.com 推出的 Go 编写多协议 AI 网关引擎,一个本地网关同时暴露 OpenAI、Anthropic 和 Google Gemini 三种协议适配路由,默认 web 路由无需 BOB 计费账号,可选路由使用用户自己的 Gemini Developer API key。当前 macOS universal v0.2.0-preview.10 为受控 beta,经 owner 控制的 Keychain 签名分发;工具调用为模拟实现(prompt/Markdown 提取),token 计数为估算值,不支持原生 Google function calling。

  5. GitHub · 去对齐工具与仓库53

    AMD LLM Lab 开源:AMD GPU 上的 LLM 推理内存与性能预估平台

    VedantJadhav701 开源了 AMD LLM Lab,一个面向 AMD Instinct MI300X 和 Radeon GPU 的 LLM 推理优化研究平台,含模型推荐器、显存适配计算器、社区基准榜单和本地硬件探测。其显存计算覆盖 BF16 到 INT2 精度并计入 KV cache 与运行时开销,附带 57 条以上 MI300X(192 GB HBM3)实测数据,明确区分 MEASURED 与 ML 回归的 ESTIMATED 值,并提供 rocm_bench.py CLI 供用户提交实测结果。项目采用 FastAPI 后端加 Next.js 前端,MIT 许可,非 AMD 官方产品。

  6. GitHub · 去对齐工具与仓库55

    TheSlopMachine 开源 llm-router 单二进制模型路由网关

    TheSlopMachine 在 GitHub 发布 llm-router,一个 OpenAI 兼容的单二进制模型路由网关,Go 后端加 Svelte 面板、SQLite 存储,运行时无 JavaScript 依赖。它统一多供应商与多账号端点、避开限速并通过自动代理绕过区域封锁,同时支持 OpenAI 和 Anthropic 兼容格式,可经 Lua 插件目录接入免费供应商。安装可从 releases 下载或源码 make install,经 .env 或环境变量配置后默认在 8080 端口启动面板与 /v1 监听。仓库地址:https://github.com/TheSlopMachine/llm-router

    推荐理由:仓库页面直接给出安装、配置和接入步骤,读者可按说明把多模型路由网关跑起来并复用 Lua 插件接免费供应商。

  7. Reddit · r/LocalLLaMA63

    Telperion 发布 Qwen3.8-27B 潜在注意力变体,KV cache 压缩 4 倍

    Telperion 发布 Qwen3.8-27B 的潜在注意力变体 MLA 和 GLA-g2,将 KV cache 压缩 4 倍,可在消费级硬件上实现近 4 倍最大上下文或近 4 倍并发提升。其中 MLA 变体在 SWE-bench Verified(zero-shot、无工具、n>1500)上得分 42.1%,较原版 39.5% 提升 6.58%,推理 token 减少最多 20%;GLA-g2 面向双 GPU 用户,TP=1 和 TP=2 下均实现 4 倍压缩。

    推荐理由:原文给出了 KV 压缩倍率、SWE-bench 分数和量化后 top-1 分歧率的具体数据,可用作判断 latent attention 变体实际收益的参考。

  8. Reddit · r/LocalLLaMA44

    用吸收马尔可夫链 + EmbeddingGemma 2 做决策引擎:Vegas Blackjack 上约 2ms 推理并达到 GTO 一致

    Reddit 用户用吸收马尔可夫链结合 EmbeddingGemma-2(740M)构建级联决策引擎,在 Vegas Blackjack 上实现约 2ms 推理;修正提示词泄漏 bug 后,真实零样本 GTO 一致率为 15%-29%。该 Gevva0 级联在 JevBench 上 12/12 早退全对、16.5 ms p50,并以 44 ms 中位延迟在 chance-corrected intelligence 上超过 Claude Opus 4.6 Thinking(84.62 vs 83.90)。

  9. Reddit · r/LocalLLaMA61

    MiniCPM-V 4.7 演示 35B 多模态模型在手机上以约 3GB 内存运行

    OpenBMB 的 MiniCPM-V 4.7 演示显示,35B-A3B MoE 视觉语言模型可在约 3GB 内存的手机上本地运行,可读现实标识、理解复杂文档并做视觉推理。关键在 LES(Lookahead Expert Scheduling),通过预测并预加载专家缓解 MoE 推理瓶颈;团队还发布了面向低资源设备的 1B 版本,以及用于定制微调同时保留通用能力的 SRFT 方法。GitHub:https://github.com/OpenBMB/MiniCPM-V

    推荐理由:帖子里讲清了 LES 通过预测并预加载专家来优化 MoE 端侧推理的思路,适合关注多模态模型本地部署的读者。

  10. Reddit · r/LocalLLaMA23

    在 4× DGX Spark 上运行 Ling-3.1-flash 是否可行:560B MoE 模型的部署讨论

    Ant Ling 发布的 Ling-3.1-flash 权重已上线 HF,模型卡标注 560B 总参数、每 token 激活 25B,官方部署示例为 8× H200 或 4× GB300。一位用户计划在 4 台 DGX Spark 上运行该模型做编码与迭代 UI 开发,征询量化方案与拆分四台设备的 serving stack 建议,并关注单用户 prefill/decode 速度在实际工具调用和长上下文场景下的可用性。

10月14日周三
  1. Reddit · r/LocalLLaMA52

    llama.cpp 新 PR 引入 GDN chunked kernel,多款 GPU 上 Qwen 模型推理提速

    Reddit 用户转发 ggml-org/llama.cpp 的 Pull Request #29353(am17an 提交的 cuda/hip GDN chunked kernel),并附多组推理速度对比。RTX PRO 6000 Blackwell 上 Qwen3.5-35B-A3B-Q8_0 在 2048/4096 prompt tokens 下分别提升 20.6% 和 17.8%,RTX 5090 上同模型 Q4_K_S 提升 16.4%-17.9%,RTX 4090 提升 10.8%-11.1%,Qwen3.8-27B 在多卡上提升约 0.9%-6.4%,Spark GB10 上各模型提升约 3.4%-5.7%。

  2. GitHub · 去对齐工具与仓库63

    jitllm 发布:面向 LLM 推理的操作系统式引擎

    作者发布 jitllm,一个定位为 LLM 推理操作系统的单二进制引擎,运行时为 CPU 和 GPU 生成 JIT 内核,支持层在设备间迁移、超内存模型从磁盘分页,兼容 65 种 GGUF 架构和 30 种 Hugging Face 类。性能上最高达 llama.cpp prefill 的 4.62x、vLLM 0.18.1 首 token 速度的 5.8x,提供 OpenAI 与 Anthropic 兼容 API、桌面与终端应用,支持 macOS、Windows、Linux 和 Docker 部署。

    同一新闻,精选展示《jitllm 推理引擎发布:为硬件 JIT 生成内核并支持超内存分页》

  3. Reddit · r/LocalLLaMA63

    BitRun:面向 1-bit 三值 LLM 的零编译独立运行器,M4 Pro CPU 达 98-127 tokens/s

    /u/The_VibePreneur 发布 BitRun,一个无需编译即可运行 1-bit 三值 LLM 的独立运行器,在 Apple M4 Pro CPU 上跑出 98-127 tokens/s,Intel i5-12600K 上 40-45 tokens/s,全程 0% GPU 占用。作者为此修复了 Microsoft bitnet.cpp 的多处底层 C++ 内核 bug(batch stride 覆写、ARM NEON 块大小硬编码导致 @ @ @ 死循环、SiLU 与 squared ReLU 激活不匹配、多轮对话 BLAS 越界崩溃),并提交 PR #642 和 #644。

    推荐理由:作者修复了 bitnet.cpp 的多处底层内核 bug 并封装成零编译的一键运行器,实测数据可直接对照自己的 CPU 场景判断是否可用。

  4. Hugging Face · 新模型:uncensored51

    Qwen3.8-9B Heretic Uncensored 4-bit MLX 量化版发布,Apple Silicon 解码提速 88%

    geezyforeezy 发布 rohit267/Qwen3.8-9B-heretic-uncensored 的 4-bit MLX + MTP(MTPLX)本地版本,面向 Apple Silicon。在 M5 24GB MacBook 上实测解码速度从 21.25 提升到 40.05 tok/s(+88%),投机解码为精确校验故无损;trunk 为有损 4-bit(group size 64,约 5.0 GB),附带原生 MTP sidecar 与 rank-64 C4 LoRA 适配器(加载时合并),depth 2 下草稿接受率约 0.71。

  5. GitHub · 灵魂体仓库45

    AkiYangDev/llm-inference-notes:大模型推理工程文档开源,聚焦 SGLang 与 Ascend NPU

    GitHub 仓库 AkiYangDev/llm-inference-notes 收录大模型推理工程文档,覆盖推理基础、SGLang 源码与 PR 精读、Ascend 部署、分布式推理、投机解码与性能分析(TTFT、TPOT)。内容以 DeepSeek-V4 在 Ascend 910C 上的 Prefill/Decode、TP/DP/EP 并行、W8A8 量化及 DSpark 投机解码源码解析为主线。

  6. Reddit · r/LocalLLaMA30

    用二手件组装双 RTX 3090 本地 LLM 主机,为何速度提升不及预期?

    一位 Reddit 用户用二手硬件组装了双 RTX 3090(24GB)本地 LLM 主机,搭配 Ryzen 9 5950X 与 128GB DDR4 内存,运行 Ubuntu 24.04 和 llama.cpp。第二块 GPU 经 riser 接在 PCIe 3.0 x4,测试 Qwen3.6 35B A3B 的不同 GGUF 量化时发现:能装进单卡的模型加第二卡收益有限,长上下文下 prefill 明显变慢,尚未做受控 benchmark,正在排查 KV cache、内存带宽与 GPU 通信的影响。

  7. GitHub · 去对齐工具与仓库62

    doublewordai 开源 inference-lab:基于 roofline 模型模拟 GPU 集群推理服务

    doublewordai 在 GitHub 开源 inference-lab,用离散事件模拟多 GPU 节点运行 vLLM 式调度与 KV cache 的 LLM 推理负载,按峰值 FLOP 算力和 HBM 带宽给每步计价,结果为理论硬件上界,用于比较不同配置的差值。

    推荐理由:原文解释了模拟器以 roofline 上界为主、以配置间差值为核心读数的定位,可用于推理部署方案的横向比较。

  8. arXiv · cs.CL37

    LLM 为何难以动态诊断:从后见到前瞻的临床证据获取机制剖析

    一项 arXiv cs.CL 研究剖析 LLM 在动态诊断中失败的原因,追踪其从证据识别、利用到下游诊断更新的全过程,除诊断准确率外还考察证据覆盖率、轨迹动态、概率与信息熵。研究发现 LLM 虽能诊断完整的静态病例,但难以主动获取对诊断关键的证据,核心挑战从是否具备临床知识转向能否在动态诊断中识别并有效利用正确证据。

  9. arXiv · cs.CL43

    DDRG:通过推理图对齐实现 LLM 推理的细粒度修正

    arXiv 论文提出 DDRG(Disagreement-Driven Verification Guided by Reasoning Graphs),利用图对齐暴露采样推理轨迹中的 claim 级分歧,并将局部冲突交给无答案验证器触发针对性修复。在五个 benchmark 上,原生 zero-shot DDRG 使 Qwen2.5-7B 和 Llama3.1-8B 的 macro-average 准确率较直接回答分别提升 8.65 和 15.83 个百分点,并超过 CoT、GoT/GoV 适配版及 Self-Consistency。

  10. arXiv · cs.CL59

    研究复检自蒸馏是否真能提升推理能力:SDPO 与 OPSD 收益难以泛化

    一篇 arXiv 论文(arXiv:2610.18613)重新检验了自蒸馏方法 SDPO 与 OPSD 在代码、科学、工具使用和数学推理任务上的表现,发现其相对强化学习(RL)的收益不能稳定泛化到未见问题。作者认为收益主要来自过拟合或迁移既有推理行为,而非有效利用特权信息;自蒸馏梯度与直接优化期望回报的策略梯度对齐较弱。实验覆盖 Qwen3(1.7B-14B)和 OLMo-3-7B,结论是有效利用特权信息改进推理仍是开放问题,代码已开源。

    推荐理由:论文在代码、数学等多任务上复测 SDPO 和 OPSD,指出其收益主要来自过拟合而非特权信息,并给出复现代码。

  11. arXiv · cs.CL44

    BASIS:从弱交互反馈中做贝叶斯测试时任务对齐相似度推断

    BASIS(Bayesian Axis Selection via Interactive Signals)是一种免训练的贝叶斯方法,利用测试时弱反馈推断当前决策由任务特定准则库中的哪个准则主导,并按期望信息增益选择探针。该方法将六探针概念恢复 Success@1 从 56.0% 提升至 68.1%,推理准确率从 72.3% 提至 73.1%,精修胜率从 61.4% 提至 63.8%,并超过算力匹配的 best-of-N 选择。论文已被 NeurIPS 2026 接收。

  12. arXiv · cs.AI51

    GeoReader:为 VLM 学习其可读取的几何表示以提升空间推理

    Rong Li 等在 arXiv 发布 GeoReader 框架,训练轻量 Geometric Reader 生成连续几何 token 注入 VLM,几何描述仅作训练目标,推理时无需生成几何思维链。用 RGB 图像预测几何后,Qwen3-VL-4B 在 MindCube-Tiny 达 94.3,Qwen3.5-9B 配多源 QA 混合数据在六个空间基准平均得 72.5;论文还发现已有特征对齐模型清零对齐 latents 后准确率不变。

  13. arXiv · cs.AI46

    无需训练的奖励归因方法解锁 token 级奖励信号

    该 arXiv 论文提出一种免训练方法,通过一阶泰勒近似的梯度估计器将过程奖励归因到单个 token,仅需一次前向与反向传播。得到的 P2T token 级奖励可使标准 RL 算法实现精确 credit assignment,无需额外训练奖励模型,在 Qwen2.5-VL-7B-Instruct 的 MathVista 上比 outcome reward 高 4.9%,在 Qwen2.5-Math-7B 的 AIME24 上高 11.5%。

  14. arXiv · cs.AI33

    基于随机微变的率转移方法:分析随机梯度下降的收敛速率

    论文提出一种率转移方法,将关联随机微分方程(SDE)的有限时间 Lyapunov 估计转化为随机梯度算法的有限时间收敛界。在一般的矩条件与光滑性假设下,随机梯度法的收敛分析可归结为验证 SDE 的 Lyapunov 生成元不等式这一微积分论证。该方法既复现了经典随机梯度方法的已有收敛速率,也为新优化算法的收敛率证明提供了途径。

  15. arXiv · cs.AI42

    PreciseCoder:在单元测试奖励之外实现精准、可泛化的代码调试训练算法

    论文提出 PreciseCoder,在单元测试奖励基础上加入语义验证的局部编辑信号,让代码模型调试时更少改动且不幻觉出错误。在 4B、9B、27B 模型上,平均编辑行数从 7-15 降至 3,通过率持平;仅用单行 bug 训练即可泛化到仓库级修复。将 9B 模型的推理轨迹提供给 GPT-5.6 Sol 和 Qwen3.8-Max,可使编辑精度提升 4.6-12.4 分。

  16. arXiv · cs.AI52

    arXiv 论文提出 ARBITER 35B MoE 智能体验证器用于竞赛代码判定

    arXiv 论文提出 ARBITER,一个 35B MoE 智能体验证器,仅凭题面和源码判定候选程序正确性并生成反例作为可检验证据,基于 USACO 2026 构建了 USACO-JUDGE 评测集并用强化学习训练。训练将错误程序上的反例成功率从 40.61% 提升到 62.67%,USACO-JUDGE 二元判定准确率从 71.41% 提升到 87.41%,在代码选择与改进任务上均优于基线;IOI 2026 案例中 ARBITER 引导的改进使 GPT-OSS-120B 在官方提交限制下的期望分数超过金牌线。论文链接 https://arxiv.org/abs/2610.18760v1。

    推荐理由:论文给出了反例生成与判定准确率在训练前后的具体数字,可据此评估这类可验证反馈验证器的实际提升幅度。

  17. arXiv · cs.AI40

    Jeva:从第一性原理出发的 System One 决策模型

    论文提出 Jeva,一种决策原生架构,针对 System one 模型直接低延迟决策的四个结构要求:null-aware、置换不变、候选集可扩展与可缓存。Jeva 用共享编码器独立表示请求与各选项,以不可变选项记忆精炼请求状态,统一 Choice、Noul 和 Score 输出。评测中实现近乎完美的 null 检测、任意排列下零决策翻转,可扩展至数千候选并通过跨请求复用大幅降低延迟。

  18. arXiv · cs.AI40

    Scenario-Actor 框架:让 LLM 依据交际场景自适应选择采样温度

    一项 arXiv 论文提出 Scenario-Actor 温度选择框架,从 Transformer 隐状态中提取场景结构,用场景嵌入这一几何表示推断交际情境并据此确定解码温度。在 Llama-3.1-8B-Instruct 上,该框架在交互式社交场景中取得较强的目标完成表现,在开放式指令遵循上有显著提升,多轮对话表现与多个基线相当。

  19. arXiv · cs.AI59

    HybridAgents 论文提出在潜在推理与文本交互间切换的混合推理 Agent

    论文提出混合推理 Agent 框架 HybridAgents,用 HybridLink 在统一生成过程中于潜在推理与文本交互间动态切换,并以连续工作记忆跨多轮保存混合上下文。配套 HybridSFT 与 HybridRL 后训练算法,在 3 个模型规模、11 个基准上较前沿 LLM Agent 与 Agent 框架平均提升 10.4%,同时 token 减少 35.5%-54.7%、推理提速 1.8x-2.6x、成本节省 2.7x-3.7x,代码与数据已开源。

    推荐理由:论文同时给出统一架构、后训练算法和在 11 个基准上的量化对比,读者可以直接查看 10.4% 提升与成本节省数据的来源。

  20. arXiv · cs.AI63

    DoubtLess:免训练对比解码方法将 Qwen3-32B 思维链缩短 31% 且准确率不变

    论文提出 DoubtLess,一种免训练的对比解码方法,用小推理模型分别以简洁和冗长两种提示读取大模型的思维链,将两者 logit 之差按强度缩放后加到大模型每步的 logits 上,引导其生成更短的 CoT。在竞赛数学、研究生级科学和竞赛编程等七个基准上,DoubtLess 将 Qwen3-32B 的 CoT 缩短 31% 而准确率不变,优于五个推理时基线;在自调试编码智能体中每轮思考 token 减少 20%,任务性能不变,还能泛化到另外两个模型家族,并与基于训练的压缩方法叠加使用。行为分析显示其减少重复检查,token 节省大多来自正确答案首次出现在 CoT 之后。代码已开源。

    推荐理由:方法无需训练即可压缩推理模型的思维链,并给出七个基准上的量化结果,可与其他推理时压缩手段比较迁移。

  21. arXiv · cs.AI61

    Tev 论文提出长程智能体训练方法,Tev-27B 在 Agents' Last Exam 上逼近 GPT-6 Astra

    论文提出 Tev-Gym 数据集与 PPRS 奖励整形方法,用 1170 个带渐进可验证奖励的任务环境训练出 Tev-27B。该方法把任务进度转成逐步密集奖励,Tev-27B 在 ALE-CM 上 Pass@5 匹敌 GPT-6 Astra 与 Claude Opus 5,并在 Terminal-Bench 3.0/4.0 上超过 GLM 5.2 和 Gemini 3.7 Flash。

    推荐理由:论文给出可验证的渐进奖励构造方法,用逐级奖励把长程任务变得可训练,还开源了 1170 个任务环境。

  22. Reddit · r/LocalLLaMA18

    2x5090 + 64GB RAM 本地跑 LLM 速度卡在 30-100t/s,求优化建议

    一位来自 3D 渲染行业的用户在 2x5090 + 64GB RAM 系统上尝试本地 LLM 生成,三周后仍困于可用性与速度。他用约 210k 上下文运行 Qwen Next GSQ RCO IQ3XXS + MTP,LM Studio 截断稳定但速度多在 30-40t/s,换自定义 llama 与 Unsloth 也仅达 40-100t/s,认为比弱硬件的他人结果偏低,向 r/LocalLLaMA 请教合适的推理引擎与开发环境配置。

  23. Reddit · r/LocalLLaMA60

    推理引擎 jitllm 实现生成中途在 GPU 间迁移模型层,单次仅 8ms

    作者 /u/web3samy 发布了受操作系统与 JIT 编译器启发的推理引擎 jitllm,可在生成回复过程中把模型层在不同硬件间移动并重新排布。Llama-3.2-3B 在 2×T4 上层迁移耗时 8.1-8.4ms、2×V100 上约 20-21ms,RTX 3050 Ti 笔记本上 CUDA 到 Vulkan 迁移 91ms,均无 token 重算。KV cache 随层分页迁移,prompt 无需重新处理,输出与未迁移运行一致。代码见 https://github.com/jitllm/jitllm

    推荐理由:作者给出了各硬件组合下层迁移的耗时与零重算数据,可用于评估这种运行中模型调度思路的落地成本。

  24. arXiv · cs.AI51

    arXiv 论文:输出纪律决定下限,可证伪引导的模型无关 Agent 协议用于可审计假设决策

    Jing Liu 在 arXiv 论文(2610.18298)提出一个模型无关的五阶段闭环 Agent 协议,用候选×证据矩阵证伪机制约束大语言模型的假设驱动决策,结论是输出纪律而非模型能力构成瓶颈。在中医辨证基准 TCMEval-SDT 的 200 例上,两年模型缩放仅使 zero-shot 分数变动 -0.03 到 +0.08;该协议对输出纪律差的模型有提升(DeepSeek-V4-Flash +0.267/+0.271,全部来自终止性修复),将 Kimi K3 的运行间标准差从 0.218 降到 0.007,但对已有纪律的 Qwen3-4B/32B 有 -0.087 到 -0.120 的代价。

  25. arXiv · cs.AI37

    AnnalsChallenge:源自《Annals of Mathematics》的 Lean 4 形式化定理陈述数据集

    研究者发布 AnnalsChallenge 数据集:50 条用 Lean 4 和 Mathlib 手写形式化的定理陈述,每条均为 2020 年以来发表于《Annals of Mathematics》论文的主要结果。所有形式化均经人工审核并由 AI 审计,不含形式化证明,可供评估数学自动形式化进展使用。该工作已被 NeurIPS 2026 的 AI-MATH workshop 接收。

  26. arXiv · cs.AI38

    LR-Guard:基于潜在双假设推理与按需轨迹重建的高效安全护栏

    LR-Guard(Latent Reasoning Guardrail)是一种高效可解释的安全护栏方法,将冻结教师模型对安全与不安全提示的分析蒸馏为紧凑潜在表示,并支持按需重建推理轨迹,无需每次决策生成中间文本。实验显示其在多数域内与域外设置下的安全分类和解释提取优于显式推理教师模型,batch size 1 时推理加速 19.4x,重建轨迹与教师显式推理语义高度相似。

  27. arXiv · cs.AI37

    奇点有一个分布:随机智能爆炸的精确时间规律与检测极限

    一篇 arXiv 论文研究 AI 研究自动化引发的随机智能爆炸:随机性不改变确定性爆炸阈值,但把爆炸日期变为显式分布——等尺寸改进下爆炸时间是独立指数变量的几何加权和,Lomax 分布改进尺寸下爆炸时间精确服从 Gamma 分布。论文还给出区分恒定与几何增长到达率的检验,最小样本量渐近为 (12z_α²)^{1/3}ℓ^{-2/3},并证明即使爆炸必然发生,剩余时间的条件平均等待时间仍为无穷。

  28. arXiv · cs.CL32

    TRACESTEER:用轨迹驱动的激活转向缓解扩散语言模型幻觉

    TRACESTEER 是一种针对扩散大语言模型(dLLM)幻觉的激活转向框架,利用先前去噪预测作为反馈,通过 DF-Steering 构建逐步转向向量、TS-Gate 依据预测不确定性和去噪时间步调节强度。骨干冻结下,在两个 dLLM 上提升了 TruthfulQA 事实可靠性,并在五个下游 benchmark 上展现泛化能力。