跳到正文
今天10月27日周二2 条
  1. arXiv · cs.AI18

    AskGLP1:基于知识图谱的 LLM 智能体,用于探索在线患者叙述中的 GLP-1 用药体验

    研究者提出 AskGLP1,一个将在线患者叙述转为知识图谱并回答用药体验问题的 LLM 智能体。该系统基于 MedDRA 术语,从近 850 万条 Reddit 帖子中筛选出 163,135 条用药体验,结合 2,506 条 WebMD 评论,构建含 385,790 条药物-副作用与药物-用途关系的三元组。结果显示在线叙述与 FAERS 互为补充,且 tirzepatide 的恶心呕吐报告少于 semaglutide;智能体能提供可验证证据并拒绝医疗建议请求,代码与提示词已开源。

  2. Reddit · r/LocalLLaMA37

    KS3 算法在 Mandelbulb 拟合上对比 MLP:收敛更快、细节更丰富

    开发者展示新算法 KS3(K-Splanifold 第三代,基于 Hermite 样条流形),在 Mandelbulb 函数随机样本的梯度下降拟合中比同规模 MLP 收敛更快、细节更多且 loss 更低。作者已用 KS3 替换 MLP 训练多个 SLM,并在 modded-nanogpt speedrun 的代理硬件上超过世界纪录,但尚未在官方要求的 8xH100 上验证。

10月26日周一
10月24日周六
  1. Reddit · r/LocalLLaMA23

    SCOPE 如何在 Claude Code、Codex 等编码智能体中做策略执行

    Reddit 用户 /u/1982_miguel 分享了论文 SCOPE,其思路是将复杂的项目策略拆解为多个小检查,而不是靠单个模型判断编码智能体是否遵守架构规则等约束。作者指出测试通过不等于智能体遵循了全部规范,并讨论 SCOPE 与 linter、测试、pre-commit hooks、CI 检查及 agent guardrails 等现有工具的整合可行性。

10月23日周五
  1. Reddit · r/LocalLLaMA45

    ReaDy:用循环状态作为动态上下文加速混合线性注意力大模型投机解码

    论文提出投机解码方法 ReaDy,首次利用混合线性注意力(HLA)模型的循环状态为每个草稿位置检索位置特定上下文。基于 DSpark 骨架与两阶段适配策略,在数学、代码生成与对话七项基准上,ReaDy 以 Qwen3.8-27B 在单块 NVIDIA B200 上实现平均 3.16× 解码加速,吞吐较 DSpark 提升 7.97%,接受长度提升 8.50%,代码已在 GitHub 和 HuggingFace 开源。

  2. Reddit · r/LocalLLaMA49

    PN-Mix:面向长输出 LLM 推理的 Pair-Norm 引导混合精度 Key Cache 量化论文

    论文提出 PN-Mix,一种面向 RoPE decoder-only LLM 的混合精度 key cache 量化方法,通过 RoPE 通道对的 query-key pair-norm 乘积识别显著通道对,在 prefill 阶段分配一次高精度并在解码全程复用。2.26-bit 平均精度下,PN-Mix 在推理、代码生成和 AIME 基准上达到与 2.32–2.39 bit 先前方法相当或更好的准确率,且可平滑降至 1.5 bit。

10月22日周四
  1. Reddit · r/LocalLLaMA49

    Reddit 用户提出 2-bit GPU + 残差放系统内存的投机解码方案,用于装不进显存的大模型

    Reddit r/LocalLLaMA 用户分享一种投机解码思路:GPU 上保留模型 2-bit 副本负责起草 token,6-8 bit 残差权重留在系统内存由 CPU 校验,仅激活值经过 PCIe。实测 2-bit + 8-bit 残差比 Q8_0 更接近 bf16(KL 约减半);6-bit 残差达到 Q8_0 级质量且从 RAM 读取字节减少约 28%;复用校验器 KV cache 的 2-bit 起草比 Google 官方 Gemma 4 drafter(31B)每次校验多接受 25-30% token(5.23 对 4.20)。代码已开源。

10月21日周三
  1. Reddit · r/LocalLLaMA52

    Specter 论文提出量化多步投机卸载加速单 GPU MoE 推理

    arXiv 论文 Specter 提出一种 MoE 推理系统,用量化让轻量 draft 模型在设备上运行,对未来专家使用做多步投机预判,提前安排专家的搬运与执行。单请求推理下相对 SOTA 系统平均取得 1.50x(最高 1.88x)的 TPOT 加速,让单 GPU 受限显存下的 MoE 推理在消费级硬件上更可行。代码在 https://github.com/wwwwwf/specter_asplos,论文见 https://arxiv.org/abs/2511.14102。

10月20日周二
10月19日周一
  1. Reddit · r/LocalLLaMA35

    80 年代计算时代遇上小型本地决策模型

    一位开发者设想如果 80 年代用汇编编程的程序员能使用本地模型会怎样,并演示了一个小型决策模型程序:将"太暗且出汗"这类提示词拆分为概率判断与确定性代码两部分,由模型在"太冷到太暖"五个选项中判断室温感受,置信度低于 0.5 时转交人工处理,否则按每步 3 摄氏度调节温度。

10月17日周六
  1. Reddit · r/LocalLLaMA36

    28 KB 激活探针可判断 AI 智能体是“准备待审”还是“直接执行”

    一位开发者训练了一个仅 28,708 字节的 logistic 激活探针,用于区分用户是让智能体准备动作还是批准执行。在 3,000 个测试样本上探针达到 0.8137 AUROC,高于同数据训练的文本分类器的 0.7897(p=0.0150)。测试中 MiniCPM5-1B 表现最好,有效信号来自第 13、14 层中间输出而非最后一层,探针可作为硬权限门之外补充的意图判断信号。

  2. Reddit · r/LocalLLaMA70

    ORL 扩散语言模型加速方法开源:单张 RTX 5090 跑出 2,788 tokens/s

    团队发布 ORL(On-Policy Residual Learning)研究并全量开源,用 on-policy 残差学习和 Adjacent Entropy Contraction 让扩散语言模型在更少前向传播内收敛更多 token。配合自研推理引擎 dlmrt,LLaDA-2.1-mini + ORL 在单张 RTX 5090 上达 2,788 tokens/s(NVFP4),DiffusionGemma 26B MoE 达 7,708 tokens/s(8× B200);QwenDLM-4B 端到端吞吐提升约 6.9×,HumanEval pass@1 从 82.9% 升至 89.6%,单 H100 上 1,298 tokens/s,快于 DFlash 的 746 和 EAGLE3 的 405。

    推荐理由:原文给出各模型吞吐、HumanEval 前后对比和与 DFlash、EAGLE3 的同精度对照,可复现的代码和权重也已开放。

  3. Reddit · r/LocalLLaMA35

    为什么朴素余弦路由会失效:在 768D 嵌入空间上用吸收马尔可夫链实现 <2ms 零 token 意图分诊(无需唤醒 LLM)

    在 768D 嵌入空间上用吸收马尔可夫链(B=(I-Q)^-1*R)替代朴素余弦相似度做意图分诊,将查询投影到 60 节点领域流形后直接在 GPU 求解,无需唤醒 LLM。JevBench 测试中 Tier 0(AMC + EmbeddingGemma2)平均 22ms p50、11 项全对,短提示词缓存候选下约 1.5ms;4 层级联平均 46ms p50(308ms mean),240 项 100% 命中。

10月15日周四
  1. Reddit · r/CharacterAI22

    大学生发起开源角色模型项目保存 c.ai 角色对话,征集聊天记录

    一名大学生在 Character.ai 破产后发起开源项目,构建能保存 c.ai 角色的开源角色模型。现有最知名数据集 PIPPA 由 Pygmalion 社区用捐赠聊天记录建成,但主要覆盖角色扮演。该项目征集日常、倾诉、陪伴等各类对话,提供报酬、角色优先重建、署名或匿名、随时删除,并承诺去除个人隐私信息。

10月12日周一
  1. Reddit · r/LocalLLaMA55

    独立研究者用单张 GH200 预训练 21B MoE,MFU 从 21.1% 提到 50.7%

    独立研究者因预算限制把原计划用 64 张 H100 的 21B MoE(总参数 20.99B、激活 3.36B)预训练改在单张 GH200($2.29/小时)上完成,并整理成论文。Benchmark MFU 从 21.1% 提至 50.7%(13 个测量点),真实数据训练 MFU 为 48.9–49.1%(10.9B tokens),附代码、基准记录与训练日志(https://github.com/DW-dev-UE/LLM-from-scratch/tree/main/apex3),论文见 https://zenodo.org/records/23316135。

10月11日周日
  1. Reddit · r/LocalLLaMA56

    LMGame 用福尔摩斯侦探游戏测试 Jev 智能体群的破案能力

    LMGame 团队构建了程序化生成的维多利亚伦敦侦探游戏,测试小模型智能体群 Jev 与大模型 GPT6-Astra 协作能否破案。Holmes(GPT6-Astra)加 12 个 Jev 智能体的组合在诚实证据和有欺诈的场景下分别解出 96/100 和 93/100 案,而单模型独行侠仅 57/100 和 59/100,无领导者的 100 个 Jev 投票群只有 38/100 且会过早达成错误共识;有欺诈时仅靠计数线索的规则型 Holmes 破案 0/100,需要强推理者判断证词动机。项目代码与博客见 https://github.com/lmgame-org/Gaming-JevSwarm 。

10月9日周五
  1. Reddit · r/LocalLLaMA35

    Stepped MoE:段级路由与可配置推理复杂度的统一弹性稀疏框架

    论文提出 Stepped MoE,将弹性结构与稀疏门控统一,让单一 LLM 同时适应部署约束和任务需求,在推理时可细粒度控制精度-效率权衡。该模型可在 1、2、3、4B 参数间灵活切换,比对应稠密模型在知识密集型基准上高 2-5%,延迟与稠密模型相当,并通过参数共享节省设备磁盘空间。

10月8日周四
10月7日周三
  1. Reddit · r/LocalLLaMA38

    原版 GLM-Edge-1.5B-Chat 在 4GB Galaxy A04e 上完成真实 Amazon 购物车任务

    GLM-Edge-1.5B-Chat(Q4_K_M GGUF 量化、无微调)通过 llama.cpp 在 4GB 内存的 Samsung Galaxy A04e 上本地运行,借普通桌面 Firefox 会话在 Amazon 完成了查找电池与黄色橡皮鸭并加入购物车的真实任务,两次运行均成功。A04e 全程约 8.5 分钟,Galaxy S21 上约 3 分钟。模型不接收截图或原始 HTML,而是通过结构化浏览器感知层(E2LLM/SiFR)在用户现有浏览器会话内操作,即"Browser-as-Shared-Space(BaSS)"思路。

  2. Reddit · r/LocalLLaMA54

    独立开发者展示本地实时世界模型:单张图像转可玩角色,支持运行中切换文本提示

    Reddit 用户 /u/lucidml_lover 展示其训练中的本地实时世界模型,可将图像转为可玩角色,支持生成中切换文本提示和 WASD 键盘操作。模型约 960M 参数,采用纯 Transformer 与 diffusion forcing 训练,在 RTX 5090 上以 30% 利用率实时运行,峰值 50-60 fps(软件限至 12fps),M5 MacBook 上达 30fps,训练用了 8x H100 SXM 约 3-4 周。作者计划年底发布供本地用户试用。

10月6日周二
  1. Reddit · r/LocalLLaMA50

    纯 C 编写的 3MB 独立运行器跑 Gemma-2B,捕捉到 Layer 15 幻觉突变

    开发者用纯 C + AVX2 编写约 3.3MB 的单文件运行器,在裸机 x86-64 上运行 Gemma-2B,并在残差流上加正交探针观察各层行为。测试台湾法定 5% 增值税时,Layer 0-14 保持正确,Layer 15 真值由 +0.0163 变为 -0.0481,RAX 寄存器输出"15%"。原始 trace、6 页论文和二进制已开源发布。