跳到正文
  1. GitHub · 3D 生成新仓库59

    NeurIPS 2026 论文揭示上下文压缩中的 LLM 规模悖论,开源诊断数据集与提示词

    清华、百度等机构在 NeurIPS 2026 发表 When Less Is More,发现 compressor-decoder 有损压缩中的 Size-Fidelity 悖论,覆盖 27 组配置(9 个模型规模 × 3 种压缩率):更大压缩器重构误差更低但忠实度下降,中型压缩器常优于大模型。论文归因于知识覆写(如白色草莓被改写为红色草莓)与语义漂移(如 Alice hit Bob 被改写为 Bob hit Alice),64× 压缩下 LLaMA 从 3B 扩到 90B 时知识覆写 QA 从 0.62 降至 0.53、语义漂移 QA 从 0.41 降至 0.28。

    推荐理由:论文用 27 组压缩器配置给出压缩保真度非随规模单调的证据,并公开了诊断数据集与 QA 生成提示词,方法可复用于其他压缩评测。

  1. GitHub · 去对齐工具与仓库65

    Badrodro 实测三种 LLM 的 4-bit 权重量化格式质量差异

    Badrodro 发布 llm-4bit-quant-formats 仓库,在 Qwen2.5-0.5B、Qwen2.5-1.5B 和 SmolLM2-1.7B 上以 WikiText-2 与 C4 困惑度对比多种 4-bit 权重量化格式。结果显示等困惑度下 trellis 编码比 NVFP4 少需 11–17% 比特、比 INT4 g128 和 MXFP4 少约 15–20%,但加随机 Hadamard 旋转的标量 Lloyd-Max 量化器已能达到 trellis 增益的 6–9% 以内,未达到预先设定的 10% 阈值,因此非均匀标量格式加旋转在更低解码成本下已捕获大部分收益。测试仅覆盖权重、round-to-nearest、0.5–1.7B 小模型,无校准数据与速度能耗测量。

    推荐理由:作者预先设定了10%的决策阈值再实测,读者可以据此判断trellis量化是否值得在硬件里加解码器。

  1. GitHub · 灵魂体仓库63

    tatra-labs 开源 nano-pixelmoe:约 260 行实现像素空间扩散的 LLM 式混合专家

    tatra-labs 发布 nano-pixelmoe,用约 260 行代码独立实现 PixelMoE 论文(arXiv:2610.18857)方法,将 LLM 式 mixture-of-experts 原样迁移到无 VAE、无 tokenizer 的像素空间扩散。实现在 RTX 5060 Laptop 上训练,CIFAR-10 上 64.2M 参数(每 token 激活 27.0M)FID 26.43,与匹配激活参数的 dense 基线 26.73 在 10k 样本噪声范围内持平;展示了无辅助损失的负载均衡(最忙专家为平均负载 1.6 倍)及专家按内容和噪声水平分工的路由图。作者指出论文的收益出现在 200M+ 激活参数规模,并附完整训练与采样命令。

    推荐理由:作者在单卡笔记本 GPU 上复现了 PixelMoE 的 MoE 路由机制,并给出与 dense 对照的 FID 数据和平衡路由结果,代码可自行训练。

  2. GitHub · 去对齐工具与仓库57

    rag-context-attention:预注册实验测量 RAG 提示词长度与迭代检索收益

    MitushiG 发布预注册实验仓库 rag-context-attention,研究 RAG 场景下提示词长度与迭代检索的实际收益。实验在单张 RTX 4090 上用 Qwen2.5-7B-Instruct 完成,发现长度本身影响很小,30K token 无关文本下准确率仍有 83%(仅金标段落为 82%),真正伤害来自相似干扰项(30K 时下降 30 分,金标段落在中间时最差,39% vs 65%);金标段落上的注意力可预测答对(分层 AUROC 0.77);真实 top-k RAG 在 k=20 达到峰值 51.5%。

    推荐理由:预注册实验把提示词长度、干扰相似度与检索收益拆开测量,并给出可复现的实验代码与统计校正方法。

  3. GitHub · 灵魂体仓库59

    SurfBench 基准发布:用 50 个真实任务评测各网页访问 API

    riccardogiorato 发布 SurfBench 基准,用 50 个真实任务(分 4 个层级)统一评测 parallel、exa、tavily、firecrawl、keenable、linkup 等网页访问 API,检查各服务商能否找到并抓取正确页面。评分按质量 0.50、可靠性 0.35、速度 0.15 加权,使用固定的 MiniMax M3 读取模型和 Kimi K3 + GLM-5.3 评审面板,给出 95% 置信区间与每千个通过任务的成本列,完整结果包、任务检查器与方法论页面随仓库公开,MIT 协议,可自行运行复现。

    推荐理由:这是一个可直接复现的网页访问 API 评测基准,方法论、提示词与评分细则全部公开,还给出了置信区间与成本列。

  1. GitHub · 去对齐工具与仓库71

    AgentVFS 发布 VFS-Bench 1.0:虚拟文件系统接口比 MCP 平均省 52% token

    AgentVFS 团队发布 VFS-Bench 1.0 基准,200 个任务(100 个来自 MCP-Atlas、100 个来自 Toolathlon)覆盖 46 个外部服务,每个任务分别通过 MCP 工具调用和虚拟文件系统 AgentVFS 各运行一次,任务文本、数据和评分器完全一致。结果显示虚拟文件系统平均减少 52% token,pass@1 从 77.6% 升至 81.6%,其中 Claude Opus 5.5 在 MCP-Atlas 上 token 减少 88%。基准用本地 fake 服务复现 API,每次运行前重置并重新播种数据,完整榜单和轨迹见 agentvfs.org,仓库地址 https://github.com/agentvfs/vfs-bench。

    推荐理由:同一任务在 MCP 与虚拟文件系统两种接口下各跑一遍并保留原始评分器,token 与 pass@1 的对比数据齐全,可复现。

  1. GitHub · 去对齐工具与仓库62

    ricca200xx 开源小票抽取评测框架 llm-doc-extraction-eval

    ricca200xx 在 GitHub 开源了一个针对视觉语言模型小票结构化抽取的严格评测框架,基于 CORD-v2 数据集,通过 LiteLLM 切换模型后端,所有指标附 95% 置信区间并与 always-null 基线对比。在 50 张小票、8 个字段的提交结果中,54% 的字段单元无值,全答 null 即得 54.0% 宏平均准确率;本地 qwen2.5vl:3b 用朴素提示词仅 49.5%、幻觉率 88%,更严格的 v2 提示词将其提升到 86.0%(配对 +36.5 点)并把幻觉率降到 23.1%;对已达 97% 的 gemma4:31b-cloud 仅 +0.5 点且不显著。框架含不奖励猜测的评分器、不编造值的 JSON 修复层和配对 McNemar 加 Holm 校正的统计方法。

    推荐理由:原文给出带置信区间和 always-null 基线的完整评测设计,读者可以照着复现小票抽取模型的幻觉测量。

  1. GitHub · 去对齐工具与仓库65

    FreeSolo 发布:线性时间稀疏注意力实现零样本长度外推

    Zekun Shi 发布 FreeSolo 架构、论文(arXiv 2610.17191)与 341M/743M 研究用 base 模型权重,通过学习 chunk mean keys 支持检索、剪枝与层级摘要,RoPE 保留在局部窗口。FS-L 为线性时间、FS-B 为超线性次二次复杂度,两者共享一套 checkpoint 格式;模型在 4k 上下文训练,8k 及以上零样本外推,可在 262k(64 倍训练长度)检索单针而无需长上下文微调。

    推荐理由:作者同时给出 RULER 准确率与 A100 实测吞吐显存表,读者可按复杂度和长度逐项对比各稀疏注意力方案。

  1. GitHub · 去对齐工具与仓库62

    RotomArena 发布:用宝可梦对战评测大语言模型的竞技基准

    vibrunazo 在 GitHub 发布 RotomArena,一个让大语言模型自组宝可梦队伍并在 Pokémon Showdown 上逐回合对战的竞技基准,网站 rotomarena.org 公开评分、每局回放和各模型推理记录。主基准 Rotom Champ Bench 采用 c5 规则集(50 级、6 选 3、每回合 8192 token 预算、隐藏思考上限 4096 token),评分用 Bradley-Terry 拟合 Elo 并给出 bootstrap 95% 置信区间,参与者包括经 OpenRouter 接入的模型、本地 llama.cpp 模型、决策模型、去掉了语言模型的 PokéChamp 规则实现和随机 AI;代码采用 MIT-0,数据采用 CC0 1.0。

    推荐理由:原文写明了评分方法、隐藏思考 token 上限和幻觉判定规则,读者可以据此判断这个基准的公平性设计。

  1. Reddit · r/LocalLLaMA70

    ORL 扩散语言模型加速方法开源:单张 RTX 5090 跑出 2,788 tokens/s

    团队发布 ORL(On-Policy Residual Learning)研究并全量开源,用 on-policy 残差学习和 Adjacent Entropy Contraction 让扩散语言模型在更少前向传播内收敛更多 token。配合自研推理引擎 dlmrt,LLaDA-2.1-mini + ORL 在单张 RTX 5090 上达 2,788 tokens/s(NVFP4),DiffusionGemma 26B MoE 达 7,708 tokens/s(8× B200);QwenDLM-4B 端到端吞吐提升约 6.9×,HumanEval pass@1 从 82.9% 升至 89.6%,单 H100 上 1,298 tokens/s,快于 DFlash 的 746 和 EAGLE3 的 405。

    推荐理由:原文给出各模型吞吐、HumanEval 前后对比和与 DFlash、EAGLE3 的同精度对照,可复现的代码和权重也已开放。

  1. GitHub · 去对齐工具与仓库68

    naughty-judge-replies:专测 LLM judge 判定解析器的测试语料

    Fikri Alfaraby 发布 naughty-judge-replies,一套让 LLM judge 评测解析器出错的回复语料,覆盖 letter、yes-no、json-pass、json-score、grade 五种格式,定位类似 Big List of Naughty Strings。实测显示 promptfoo 0.124.1 factuality 有 4 次错读、closedqa 5 次错读,Opik 与 Inspect AI 的具体计数见表;错读原因包括把 'France)' 中的字母当类别、以末字符 'Y' 判 pass、取首个 JSON 对象及类型强转。

    推荐理由:语料逐条实测了 promptfoo、Opik、Inspect AI 的 verdict 解析器,给出错读、猜测、拒绝的具体计数和成因。

  1. GitHub · 3D 生成新仓库58

    Synthlore 开源:约束校验的多模态与多跳 RAG 评测语料生成器

    GitHub 新仓库 NavinYP/synthlore 发布,用于生成内部一致的虚构宇宙语料并配数学验证的 Q&A 基准,参考运行含 415 篇文档、约 511,025 词、571 个原子事实。系统分四层:因果宇宙引擎、约束驱动的事实规划器、多格式编译渲染、闭环验证,并针对三个合成 RAG 常见问题:把 24 条两跳链拆分到不同文档避免桥接节点捷径、定量图表用 matplotlib 程序化绘制并用 gpt-image-2 生成图配 Vision LLM 门控验证、真值只放 Tier-1 正典而错误说法植入 Tier-3 琐记以考察来源可信度推理。

    推荐理由:开源的合成语料与 RAG 评测生成器,把多跳、多模态、来源冲突三条评测轨道的约束写进规划层,并用 10 项验证门审计输出。

  2. GitHub · 去对齐工具与仓库68

    mateus-aleixo 开源 maintenance-qa-agent,用共形风险控制为工业手册问答提供可弃答保证

    作者开源了 maintenance-qa-agent,一个对工业维护手册做问答并在无法回答时主动弃答的 RAG 智能体,检索与共形置信门控已部署在 AWS Lambda。在 100 题测试池上,门控把回答错误率从 0.260 降到 0.031(α=0.1、覆盖率 64%),任意错误率从 0.540 降到 0.312。项目改用 token 概率读取 P(YES) 后 AUC 从 0.697 升到 0.821,并给出无框架纯 Python 实现架构、Prompt injection 测试集和扩展到 880 万段落 MS MARCO 的检索规模实测。仓库地址 https://github.com/mateus-aleixo/maintenance-qa-agent,MIT 许可。

    推荐理由:作者用共形风险控制给 RAG 加弃答门槛,并把实测中的取舍与失败原因完整公开,方法可直接迁移到类似问答系统。

  1. GitHub · 去对齐工具与仓库60

    AiLibi 开源:可复现的 AI 社交推理模拟,附证据引用与评测数据

    Daniel Keinan 发布开源项目 AiLibi,一个可复现的社交推理模拟与观战系统,7 名船员与 2 名内鬼由 LLM 驱动,通过 Claude Code 和 Codex 实现,Daniel 未手写生产代码。系统用确定性引擎和观察防火墙保证回放字节级可重建,100/100 样本回放可精确还原。2026-10-09 的 9 人对局记录显示,带证据引用的驱逐准确率为 24/24=1.0000,无证据时仅 20/42=0.4762;带有效引用的投票 410/410 可溯源。样本包含用 Qwen/Qwen3.6-27B 跑的两个 50 局锦标赛,作者强调这展示的是对认证事实的处理而非通用社交推理。

    推荐理由:这个项目用可复现回放和证据引用链衡量Agent推理,带证驱逐与无证驱逐的准确率对比给出了可信的具体数字。

  2. GitHub · 去对齐工具与仓库63

    psm-mixture-test 仓库对 Persona Selection Model 做定量检验

    OzAmram 在 GitHub 开源 psm-mixture-test 仓库,用 Olmo-3-1025-7B base 与 Olmo-3-7B-Instruct 一对开放权重模型,对 Persona Selection Model(Marks, Lindsey & Olah 2026)做定量检验,Qwen2.5-7B 系列作跨家族对照。

    推荐理由:原文用固定的一对开源权重模型做了完整可复现的定量检验,给出了混合拟合误差、AUROC 和软前缀差距等具体数字。

  3. GitHub · 去对齐工具与仓库59

    DeepSteer 开源:追踪 LLM 从预训练到后训练的道德认知与行为差距

    Distiller Labs 在 GitHub 发布 DeepSteer,一套用于测量语言模型道德内容表征及其行为是否一致的 PyTorch 工具,Apache 2.0 协议,支持 pip install deepsteer。研究发现道德知识的低秩子空间在预训练中形成,后训练只做旋转;OLMo-3 的拒绝门是后训练构造,约四分之三因果输入在道德子空间之外;OLMo-3-7B-Instruct 在压力下约五分之一场景会执行其自判错误的行为。包内含 1200 对道德/中性探测数据集、消融与转向扫描、表征与行为基准,及六篇配套论文(如 arXiv:2610.08670)的复现脚本,FL 和 MN 的数据存于 Zenodo。

    推荐理由:作者开源了一套测量语言模型道德表征与行为差距的 PyTorch 工具,附数据集、基准和配套论文,可直接复用于对齐研究。

  4. GitHub · 去对齐工具与仓库61

    WhoFlips 论文开源:反方论证如何让大语言模型放弃正确答案

    WhoFlips 论文(arXiv:2606.16011)开源配套仓库与数据集,用两阶段协议测量 LLM 答案稳定性:先让模型为错误选项写论证,再用该论证挑战其原本正确的答案。实验覆盖 GPT-5.1、Gemma-4-26B、Llama-3.1-8B、Llama-3.3-70B 和 Qwen3.5 系列,变量包括论证长度 k ∈ {1,3,5,10}、归属(盲/自)与来源(同模型/跨模型),解码温度为 0 并禁用推理。数据集 nafisehNik/WhoFlips 约 1.18 GB、约 20.3 万行,含 self_mmlu、cross_mmlu 和 maxflip_mmlu 三个子集,CC BY 4.0 许可,每行保留两阶段完整信息可直接重算 AFR 等指标。

    推荐理由:论文配套仓库同时放出了完整代码、复现脚本和约 203k 行的公开数据集,读者可直接复核答案翻转指标而不必重跑实验。

  5. GitHub · 去对齐工具与仓库65

    Chutes.ai 发布 Epigenesis:Free-Slot Adaptation 让模型不改动基础权重即可写入并可精确撤销新知识

    Chutes.ai / Parallax 开源 Epigenesis,提出 Free-Slot Adaptation(FSA):冻结基础权重,把新知识写入 pair8 三值 MoE 格式保证存在的结构化零槽位,撤销时将槽位清零即可逐位恢复原模型。在 lambda 8B 三值 MoE 上教授 40 条人物事实,三值 Bop writer 在留出改写上达到 100% 召回,补丁仅 0.8–2.7 MB(约为同层 bf16 LoRA 的 1/15–1/50),推理零额外开销,但通用文本损伤 +0.024–0.027 nats,高于带惩罚的 LoRA,是该方法的当前短板。代码 Apache-2.0 开源,论文由 AI 辅助撰写并经作者验证,尚待多会话累积(EP-1)验证。

    推荐理由:原文给出在真实 8B 模型上的召回率、文本损伤和补丁体积实测,并与 LoRA 基线逐项对比,方法和局限都写得很具体。

  6. GitHub · 灵魂体仓库66

    MaxionBench 发布可复现 LLM 服务与 Agent 评测框架,实测上下文裁剪策略对成本与缓存的影响

    htang7415 在 GitHub 发布 MaxionBench,一个针对 LLM serving、RAG 和 Agent 的可复现决策评测框架,对比 llm-d 路由的自托管 vLLM、受管 Gemini API 及其混合方案。v0.4 基于 GitHub Copilot 生产流量(301k 会话、中位提示 57k token)实测五种上下文策略:仅 summarize 在校正后判分下准确率显著更高(+20 点),裁写历史会丢失 Gemini 隐式前缀缓存,而缓存感知变体保留约一半缓存、成本比 full 低 17-29%;v0.5 将策略移入 Go 网关后,Gemini 计费 token 减半且准确率未降。

    推荐理由:作者用带置信区间的重复实验量化了不同上下文策略在准确率、API 成本和服务端 KV 压力上的取舍,方法可复用。

  1. GitHub · 灵魂体仓库65

    trajectory-sft-agents 仓库发布 Qwen2.5-1.5B 与 Qwen3-1.7B 的轨迹SFT与GRPO后训练流程

    独立研究仓库 trajectory-sft-agents 发布在消费级单卡上运行的小模型Agent后训练项目。基于 Qwen2.5-1.5B-Instruct 的 ALFWorld 实验,用600条环境执行验证的专家轨迹做 LoRA SFT,再经在线GRPO,完整任务成功率由 Base 6.25% 提升至 SFT 68.75%、SFT+GRPO 77.08%。另一组 BFCL 实验将 Qwen3-1.7B 的多轮工具任务测试成功率从 2.5% 提升至 32.5%,单张RTX 5090训练约70分钟。仓库公开训练配置、专家轨迹、LoRA权重与逐题rollout,附CPU可运行的证据核验脚本;作者说明这是域内训练与内部留出评测结果,域外小样本评测未观察到明显退化但也不构成通用能力提升的证明。

    推荐理由:作者给出完整训练链路、逐题成绩和可复现证据,读者可以在消费级单卡上照此复现小模型Agent后训练。