跳到正文
  1. GitHub · 3D 生成新仓库59

    NeurIPS 2026 论文揭示上下文压缩中的 LLM 规模悖论,开源诊断数据集与提示词

    清华、百度等机构在 NeurIPS 2026 发表 When Less Is More,发现 compressor-decoder 有损压缩中的 Size-Fidelity 悖论,覆盖 27 组配置(9 个模型规模 × 3 种压缩率):更大压缩器重构误差更低但忠实度下降,中型压缩器常优于大模型。论文归因于知识覆写(如白色草莓被改写为红色草莓)与语义漂移(如 Alice hit Bob 被改写为 Bob hit Alice),64× 压缩下 LLaMA 从 3B 扩到 90B 时知识覆写 QA 从 0.62 降至 0.53、语义漂移 QA 从 0.41 降至 0.28。

    推荐理由:论文用 27 组压缩器配置给出压缩保真度非随规模单调的证据,并公开了诊断数据集与 QA 生成提示词,方法可复用于其他压缩评测。

  1. Hugging Face Blog59

    Hugging Face 博客预览 VocabX 方法:按成本而非频率特化词表,将葡语作文批改器推理成本降低 77%

    Dharma AI 在 Hugging Face 博客预览 VocabX 论文结果:按每个 token 的成本而非频率重建词表,在不改基座模型、数据和训练配方的前提下,将基于 Qwen3-4B 的葡萄牙语作文自动批改器实测推理成本降低 77.0%。响应平均从 350 降到 101 个 token,bench 分数从 0.703 升到 0.810,LM head 从约 152,000 行缩到约 65,000 行;在 5 个公开领域和 Qwen3、Llama-3.1、Gemma-3 三个模型族的 15 种组合中,压缩率和估算推理成本均领先 FVT、MWT 和 in-place BPE 三个参照方法。

    推荐理由:作者用同一基座、同一训练配方做对照实验,把成本按读写分别计价,方法思路可迁移到其他单一领域的专用模型。

  1. GitHub · 去对齐工具与仓库61

    WhoFlips 论文开源:反方论证如何让大语言模型放弃正确答案

    WhoFlips 论文(arXiv:2606.16011)开源配套仓库与数据集,用两阶段协议测量 LLM 答案稳定性:先让模型为错误选项写论证,再用该论证挑战其原本正确的答案。实验覆盖 GPT-5.1、Gemma-4-26B、Llama-3.1-8B、Llama-3.3-70B 和 Qwen3.5 系列,变量包括论证长度 k ∈ {1,3,5,10}、归属(盲/自)与来源(同模型/跨模型),解码温度为 0 并禁用推理。数据集 nafisehNik/WhoFlips 约 1.18 GB、约 20.3 万行,含 self_mmlu、cross_mmlu 和 maxflip_mmlu 三个子集,CC BY 4.0 许可,每行保留两阶段完整信息可直接重算 AFR 等指标。

    推荐理由:论文配套仓库同时放出了完整代码、复现脚本和约 203k 行的公开数据集,读者可直接复核答案翻转指标而不必重跑实验。

  1. GitHub · 去对齐工具与仓库61

    llm-bayesian-coherence:用贝叶斯相干性证书检测语言模型事实概率是否自洽的开源工具

    GitHub 用户 trhlikfilip 发布 llm-bayesian-coherence 工具,检验因果语言模型的事实条件概率能否来自同一联合分布。核心是 Emerson (2026) 提出的四元组对数比证书,LR 不为 0 即证明两个方向的条件概率不相容;仓库提供 run.py、scorer.py、certificate.py 等 23 个测试覆盖的完整流水线,以及来自 Wikidata、ConceptNet 和 WordNet 的 140,751 个四元组(约 603,000 个 prompt-continuation 对),支持任意 Hugging Face 因果语言模型,输出 LR、F、B、R、K 等指标,并带评分缓存与断点续跑。

    推荐理由:工具把概率一致性检验做成了可直接运行的开源命令行,附带 14 万四元组数据和缓存续跑设计,便于复现和移植。

  1. GitHub · 灵魂体仓库57

    Explicit Edit 基准发布:226 个字节级精确任务评测 coding agent 的文件编辑准确率

    alexshpunt 在 GitHub 发布开源基准 Explicit Edit,用 226 个确定性、字节级精确的任务衡量 coding agent 和 harness 的文件编辑准确率。任务故意做小,不含深度推理或领域知识,覆盖替换、插入、删除、移动、大文件、多文件类型和 Unicode 边界情况,由校验器逐字节比对结果。

    推荐理由:这个基准用字节级精确校验把编辑准确率和推理能力分开测,读者可以按同一任务集横向对比不同 agent CLI 和 harness。

  2. GitHub · 灵魂体仓库60

    MIT 团队发布 HugAgent 基准:评估大语言模型能否模拟具体个人的推理与信念更新

    MIT Media Lab 等机构在 EMNLP 2026 发布 HugAgent 基准,评估大语言模型能否仅凭本人访谈话语模拟具体个体的推理与信念更新,含信念状态推断(BSI)和信念动态更新(BDU)两个任务。基准基于 54 名参与者、3 个争议领域共 1,742 个条目,已以 gated、CC BY-NC 4.0 协议发布在 Hugging Face(social-atoms/hugagent)。结果显示模型较能恢复个体信念(最佳模型比人类上限低 7 至 9 分),但预测个体如何改变立场明显偏弱,最佳模型 68.6% 对人类的 85.7%,且该差距在所有被测模型家族中都存在。

    推荐理由:基准测出模型能推断个体信念却难以预测其转变,榜单和评测脚本都开放,结果可直接复跑。

  1. Hugging Face Blog79

    Nemotron 3 微调后达到 IMO 2026 与 IOI 2026 金牌水平

    NVIDIA 基于 Nemotron 3,通过 SFT、RL 和反馈驱动推理分别构建了达到 IMO 2026 和 IOI 2026 金牌水平的系统。IOI 2026 上 Nemotron-3-Ultra-CC 得 535.4/600,高于 361.12 的金牌线和 498.27 的人类最高分;IMO 系统用 SFT 与 RL 检查点加 generate-verify-refine 流程得 30/42,超过 29 分金牌线,全程仅用自然语言,无形式化证明器或外部工具。SFT/RL 检查点、训练数据集、含 200 道竞赛题的 Nemotron-IMO-Bench 及 NeMo-Skills 推理管线已在 Hugging Face 开放。

    推荐理由:原文完整给出了两个项目的训练数据规模、各阶段分数和可复用的四步特化配方,权重、数据和推理管线都已开放。

  2. Reddit · r/LocalLLaMA59

    21M 模型外挂 6.4B 参数查找表,效果匹敌 114M 稠密模型

    一位 Reddit 用户公开了业余研究项目:给 21M 模型外挂 16.8M 行、共 6.4B 参数的学习向量查找表,每 token 只读 33M 参数,效果与同在 500M Wikipedia tokens 上训练的 114M 稠密模型相当。

    推荐理由:作者公开了完整代码、模型和失败记录,还给出 SSD 内存映射下 140 tok/s 的实测数据,可复现成本仅约 70 美元。

  1. Reddit · r/LocalLLaMA70

    闭式轨迹权重手术:将 Qwen 3.5 4B 能力迁移到 0.8B 而无需数十亿 token

    作者提出一种跳过反向传播的闭式轨迹匹配方法,用少量校准提示词和正则化最小二乘直接求解学生模型 MLP 权重,将 Qwen 3.5 4B 能力迁移到 0.8B。

    推荐理由:作者给出跳过反向传播的闭式权重迁移方法,并附上失败分析与修复细节,代码和权重均已开源可复现。

  2. GitHub · 去对齐工具与仓库62

    基于 QLoRA 微调 Qwen2.5-7B-Instruct 处理 CUAD 合同条款分类与问答的开源项目

    作者开源了一个用 QLoRA 在 CUAD(510 份商业合同、35 类条款)上微调 Qwen2.5-7B-Instruct 的项目,覆盖条款分类和有依据的条款问答两项任务,LoRA 适配器(165 MB)已上传 Hugging Face(PimoLee5/qwen2.5-7b-cuad-qlora)。

    推荐理由:原文给出基座、3-shot 与微调三组对照的完整指标,并人工审计幻觉标记,可看清微调带来的召回与校准收益及其代价。

已经到底了