跳到正文
  1. Hugging Face Blog59

    Hugging Face 博客预览 VocabX 方法:按成本而非频率特化词表,将葡语作文批改器推理成本降低 77%

    Dharma AI 在 Hugging Face 博客预览 VocabX 论文结果:按每个 token 的成本而非频率重建词表,在不改基座模型、数据和训练配方的前提下,将基于 Qwen3-4B 的葡萄牙语作文自动批改器实测推理成本降低 77.0%。响应平均从 350 降到 101 个 token,bench 分数从 0.703 升到 0.810,LM head 从约 152,000 行缩到约 65,000 行;在 5 个公开领域和 Qwen3、Llama-3.1、Gemma-3 三个模型族的 15 种组合中,压缩率和估算推理成本均领先 FVT、MWT 和 in-place BPE 三个参照方法。

    推荐理由:作者用同一基座、同一训练配方做对照实验,把成本按读写分别计价,方法思路可迁移到其他单一领域的专用模型。

  1. arXiv · cs.CL52

    arXiv 论文:让医疗设备文档评估中大语言模型的每个阶段都确定性可复现

    arXiv 论文 arXiv:2610.21300 研究如何让医疗设备法规文档评估中每个环节确定性可复现。对十四个商业模型部署重复发送同一请求,所有部署至少有一个请求结果不一致,十二个的标签发生变化;降低推理量未减少差异,注入检索段落仅对最小模型有效,同一开放权重模型是否可复现取决于服务方式。作者构建了从文本提取、OCR、分块、嵌入、索引、检索到推理全链路确定性的流水线,在血糖仪和输液泵文档上跨重跑、中断、编辑、同型号 GPU 机器和不同日期均返回字节级相同输出;OCR、嵌入与近似检索在服务方式不固定时仍有差异,输出随 GPU 型号和推理引擎调度设置变化,因此后者应记入配置。

    推荐理由:论文给出了十四个商业 LLM 部署的可复现性实测数据,并提出一套逐阶段确定性的文档评估流水线,可直接迁移到审计场景。

  1. GitHub · 灵魂体仓库60

    PincerCraft 开源 Minecraft Agent harness 项目,实测降低虚假完成率

    appendix0 发布 PincerCraft,一个基于 Mindcraft 和 Mineflayer 的 Minecraft harness 项目,用于研究 Agent 在开放世界长时程任务中的可靠性,harness 负责世界状态观测、动作前置条件检查和独立于 Agent 自报的完成验证。在使用 Claude Sonnet 4.6 的 356 次实验中,完整 harness 配置验证成功率为 67.3%、虚假完成率 3.8%,而关闭 harness 组件后为 29.4% 和 45.1%;项目基于 Node.js 20 与 Java 版 Minecraft 服务器,MIT 许可开源。

    推荐理由:作者用同一模型对比了完整 harness 与关闭组件的结果,给出了验证成功与虚假完成的具体比例,方法可迁移到长时程 Agent 可靠性研究。

  1. GitHub · 灵魂体仓库66

    MaxionBench 发布可复现 LLM 服务与 Agent 评测框架,实测上下文裁剪策略对成本与缓存的影响

    htang7415 在 GitHub 发布 MaxionBench,一个针对 LLM serving、RAG 和 Agent 的可复现决策评测框架,对比 llm-d 路由的自托管 vLLM、受管 Gemini API 及其混合方案。v0.4 基于 GitHub Copilot 生产流量(301k 会话、中位提示 57k token)实测五种上下文策略:仅 summarize 在校正后判分下准确率显著更高(+20 点),裁写历史会丢失 Gemini 隐式前缀缓存,而缓存感知变体保留约一半缓存、成本比 full 低 17-29%;v0.5 将策略移入 Go 网关后,Gemini 计费 token 减半且准确率未降。

    推荐理由:作者用带置信区间的重复实验量化了不同上下文策略在准确率、API 成本和服务端 KV 压力上的取舍,方法可复用。

  1. GitHub · 去对齐工具与仓库62

    SLM-agent-Lab 实测小型模型工具调用能力的压缩极限与失败模式

    作者开源 SLM-agent-Lab,用 4 个确定性工具、300 个精确答案任务和 13 类失败分类法评测小型工具调用模型。在 150 任务子集上 Granite 4.0 350M 达 58.0%、Qwen2.5 0.5B 仅 31.3%,多步链式任务两者都接近崩溃(8% 和 4%),OOD 任务使 Granite 从 65.5% 跌至 29.0%。

    推荐理由:实测给出 Granite 4.0 350M 与 Qwen2.5 0.5B 的工具调用失败分布,并量化到 int4 时格式保真才是精度下限。

  1. GitHub · 去对齐工具与仓库62

    dzaragoza 开源 LLM-benchmark:本地小模型选型与基准测试工具

    dzaragoza 发布 LLM-benchmark 仓库,配套独立研究 Small Models, Big Claims(DOI: 10.5281/zenodo.22855666),测量在集成 GPU 上经 llama.cpp Vulkan 后端从系统内存运行的小型 instruct 模型。

    推荐理由:作者把整套基准流程做成一条命令加两个离线选型页,读者可复用其量化阶梯与读速门槛方法来挑选本地小模型。

已经到底了