跳到正文
10月19日周一
  1. Reddit · r/LocalLLaMA64

    裸 IPython harness 用 Qwen3.5-9B 在 TB-Lite 上追平生产级 coding agent,工具输出归一化消除大部分波动

    /u/HauntingMoment 在 r/LocalLLaMA 报告,单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身,各 harness 约 25-30% 的调用用于读文件,工具使用更多反映系统提示词而非模型;OpenHands 因默认硬编码 temperature=0.0 最稳定,但同一任务 20 次试验的通过率仍在不同任务间大幅波动。

    推荐理由:作者用多 harness 对照实测定位了小模型 agent 波动的来源,并给出约 40 行正则归一化工具输出这一可复用的降噪方法。

  2. Reddit · r/LocalLLaMA32

    别忽视 Nemotron 3.5 Super VL:LocalLLaMA 用户实测冷门知识问答表现最佳

    Reddit r/LocalLLaMA 用户以《Anno 1602》游戏规则等冷门知识(禁用联网搜索)对比 6 个模型,Nemotron 3.5 Super VL 120B-A12B 错误最少,仅出现少量幻觉,其余模型(Gemma 4 31B IT QAT、DeepSeek v4 Flash Vision Exp、Qwen3.5-122B-A12B、Qwen3.8-flash-next、GPT-OSS 120B)均幻觉出错误升级条件或游戏版本。该模型 NVFP4 量化版在双 RTX 5060 Ti 16GB + 双 48GB DDR5-6000MHz 上以 llama.cpp 运行,生成约 8-10 t/s、处理约 150-170 t/s。

  3. Hugging Face · 新模型:abliterated50

    RTX 3080 20 GB 实测 Qwen3.8-27B 两个 abliterated 量化版的 MTP 速度与困惑度对比

    作者在单张 RTX 3080 20 GB 上用 llama.cpp 实测了 Qwen3.8-27B 的 Huihui 与 Heretic RVN 两个 abliterated 量化版本,仓库不含模型权重。结果显示 RVN IQ4_XS 在 MTP 下最快(代码 69.4 tok/s、散文 58.2 tok/s,比 Huihui 快约 5–7%),德语困惑度略低,通过 88.6K 上下文与全部 6 项工具调用测试,但多占 1.1 GB 显存导致 n-max 3 无法启动;MTP 草稿深度 n-max 2 是综合最优设置,MTP 对 prefill 无帮助反而约损失 5%。

10月16日周五
  1. Reddit · r/LocalLLaMA29

    无人谈论的 Qwen Flash Next:潜在 SOTA 级 Q2 量化

    Reddit 用户实测 Agantai 的 GYRO 系列量化 GYRO-M,称其在 KLD、top 1 和体积上同时优于 ISTA-lab 的量化。3 天测试中未出现循环问题,最长自主运行 2-3 小时,速度与 ISTA 2 bit 量化相当,整体接近 ISTA q3 水平但体积更小,仅在西里尔文本编辑上偶有出错。

10月14日周三
10月10日周六
  1. GitHub · 去对齐工具与仓库52

    societysim 开源:用多厂商 LLM 智能体玩狼人杀来测量说谎与识谎能力

    polter-dev 发布 societysim,一个让不同厂商的 LLM 智能体互玩狼人杀的开源框架,记录每步行动和私有推理日志,测量各模型说谎、识谎、说服与合作的水平。引擎为确定性 Python 实现,规则为 7-9 人的 Ultimate Werewolf;标签由自 tagging、TypeSafe 的 Jev 分类器和游戏事实三种来源生成,报告含 Wilson 置信区间、OpenSkill 评分、Brier score 和检测 AUC。参与模型包括 Qwen3-235B、Llama-4-Maverick、gpt-oss-120b、DeepSeek-V3.1 及 Gemini 和 GPT 系列闭源模型,日志数据集与排行榜将发布在 Hugging Face。

  2. Reddit · r/LocalLLaMA43

    Aplomb 1 登顶 Hugging Face 官方 Typed Decisions 榜单

    5.3B 参数的 Aplomb 1 登顶 Hugging Face 官方 Typed Decisions 概率决策基准,KL from gold 为 0.123,Brier score 为 0.065,均居榜首,低于约为其五倍规模的 27B 第二名模型(KL 低 40%)。模型支持文本、JSON、图像、视频和音频单次输入,上下文达 1M tokens,API 上 1M-token 文档约 3 秒读完,输入价格 $0.02 per 1M tokens 且输出免费。权重已在 Hugging Face 开源。

10月9日周五
  1. Reddit · r/LocalLLaMA42

    LocalLLaMA 讨论:NVFP4 多卡运行方案与 Qwen 3.8 对比体验

    Reddit r/LocalLLaMA 用户讨论多 GPU 上运行 NVFP4 量化的工具选择:作者目前只能跑通 unsloth,认为 vLLM 加载太慢,TensorRT-LLM 问题太多。对 Qwen 3.8 的 NVFP4 版初步测试中,代码表现一般,但视觉和 tool calling 印象深刻,复杂场景略优于 Q6 gguf。在 2x5060ti 上以 197k ctx 运行速度出色,模型加载仅需 4-6 秒。

10月8日周四
10月6日周二
10月4日周日
  1. Hugging Face Blog74

    微软与 Hugging Face 发布 ThinkingBox 基准,以数据库终态评测 Agent 并要求 20 次重复运行

    Microsoft 与 Hugging Face 联合发布 ThinkingBox 及 ThinkingBox-Bench,通过隔离 MCP 会话检查 Agent 留下的终端数据库状态和副作用,而非只看工具调用或回复文本,覆盖 507 个有状态业务工作流,每任务独立运行 20 次,已通过 OpenEnv 上线 Hugging Face。

    推荐理由:基准不看工具调用而看数据库终态,18 个模型在 507 任务上跑 20 次,区分了单次成功与可依赖性,并给出每次可靠任务的成本对比。

9月30日周三
  1. Hugging Face Blog70

    Hugging Face 推出 Open TTS Leaderboard:多语言 TTS 与语音克隆的可扩展评测

    Hugging Face 推出面向开源与多语言 TTS 的 Open TTS Leaderboard,用客观指标替代难以扩展的 arena 式人工投票。评测维度包括基于 Qwen3 ASR 的 WER/CER 可懂度、H200 GPU 上的 RTFx 与 TTFA 速度、以及 WavLM 嵌入余弦相似度(SIM)衡量说话人相似度,将单模型评测从数周缩短到数小时。

    推荐理由:用 WER、SIM、TTFA 等客观指标把评测周期从数周缩到数小时,并解释了开源模型在 arena 榜单上代表性不足的原因。