新闻、仓库与研究，按时间排列。
/u/isoos 与朋友发布了自托管模型的首轮往返翻译基准结果，涵盖 8 个语言对、12 条测试提示词，用嵌入向量距离打分并惩罚不一致与指令遵循错误，测试了 15 个模型的不同量化版本，结果见 selfhostedintelligence.com。观察包括：16GB VRAM 足以自动化翻译；推理模式对 Qwen 模型提升巨大；大型 MoE 模型最低量化档与上一档差距明显；abliteration（huihui quants）对大模型通用能力的影响远小于小型稠密模型。测试在 1-2 台 Strix Halo 上运行。
推荐理由：实测覆盖 15 个模型不同量化版本，并给出量化层级与 abliteration 影响的具体观察，可按硬件条件选型。
Google Developers Blog 发布智能体评测实践指南，指出仅靠终端跑几个提示词的 vibe check 无法发现智能体重试循环、工具参数幻觉等隐性失败。
一位 LocalLLaMA 用户用 MCP host 和 ML-Flow 追踪本地模型工具调用后发现，Gemma4:27b 更新后工具调用失败从大量降为零，而 Gemma e2b 和 qwen2.5 仍频繁失败，问题多出在默认工具模板与 harness 配置不匹配。文件名中使用括号也会破坏部分工具。作者认为比较开源模型优劣时需先排除 harness 与任务差异。
Reddit r/LocalLLaMA 用户实测发现，Strata 模型即使量化到 27B 3.8 UD Q4 仍感觉智能不足，难以编写基础 3D 游戏和 2D 平台游戏，且比 27B 需要更多 shots 和 compactions。Swift 1.5 27B 同样表现更差，DeepSeek Flash V4 在 Q2 量化下没有这种明显下降。结论：不赶时间建议用 27B Q4（慢 3x 到 5x）或常规 flash 模型，追求极速编码可选 Next flash strata。
/u/MarkoMarjamaa 用 Project Lönnrot 三本芬兰语书、Project Gutenberg 同源英语书和 wiki 语料，实测 Qwen3.8 Flash Next Unsloth 各量化档的 KLD 与 top-1% 差异。结果显示芬兰语受量化影响明显，Q8 时 KLD 已远超 0.02 的可察觉阈值；其自测的混合（chimera）模型把 Unsloth Q4 换成 Q8 级 n-gram，效果介于 Q4 与 Q5 之间，且 n-gram 从磁盘读取不占内存。原文链接：https://www.reddit.com/r/LocalLLaMA/comments/1x6kw7k/
Hugging Face 上发布 Qwen3.5-9B-Abliterated-V2，提供 BF16 与 GGUF Q8_0 格式，abliterated 处理后零拒绝且保留深度推理，可在 RTX 5080（16 GB）上运行。GSM8K 对比测试显示，其与原版 Qwen3.5-9B 均达 90.0% 精度，而 Xiaomi MiMo-V2.6-Distill 以 150-400 tokens 的精简推理快 7.4 倍；原版此前失利源于输出被截断在 1,024 tokens，给予 16,384 tokens 后即全部解对。
Reddit 用户 /u/Fancy-Snow7 对可装入 16GB 显存的 Qwen3.8 27B 量化组合计算 KLD 与困惑度，覆盖 21 个模型、9 种 KV 量化共 189 组基准。结论是 q5_1/q5_1 几乎总是优于 q8_0/q4_0 或 q4_0/q8_0，而后两者差异很小；模型量化升一档跑 q4_0/q4_0 在 KLD 上几乎总优于低一档配 f16/f16，建议先选最高可用模型量化，再视余量提高 KV 量化。作者提醒该结论适用于较低量化，从 q6 升到 q8 时提高 KV 量化收益可能更大，且不适用于 Gemma 等需 f16 KV 的模型；Bonsai 和 swift 量化因属微调，KLD 差异显著，计算意义不大。完整基准数据见评论区。
论文 Significant According to Which Judge?（在审）发布代码、判定输出与结果，测量用 LLM 相关性判定替代人工标注时检索实验显著性结论的变化。
jocohen1990 在 GitHub 发布 llm-eval-project，一套针对 RAG 财务问答助手的端到端评测框架，用虚构公司 Kestrel Freight Analytics 的四份文档构造 golden 数据集，含规则 grader、LLM judge 和 CI 质量门。框架用变异测试、人工盲标校准（Cohen's kappa）和重复运行一致性来验证 judge 本身，judge-v2 在 50 条人工标注上 kappa 从 0.83/0.59 提升到 0.87/0.59，57 个植入错误全部被捕获。项目还测出相隔 9 天同一请求有 6/32 答案措辞漂移但无判定翻转，提示单次评测分数差异不能直接当作回归证据。
推荐理由：作者用变异测试、盲标校准和重复运行一致性来验证 LLM judge 本身，还测出相隔 9 天的答案漂移，方法可直接迁移到自己的评测流程。
LiquidAI 的 LFM2.5-24B-A2B 在 Pi Agent 中表现可靠，作者用它替换 Ornith 1.5-35B 后运行良好。在 AMD W7900 上经 llama.cpp（ROCm）实测持续约 95 tps，Q8 量化加 128k 上下文占用 30GB 显存，机械性长任务稳定通过。
中科院研究团队提出 Doc2Harness，首个直接评测 LLM 智能体长程 harness 工程能力的确定性两阶段基准。在 328 个测试用例上对 19 个前沿模型各做 3 次独立构建，GPT-6 Astra 以 53.05% 通过率居首，最弱模型为 27.44%；即使最强模型也失败近半数用例，失败集中在跨模块功能划分上。
一篇 arXiv 论文提出渐进式验证框架，解决 LLM 智能体零样本工具选择中的“迁移有效性缺口”——语义相关的工具在迁移后仍可能不满足功能或上下文要求。该框架在语义相关性之外引入基于端点的功能兼容性与任务条件上下文证据，在跨域和跨数据集迁移中持续提升能力排序，消融实验证实两类验证的互补贡献。
作者发布 MultiPartyTurnBench（MPTB），包含 240 段合成、信道分离的 2 至 5 人对话和六种交互类型，评测话轮结束（EOT）检测与打断（INT）检测两项任务。基线模型 EOT 召回率达 82.5-92.6%，但五个全双工智能体在选择性打断处理上接近随机水平（46.9-54.7%），Gemini-3.8-Live 对 97.7% 的附和信号让出话轮，MiniCPM-o-4.5 仅响应 1.4% 的真实打断。论文指出选择性话轮控制仍是多方语音交互的未解难题。
推荐理由：基准把真实话轮转换与易混淆的非事件分开评测，并给出五个全双工智能体在选择性打断上的具体短板数据。
arXiv 论文提出 HICO-Bench，包含 180 个日常协调场景，通过程序检查 Feasibility、LLM judge 检查 Integrity 来判定 Verified Success。测试 13 个 LLM 发现 36% 被评为高目标完成度的对话无法通过 Verified Success。论文还提出 PaCPO 方法，将 Qwen3-8B 的 Verified Success 从 20.4% 提升至 28.3%。
研究者推出 CSWBench，通过 Focused Narrative 与 Extended Narrative 两种设置评估 LLM 在创意写作中的语境敏感语码转换能力，并提出含事件级与全文级评估的 CSWEval 框架。对 12 个 LLM 的测试显示，模型具备语码转换能力但表现不均，多语言文学整合上的模型差异最明显。
arXiv 论文（arXiv:2610.20417）对 DeepSeek-V4-Flash、GLM-5.3-Flash 和 GPT-6.1-Sol 在 354 个事件活动语料上做预注册冻结评测，发现 micro precision 仅 0.03-0.34、ECE 0.53-0.94，旗舰模型也未消除差距。主要失败不是幻觉：抽样标注回推显示 65.6% 为背景提及、19.9% 为 gold 范围缺口，仅 1.2% 无依据候选。自洽性频率分层可在全部六个测试格通过预注册精度增益门槛，但 45 个关系级反事实显示单句误归属即可翻转 95.6-100% 的高置信判断，结论是置信度分层只能用于排定复核优先级，不能当真值。
推荐理由：论文用预注册冻结评测拆解了 LLM 长文档实体抽取的失败构成，发现主要问题不是幻觉而是背景提及，并给出置信度分层的部署边界。
研究者提出 semCER，在保留 CER 对齐与分母的基础上，由 LLM judge 为每个字形编辑赋予严重度权重，无需分词。该指标在英语、越南语、中文上逐编辑追踪读者评分，并在 CER 与 semCER 分歧的样本上更常获得读者支持；团队发布了 6100 万条 judged edits、汇总读者评分及蒸馏后的 scorer。
研究者推出 ChronoCulture 基准，基于 72 个国家的纵向调查数据构建 10,360 个时间配对，以人口回答分布为真值评估 LLM 的文化感知。在六个 LLM 上的测试显示，模型能预测某国某时点的态度，但难以捕捉态度随时间的变化，不同年份的预测结果趋于接近；在提示词中指定年份也几乎无改善。
一项 arXiv 研究审计了 10 个开源模型在 8 种语言下的刻板印象偏见，发现全部 70 个模型-语言组合的平均偏见分数都低于英文水平，但低平均分并不等于更公平：同一测试项的英文分数与其翻译后分数的相关性仅 0.23（忠实翻译为 0.27），远低于英文改写间的 0.48。研究还指出三种会悄悄抹除偏见信号的常见流水线错误，并开源了代码。
arXiv 论文提出 PerSo 基准，基于 Reddit ChangeMyView 的真实说服对话，用 LLM-in-the-loop 流水线构建评测任务并经人工标注验证，同时评估 LLM 的认知智能与行为智能。对多个 LLM 的评测显示，性能总体随模型规模提升但在不同维度表现不一：最强模型在行为任务上略超最佳人类，而认知任务上最佳人类参与者仍领先。
一项预注册复现实验向 gemini-3.1-pro-preview 发送相同的 162 个请求（英、爱沙尼亚语、芬兰语各 54 个问题），分三波在约十小时内完成，并于 20.3 天后复测。基于九次历史回答的品牌提及率预测取得 Brier 0.0281、log loss 0.126，优于品牌历史（0.104）与总体比率（0.234），且在全部九个问题族中成立（p = 0.0039）。8 小时波中 202 个全票一致的单元在 D1 有 194 个未变、无一反转，表明品牌提及计数具有可操作的持久性。
arXiv 论文指出多模态大语言模型（MLLM）机器遗忘评测存在三大陷阱：缺少 heldout 评估区分概念级遗忘与实例级过拟合、依赖合成微调知识而非预训练真实知识、以及用相同训练设置不公平地比较不同遗忘方法。作者提出基于真实知识的 GEMMU 基准，重新评估代表性遗忘方法后发现显著泛化差距，并挑战了此前基准的结论。
研究者发布 J-tau，首个公开的日语基准，用于评估在交互式客服场景中使用工具的 LLM 智能体。该基准通过对 tau-bench 进行机器翻译、实体适配和人工审校实现日语本地化，并修复了原 tau-bench 中的无效任务和分数聚合错误两类缺陷。实验显示 J-tau 比简单机器翻译版本产生更少的评估错误。
BANGLAPLAN 基准发布，包含 1,000 道基于孟加拉国日常生活的约束规划与决策题，覆盖 10 个任务族、4 种语域和 8 种结构化 JSON 答案类型。评测 11 个开源与闭源模型配置显示：GPT-6.1 Sol 达 98.7%，Qwen3.5-27B（thinking）达 80.3%，直答配置最高仅 30.9%，11 个中 7 个低于恒答 infeasible 基线；难题主要降低规划构建准确率，不可行性检测更稳健。
研究者提出 MAPLE 框架，用于刻画激活引导、解码调整、提示词等知识提取增强（KEE）技术如何影响大语言模型的参数化知识提取。该框架在表层、概率和超出采样层面区分答案恢复与破坏等效应，并在 OLMo2、Qwen2.5 和 Llama3 三个模型族上评估了六种 KEE 技术，揭示出各技术间不同的效应与权衡。
Liang-Hsun Huang 在 arXiv 发布 OpenTWBench，一套评测大语言模型台湾领域知识的开放套件，含 tw-exam-bench 与 tw-formosa-bench 两个基准。前者基于台湾考选部十五年国家考试开放数据，含 148 科目共 255,854 道四选一题，剔除 2,180 道依赖图片的题目后用 253,674 题计分；后者含 1,696 道关于台湾日常与当代生活的精选题，以冻结的七模型池校准至及格边缘（46.9-74.6%，中位约 54%），leave-one-out 实验显示筛选几乎不偏移模型排名。目前公开榜单已有 108 个模型，22 个超过该区间上限，最好成绩 91.6%。
推荐理由：论文用同一批题目量化了评测装置本身对分数的影响，答案抽取方式一项就把准确率从 20.8% 拉到 93.9%。
Munim, Inc. 的 MV2 在 GitHub 发布 forecast-answer-formats，首个跨工具基准，检验部署的预测机器人提取器对 LLM 有效答案格式的读取、丢弃与误读情况，覆盖 Metaculus 的 binary、multiple-choice 和 numeric 三类问题。对比 mv2-forecaster 0.1.7 与 Metaculus forecasting-tools：binary 20 例中两者分别 14 与 13 例正确，multiple choice 11 例中 7 对 6，numeric 8 例中 5 对 5，两类提取器各有失败模式、互不占优。语料库以 CC BY 4.0 发布，代码采用 Apache-2.0。
Yilin Jiang 在 arXiv 发布论文（arXiv:2610.19659），提出用读者模型站在请求方立场评估 LLM Agent 回复的可用性。跨 7 个模型族的 8 个模型中，480 条回复有 54% 不可用，最好的模型失败率仍达 30%，失败多为指向请求方未见过的材料或使用 Agent 自造的标签。在回复中明确要求可将失败率从 0.52 降到 0.43，用第二个模型改写回复可降到 0.36，并经人类标注者盲测确认。
推荐理由：论文提出可量化的回复可用性指标，并给出追加一条消息或调用改写模型两种降低失败率的做法。
ReFormBench 是一个以模型对同一问题的无约束响应作为格式基线、评测大语言模型格式纠正稳定性的基准，包含源自 910 个源问题的 5,000 个三约束测试实例，覆盖 66 种格式化特征。在十个模型上，EMCR 指标介于 34.04% 至 64.72%，最高的三目标纠正估计为 50.02%，合规与纠正得分产生不同排名。在 Qwen3.5-9B 上的提示词实验同时提升了两个指标，代码与数据已开源。
论文提出 RuleTrek，一个面向复杂场景的多领域智能体规则推理基准，通过规则图谱构建并增量组合子场景，评估规则识别（RI）、规则推导（RD）与端到端规则推理（E2E）三项能力。对 11 个前沿 LLM 的实验显示，RI 与 RD 最高分仅 62.47% 和 60.43%，E2E 得分在 26.97% 至 55.29% 之间，代码与数据集已公开。
研究者推出多模态基准 LabOPBench，包含 756 道经独立评审的专家题，覆盖有机合成与材料科学，按题目专属评分规则评估。8 个多模态模型整体归一化得分为 28.8-45.8%；在 100 题对照子集上，最强模型平均超过本科生但低于博士生。专家分析发现 Evidence Misreading 与 Evidence-Decision Conflict 是主要错误模式。
ReproBAIT 评测衡量编程智能体在沙盒、无网络、有限信息条件下设计、实现并训练已发表生物 AI 工具的能力，覆盖 ProteinMPNN、RFdiffusion3 和一个闭源分子设计工具，并按 held-out 数据上的表现打分。结果显示部分工具复现能力可观，但高度复杂工具表现有限，且存在与记忆化一致的中等程度证据。作者提醒工具开发者公开信息可能削弱工具商业价值或影响双用途受控访问策略。
arXiv 论文提出 Paired Fallback Robustness（PFR）测试，评估类型化决策模型（TDM）在请求路由、模型选择等场景中切换常规与 fallback 选项的可靠性，以及同一规则在逻辑等价定义下决策的一致性。在三个 benchmark 上对开源决策模型、不同架构与参数规模的对照实验发现：正确识别类别并不能可靠转化为正确的 fallback 选择，逻辑等价的规则表述也会导致模型决策出现明显分歧。
Reddit 用户 /u/Tx8aker 对 AMD MI350P 与 RTX Pro 6000 (Blackwell) 跑 Qwen3.8-27B 推理对比，称 MI350P 开箱表现极差，经内核与调优优化后性能提升超过 2 倍。在 3k 输入 8 并发、50k 输入 20 并发、200k 单用户三档冷启动测试中，MI350P 输出吞吐分别为 889/130.6/79.8 tok/s，对 RTX Pro 6000 的 596/50.4/45.1 tok/s 达 1.49x/2.59x/1.77x，TTFT 也全面更快；作者指出 MI350P 显存利用率仅解锁 50%，仍有提升空间。
推荐理由：作者实测前先对 MI350P 做了内核调优才跑分，并给出三档输入长度的完整数据，比开箱对比更能反映真实差距。
一位 Reddit r/LocalLLaMA 用户在 128GB M1 Ultra Mac Studio 上对比 DeepSeek-V4 Flash 与 Qwen 3.8 Flash Next 的使用体验。DeepSeek-V4 的 benchmark 成绩略低于 GPT 5.5 high，Flash Next 略高于 5.4/5.5 xhigh，但 Flash Next 完成任务耗时明显更长，大约 5 个任务的时间才能换来 1 个任务的完成度。该用户仍在使用 Qwen 3.8 27b，因其占用资源更少，可腾出机器做图像生成等其他工作。
同一提示词下，Qwen 3.8 27B 与 Flash Next 125B 分别构建实时网络威胁情报平台（FastAPI、异步摄取、WebSockets、Three.js 地球）。两者均未满足完整需求，但 27B 的代码库更值得修复延续：Flash Next 测试更多（34 通过 vs 16 通过），却出现 Feodo 适配器 5 条记录解析 0 条、DShield 误读列、重复摄取致 count=100 变 200 等数据契约错误。
同一提示词下对比 Qwen 3.8 27B 与 Flash Next 125B 构建实时网络威胁情报平台（Python、FastAPI、WebSockets、Three.js 地球仪）。两者均未完整满足提示词；Flash Next 125B 的 pytest 测试 34 通过、27B 为 16 通过，但 Flash Next 多个核心数据契约损坏，如 DShield 适配器把子网前缀 24 当作活动计数。作者认为 27B 的提交更值得修复和继续构建，并强调这是单次产物对比而非受控能力研究。
Reddit r/LocalLLaMA 用户用 evalscope 对比 Qwen3.8-Next IQ3_S（MI50 32GB）与 Qwen3.8-27B UD-Q4_K_XL（RX 7900 XTX 24GB）。166 题总成绩 Next 151 对 27B 145，AIME26、IFEval、BFCL v4、LiveCodeBench v6 均略胜，但 14 题单解差异 sign test p=0.18，仅属倾向而非定论。速度上 27B 达 47.9 tok/s，Next 为 36.8 tok/s。
Reddit 用户实测 Gemini 4 Argon，在 NSFL 场景中表现出超预期的高暴力描写能力，对话真实自然、摆脱机械的完美腔调，还能处理 non-con 与性暴力内容。用户称其提示词缓存命中率达 90%，通过 Google Cloud 最低充值获得的 10 美元额度即可低成本调用 API。
Reddit r/LocalLLaMA 用户称 Breezeblue-tts-2 是目前最好的本地 TTS 模型，效果胜过 moss tts 1.5，但采用非商业许可，免费使用场景下 moss tts 1.5 仍是最佳选择。作者对比后认为 omnivoice 达到其约 80% 的水平，速度为 2 倍且内存占用更低。