知规则难应用：语言模型在传统中文八字命理上的评测
一项 arXiv 研究用 3,000 道中文选择题（14 个理论类、11 个案例类）评测六个大语言模型在传统八字命理上的表现。
#能力评测
新闻、仓库与研究，按时间排列。
arXiv · cs.CLAI 评分3838 arXiv · cs.CLAI 评分5050 MedicalHarness：LLM 与 Agent 框架在医疗任务上的受控评测
arXiv 论文提出 MedicalHarness，通过 MedicalHarnessBench 的 107 个任务（覆盖四个领域）对五个开源权重模型与五种 agent 框架进行受控评测，并用 MH-Lab 逐一关闭上下文管理、规划或工具暴露来分析单一机制的作用。结果显示框架及其与模型的交互约占结果方差的四分之一，且没有单一框架在所有模型和任务上最优。代码与数据已公开。
Reddit · r/LocalLLaMAAI 评分5656 
双 AMD MI50 上 llama.cpp 实测：ROCm 10.2 对比 Vulkan Mesa 26.2
作者在双 AMD Radeon Instinct MI50（gfx906，合计 32GB 显存，功耗限制 145W）上对比了 llama.cpp 的 ROCm 10.2（TheRock tarball。
Reddit · r/LocalLLaMAAI 评分3434 
Qwen3、Kimi K2.6、Llama 3 70B、GPT-OSS 120B 与 Claude、GPT、Grok、Gemini、DeepSeek、Mistral 展开实时世界大战对决
一名开发者在 3D 地球上构建实时战略游戏，任何 AI 可通过 HTTP API 或 MCP 指挥一个国家，十款模型将进行一场 15 分钟的实时战争直播。每个模型每约 12 秒收到相同 JSON 状态和规则文本，思考内容延迟 30 秒展示。
GitHub · 灵魂体仓库AI 评分1515 linny006/llm-eval-tracker：GitHub 上的 LLM 评测项目追踪清单
该仓库汇总了近期 GitHub 上与 LLM 评测相关的项目，涵盖 promptfoo、Arize-ai/phoenix、Giskard-AI/giskard-oss。
GitHub · 去对齐工具与仓库AI 评分5959 Metrum AI 开源 Bench CLI 1.5.3，支持 LLM/VLM/ASR/图像生成端点的负载与性能测量
Metrum AI 发布 Apache-2.0 许可的 Bench CLI 1.5.3，为 OpenAI 兼容的 LLM、VLM、ASR 和图像生成端点提供负载与性能测量，四种模态均已在代码中支持，各模态是否经真实服务栈验证由 claims ledger 逐项记录。
GitHub · 灵魂体仓库精选AI 评分6767 Derailment 开源工具：用分层诱导测量 LLM 的认知扭曲反应
GitHub 项目 Derailment 发布，这是一个分层测试框架，通过操纵注意力、显著性、效价、唤醒等变量诱导 LLM 出现类似 ADHD、精神病、抑郁、焦虑等 18 种认知扭曲，并用统一探针脚本对诱导管线与健康基线做 A/B 评分。
推荐理由：原文给出真实模型与离线模拟器的对照数据，显示多数认知扭曲诱导难以迁移到真实模型，仅少数效应成立。
GitHub · 灵魂体仓库AI 评分4444 PlainJane20/jev-agent-router：Jev、Claude Haiku 与关键词路由的准确率与延迟实测
该仓库用同一标注数据集对比三种客服消息路由方案：关键词基线、Claude Haiku 与 TypeSafe 的 Jev 决策模型。在 111 条难消息上（3 次运行），Jev 准确率 98%、中位延迟 116 ms，Claude Haiku 99%、607 ms，关键词仅 42%；两者准确率接近，Jev 约快 5 倍。成本未测量，结果基于单机顺序调用。
GitHub · 去对齐工具与仓库AI 评分3737 llm-autoeval：在 Google Colab 中自动评测 LLM 的开源工具
llm-autoeval 是一款在 Google Colab 中自动评测 LLM 的工具，无需本地安装，全部在云端运行。它提供自动化评测、可自定义评测指标和易用界面，用户在 Colab 中新建 Notebook、导入应用并配置模型后即可运行评测并查看结果，问题可通过 GitHub Issues 和 Discussions 获取支持。
GitHub · 去对齐工具与仓库精选AI 评分6565 rafaelKyra 发布 local-llm-fieldbook：本地大模型智能体编码实测笔记仓库
rafaelKyra 在 GitHub 发布 local-llm-fieldbook 仓库，公开本地大模型在智能体编码场景的实测数据与评分工具。仓库保存 17 个模型构建在 14 项编码任务上的答案（单次运行），附评分脚本 harness/score_grid.py，复算可精确复现已发布的每任务通过数（如 task 1: 3/17）。
推荐理由：作者公开了17个本地模型在14项编码任务上的原始答案与评分脚本，任何人可复算，并区分了测量与主观笔记。
Reddit · r/LocalLLaMAAI 评分4444 
Kolibri-1 无需微调自主玩 Breakout，每步决策延迟低于 25ms
Aleph__Alpha 的 Kolibri-1 在无微调的情况下自主玩 Breakout，实验测试其在约束条件下的结构化输出能力。推理针对动作概率优化，每步决策约 25ms，无文本生成，采用开放权重。
Reddit · r/LocalLLaMAAI 评分5353 
CivBench 用 Civilization V 评测 LLM：GLM-5.3 领先 Opus-5.5，Qwen-3.8-27B 表现亮眼
作者发布受控版 CivBench，让 LLM 在 Civilization V 中担任战略家，测试长周期决策能力。每局固定三个相同开局，八文明中两个由被测 LLM 控制高层策略、六个由标准 Vox Populi AI 执行，结果显示 GLM-5.3 领先 Opus-5.5，Qwen-3.8-27B 表现出色。
GitHub · 去对齐工具与仓库精选AI 评分6363 
Jiaming Yue 实测 Qwen3.5-9B、Qwen3.8-27B 与 gemma-4-26B-A4B-it 本地工具调用能力
作者 Jiaming Yue 发布可复现的本地开源模型工具调用评测项目，用官方 BFCL 数据和逐条评分代码对比三个本地部署模型，三个模型各完成全部 3641 个单轮用例。
推荐理由：作者用官方 BFCL 数据和逐条评分代码实测三个本地开源模型的工具调用表现，并公开全部原始输出与复现脚本，便于核对与复跑。
GitHub · 灵魂体仓库精选AI 评分6363 ese08 开源 llm-latency-bench：跨硅基流动、火山方舟、OpenRouter 的 LLM API 延迟对比工具
ese08 在 GitHub 开源 llm-latency-bench，用 GitHub Actions 每 15 分钟采样一次、连续运行一周以上，横向对比硅基流动、火山方舟、OpenRouter 上 5 个模型配置的延迟与成本。工具设计了空载对照组剥离跨境链路噪声，并针对缓存污染、火山 fast 档静默降级、握手计时偏差等陷阱写入校验逻辑，一周总成本约 ¥15~30。
推荐理由：原文把缓存污染、静默降级、握手计时偏差等易错点逐一写进代码和校验流程，读者可以照搬这套方法去测自己关心的 API 延迟。
GitHub · 去对齐工具与仓库精选AI 评分5757 
Hadezu 发布 llm-extraction-release-gate 提示词发布门禁工具
Hadezu（Ivan Matiushkin 与 Codex）在 GitHub 发布 llm-extraction-release-gate，一个用于判断新版提示词能否发布的 Python 评估门禁工具，检查严格 JSON、来源引文、逐例回归与候选绝对下限，并以退出码 0/1/2 给出发布决策。
推荐理由：原文区分了聚合分数与关键回归否决，候选提示总体提升仍因单例回归被拦下，发布决策附可查验证据。
GitHub · 去对齐工具与仓库AI 评分5252 Benchmark Heaven 开源：按能力与价格对比各 LLM 的基准聚合工具
作者开源 Benchmark Heaven（原 Model Market Comparison），站点已迁移至 benchmarkheaven.com，旧域名仍可用，仓库代码、数据 schema 与 API 未变。
Reddit · r/LocalLLaMAAI 评分2929 模型发布后的“降智”感受是否只是均值回归？
模型发布后常出现“第一周惊艳、一个月后被削弱”的感受，作者以 Opus 5.5 为例，探讨这是否只是均值回归：把发布周的高光与日常输出比较、损失厌恶、最佳用例耗尽或迭代投入减少都可能造成错觉。作者建议通过盲测 A/B 对比（类似 Arena）来区分真实性能下降与主观感受。
Reddit · r/LocalLLaMAAI 评分4343 1200+ 次 Blender 建模盲测：LLM 与 Agent 框架对比竞技场上线
一位 Reddit 用户发布了一个盲测 A/B 竞技场，让 AI 智能体在 Blender 中建模并由用户投票排名，已积累 1200+ 次运行。测试覆盖 pi、opencode、omp、codex、Claude Code 和 dsh 等框架，对比直接写脚本与通过 MCP 操作 Blender 的智能体，并测试不同推理等级以寻找成本与时间平衡点。
Reddit · r/LocalLLaMAAI 评分2727 GLM 5.3 Flash 与腾讯 Hy3 对比：谁更值得用？
作者在测试后选出两个胜者：GLM 5.3 Flash 和腾讯 Hy3。实测中 Hy3 风格更紧凑但易丢失细节，GLM 5.3 Flash 更精确但风格较平庸；公开 benchmark 上 GLM 5.3 Flash 明显占优。作者就智能体循环、编程、通用助手与创意写作等场景征求两模型的使用者意见。
Reddit · r/LocalLLaMA精选AI 评分6161 M3 Max 36 GB 上四款 MLX 推理引擎实测：Qwen3.6-35B-A3B 达 110 tok/s
作者在 36 GB M3 Max MacBook Pro 上实测 oMLX 0.7.0、Rapid-MLX 0.15.5、Splash 1.2.1 与 MTPLX 2.12.2 四款推理引擎，测试 Qwen3.8-27B-4bit 与 Qwen3.6-35B-A3B-4bit。
推荐理由：作者在同一台 M3 Max 上用统一流程实测四款 MLX 推理引擎，还指出 KV cache 跨重启保留会误导二次跑分。
Reddit · r/LocalLLaMA精选AI 评分6363 小本地模型自写测试实测：77% 的测试套件拒绝了正确代码
作者在 GTX 1660 SUPER 6GB 上用 qwen3-1.7b、qwen2.5-coder-1.5b、llama-3.2-1b、smollm2-360m 四个 GGUF 模型搭建"写契约-写测试-写代码-修复"流水线，6 个编码任务共 785 次调用。
推荐理由：作者用已知正确解法检验小模型自写测试，并修正了统计口径，给出了可复现的流水线与仓库。
GitHub · 去对齐工具与仓库AI 评分6464 Claude 全系模型成本×质量对比分析仓库发布，含交互式报告
作者 Alexandre Gensse 发布 claude-models-value-analysis 仓库，将近期 Claude 模型（Fable 5.1、Opus 5.5。
Reddit · r/LocalLLaMA精选AI 评分7272 airbench.ai 榜单实测：本地模型搭配哪个 harness 差别巨大
/u/dh7net 发布自建基准 airbench.ai 榜单，用真实任务（数学、视觉、电脑操作、编码）实测本地模型与 harness 搭配的能力和速度，参考基准为 Claude Code Opus 5.5 的 100%（14 分 26 秒），本地 zcode/4xRTX6k/glm-5.3-flash-NVFP4 同样可达 100%（31 分 13 秒）。
推荐理由：作者用自建基准实测了多组模型与 harness 的本地搭配，给出同一模型在不同 harness 下得分差距可达 22% 到 96% 的数据。
Hugging Face · 趋势模型精选AI 评分6565 
Liquid AI 发布基于 LFM2.5-VL-3B 的决策模型 d1-3B
Liquid AI 发布 3.1B 参数的多模态决策模型 d1-3B，基于 LFM2.5-VL-3B 后训练，对状态（文本、JSON 或图片）中的一组问题一次前向返回带置信度的类型化答案，零输出 token。Decision Index 0.2.1 得分 48.57，高于所有 4B 和 9B 模型及 Decider 35B-A3B（47.11）；RTX 4090 上单次决策 8 ms，AMD MI325X 上打包 64 个状态吞吐达 1,106/s。它不是聊天模型，适用于路由、分类、审核、reranking、LLM-as-a-judge 等场景。模型卡：https://huggingface.co/LiquidAI/d1-3B
推荐理由：官方给出了完整基准表和各硬件实测延迟，读者可以据此判断这个 3B 决策模型在自己的部署场景里是否划算。
GitHub · 去对齐工具与仓库AI 评分3939 SemantIQ 0.1.0-alpha.2 发布：面向 AI 系统的行为证据基础设施
SemantIQ 0.1.0-alpha.2（Public Alpha 实验版）将原始执行轨迹与 benchmark 日志转化为可验证的实证观察、匹配统计对比、鲁棒性评估和加密封存的研究包，供跨组织复现。
Reddit · r/LocalLLaMAAI 评分5555 双 5070 Ti 上把本地 agent 从 Qwen3.8 27B 换成 Ornith 1.5 35B-A3B：180 tok/s 对 60，自测成绩持平
作者在双 RTX 5070 Ti 16GB + Ollama 的本地 agent 上，把日常模型从 Qwen3.8 27B UD-Q4_K_XL（55-70 tok/s）换成 Ornith 1.5 35B-A3B（Q4_K_M），自建两项测试（9 步长会话和 10 个编码任务）两者均 9/9、10/10，而生成速度约 180 tok/s，约为原来的 3 倍。
Hugging Face · 趋势模型精选AI 评分8383 
智谱发布 GLM-5.3：与 GLM-5.2 同底座，编码与漏洞利用能力大幅提升
zai-org 发布 GLM-5.3 开放权重模型，称其与 GLM-5.2 使用同一 base 模型，全部提升来自后训练。
推荐理由：模型卡逐项列出各基准的评测脚注、采样参数与反作弊措施，并附完整对比表，读者可自行核对编码和漏洞利用成绩的可信度。
GitHub · 灵魂体仓库AI 评分4848 HalloPreach 发布 local-llm-bench：本地 LLM 基准测试仪表盘与 nInfer 远程指标查询页
GitHub 上的 local-llm-bench 项目提供本地 LLM 基准测试仪表盘，支持 llama.cpp、NInfer、SGLang 三种 runtime，UI 采用 vanilla JS + SVG 零依赖、API 为 FastAPI/SQLite 且零 CORS。
Hugging Face · 趋势模型精选AI 评分6868 
DavidAU 发布 Qwen3.8-27B-TURBO 无审查微调版 GGUF
DavidAU 在 Hugging Face 发布基于 Qwen/Qwen3.8-27B 的多阶段微调去审查版 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored 的 GGUF 量化。
推荐理由：作者给出了用 Heretic ARA 方法去审查的拒绝率前后数据，并附各量化档位与 Qwen 官方模型的基准对比，可核验其宣称。
Reddit · r/LocalLLaMAAI 评分4444 GLM 5.3 flash 获 50%+ 性能提升，双 DGX Spark 用户实测优于 DeepSeek v4.0 flash
一位双 DGX Spark 用户实测最新版 GLM 5.3 flash 配方，decode 提升 50-90%，decode 速度超过 DeepSeek v4.0 flash（如 32K 上下文 41.1→44.2 tps），prefill 略降约 10-21%。
Reddit · r/LocalLLaMA精选AI 评分6262 GLM-4.7-Flash 三种量化格式在 Radeon 680M 核显上的 llama.cpp 实测对比
作者用 llama.cpp Vulkan 版在搭载 AMD Ryzen 7 6800H 与 Radeon 680M 核显、64GB DDR5 的 Acemagic miniPC 上，实测 GLM-4.7-Flash 的 MXFP4、Q4_K_M、Q4_K_XL 三种量化（内部 GGUF 头均报告为 deepseek2 30B.A3B MoE）。
推荐理由：作者在 AMD 680M 核显上实测三种量化的速度差异，给出了聊天与长上下文场景各自该选哪个格式的具体依据。
Reddit · r/LocalLLaMAAI 评分3636 LFM2.5 2.6b 与 MiniCPM5 2b 实测对比：小模型智能体任务表现对决
Reddit 用户实测 LFM2.5 2.6b 与 MiniCPM5 2b 两个小模型在带工具的智能体任务上的表现，LFM2.5 2.6b 胜出：在 M1 Air 上 pp 200 t/s、tg 22 t/s，32k 上下文仅占约 2.5GB 内存，参数更多反而更快、内存更省，英语对话也更稳定。
Hugging Face · 趋势模型精选AI 评分6464 
nerkyor 发布 Qwen3.8-27B-Coder390 微调版，修复不停止推理问题并放出十余档量化权重
nerkyor 在 Hugging Face 发布基于 Qwen3.8-27B-EfficientThink 的多轮 SFT 与 RLOO 后训练模型 Qwen3.8-27B-Coder390-EfficientThink，目标是修复原模型已有答案却反复推导直至撞上 94K 上限导致空答案的习惯。GPQA 178/198、MMLU 450/500、LCB 90/100（静态 FP8，原模型为 177/444/83），94K 截断从 GPQA 4 降到 1、LCB 13 降到 3。仓库提供 BF16、静态 FP8、NVFP4、INT8、INT4、GGUF Q2 至 Q8_0 等多档权重，均含内置 MTP，支持 SGLang 免补丁加载，并给出 DFlash2 与 MTP 两种投机解码的测速建议。
推荐理由：从模型卡给出多档量化的完整三套评测与截断对比，读者可据此判断修复后模型在精度和速度上的实际表现。
Hugging Face Blog精选AI 评分7474 
微软与 Hugging Face 发布 ThinkingBox 基准，以数据库终态评测 Agent 并要求 20 次重复运行
Microsoft 与 Hugging Face 联合发布 ThinkingBox 及 ThinkingBox-Bench，通过隔离 MCP 会话检查 Agent 留下的终端数据库状态和副作用，而非只看工具调用或回复文本，覆盖 507 个有状态业务工作流，每任务独立运行 20 次，已通过 OpenEnv 上线 Hugging Face。
推荐理由：基准不看工具调用而看数据库终态，18 个模型在 507 任务上跑 20 次，区分了单次成功与可依赖性，并给出每次可靠任务的成本对比。
arXiv · cs.AIAI 评分3232 Knossos 与 Ariadne：用视觉语言模型评测并学习完整图表拓扑抽取
论文提出图表拓扑抽取任务，并发布 Knossos 基准：涵盖 6 个领域的 19,200 张图表，含 245,179 个节点和 439,740 条边，符号生成保证图与标注精确对齐。同时提出 Ariadne 框架，将任务分解为节点抽取与源条件边预测，在 Knossos 上取得评测方法中最高的平均 Edge F1，且在真实世界外部基准上也优于未适配的基座模型。代码与基准已开源。
arXiv · cs.AI精选AI 评分5252 RAGStress：面向知识库退化的 RAG 受控评测基准发布
研究者发布 RAGStress 基准，用于系统测试 RAG 系统在知识库损坏下的鲁棒性，覆盖事实损坏、数字错字、相关性投毒和矛盾注入四类损坏与三个严重度，基于 57 个 MMLU 学科和 182,546 篇文档。52,500 次模型-问题-条件评估显示，干净检索会掩盖鲁棒性差异，语义保真型损坏危害远大于信号效用型扰动，无检索准确率不能预测损坏检索下的鲁棒性，混合知识库准确率不应视为最坏情况。基准附带生成脚本、损坏提示词、元数据模式和评测代码，定位是受控压力测试而非通用排行榜。
推荐理由：论文用受控实验区分了语义保真型与信号效用型知识库损坏的差别，还澄清了无检索准确率与抗扰性的错位。
arXiv · cs.AIAI 评分3333 临床 LLM 在不完整证据下如何决策、追问或转诊：DECIDE/ASK/DEFER 框架研究
一项将临床大语言模型的决策从二元 DECIDE/ABSTAIN 扩展为 DECIDE/ASK/DEFER 三动作框架的研究，在基于 DDXPlus 构建的 200 个匹配临床证据状态上评估 Qwen、Gemini 和 GPT，其中 137 个状态出现动作选择分歧。针对 Qwen 的匹配分析显示，所选信息对后续自主决策可能性的影响比诊断正确性更明显；与 DECIDE/ABSTAIN 基线相比，三动作策略既能纠正部分错误自主决策，也会取消部分正确决策，暴露了安全性与自主性的权衡。该研究已获 NeurIPS 2026 GenAI4Health Workshop 主赛道接收。
arXiv · cs.CL精选AI 评分5252 arXiv 论文提出几何答案选择方法：正确性在模型隐状态中呈可恢复方向
arXiv 论文（arXiv:2610.04512）发现答案正确性在语言模型隐状态中编码为可恢复的几何方向。
推荐理由：论文给出无需参数更新的几何方向打分法，在 MMLU、TruthfulQA 等基准上对比 log-probability 的提升幅度都有具体数字可查。
arXiv · cs.CLAI 评分4343 VAL 框架解析：为何相同的 ASR 零值在 LLM 智能体安全中意味着不同的保证
一项 arXiv 研究提出 Verification Autonomy Levels（VAL，L0-L5）框架，对 22 种 LLM 智能体安全防御进行分级，并在 AgentDojo/JADE 上以约 17,000 次 LLM 调用做了首个受控部署价值对比。
arXiv · cs.CL精选AI 评分7070 arXiv论文：激进GGUF量化的语言模型仍能写出已无法定义的生僻词
arXiv论文2610.04403审计27个GGUF量化产物，覆盖13个模型族、0.35B-14B参数，用429个低频英文词测试写词与定义两种探针。发现Q2_K下三种状态：完全崩溃、2B以下模型出现严重语义脱节（定义能力比基线低20-67%）、约3B以上基本保持；词表大小不预示损伤（rho=0.12），参数量主导（rho=0.72），Q4_K_M在1B以上词汇无损，且WikiText-2困惑度无法校准该损伤，需逐产物验证。
推荐理由：论文用429个低频词实测27个GGUF量化产物，指出WikiText-2困惑度无法预警语义损伤，对本地部署有直接参考。