DynamicTune 0.8B 模型在 ARC-Challenge 上以 42.15% 超越 2B 基座
DynamicTune 通过闭式权重手术将 4B 教师模型的轨迹动态注入 Qwen3.5-0.8B，无需反向传播和训练 token，在约 12 分钟内于 8GB AMD RX 580 上完成。
推荐理由：原文给出第三方在 NVIDIA L4 上用官方 lm_eval 复测的完整分数与统计显著性，读者可自行核对 0.8B 超越 2B 的结论。
方向
能力评测与榜单 最新动态
模型能力评分、基准与榜单。重点是方法可复现、有对照基线、给出失败模式的评测，尤其是针对无对齐模型与角色扮演场景的那部分。
193 条精选近 30 天 193 条共收录 882 条
更新
精选归档 · 第 9 页
Reddit · r/LocalLLaMA精选AI 评分7171 Reddit · r/LocalLLaMA精选AI 评分6464 Orange Pi 5 Plus（RK3588）本地大模型实测：Ollama 吞吐、NPU 卸载与散热数据
作者实测 Orange Pi 5 Plus（RK3588、16GB）运行本地大模型的表现，发现把 Ollama 限制到 4 个 A76 大核可带来最高 +318% 提速，Qwen 2.5 1.5B 达 14.5 tok/s，而 Llama 3.1 8B 受 LPDDR4x 带宽限制仅 2.3 tok/s 且裸片温度达 85°C。
推荐理由：作者用同一块板子实测了线程数、NPU 与散热的取舍，给出了各档模型的 tok/s 和温度数据，可迁移到其他 RK3588 部署场景。
Hugging Face Blog精选AI 评分6262 
TII 发布 Falcon-Emirati-7B 阿拉伯方言特化模型
Technology Innovation Institute 发布 Falcon-Emirati-7B，基于 Falcon-H1-Arabic 7B 变体，针对阿联酋方言的词汇、语法与文化语境做特化训练。
推荐理由：官方同时给出 Alyah 准确率、方言保真度和逐类对比数据，读者可以据此判断方言特化训练相对模型规模的收益。
Reddit · r/LocalLLaMA精选AI 评分6464 
llama.cpp Metal 优化 PR：few-row MMA matmul 与批量拷贝加速推测解码
ggml-org/llama.cpp 收到编号 #29869 的 Pull Request，为 Metal 后端加入 few-row MMA matmul 与批量拷贝以加速推测解码。
推荐理由：原文给出了同一环境下 PR 前后 DFlash2 推测解码的 decode tok/s 对照，读者可以据此评估该 Metal 优化在不同任务下的实际收益。
arXiv · cs.AI精选AI 评分5555 TasteVal 基准发布：衡量 AI 系统相对人类专家的实验研究品味
arXiv 论文提出 TasteVal 基准，用于评估前沿模型挑选问题、设计实验和解读结果的实验研究品味，并将其操作化为算力效率。基准含 8 个开放式任务，由被测模型担任 Researcher、固定 Coder agent 负责实现，预算为 40 H100 小时或 120 小时墙钟时间，另招募 24 名人类专家、每任务至少 2 人，取每人任务最佳成绩为基线。
推荐理由：论文把实验研究品味量化为算力效率，并给出模型与 24 名人类专家的对照数据，可用于理解 AI 研究能力的度量方式。
arXiv · cs.CL精选AI 评分5757 arXiv 论文解析 LLM 谄媚性：单一 flip rate 掩盖了什么
arXiv 论文（arXiv:2610.06522）提出 SycoLens 模块化重放协议，对三家机构的十一个前沿模型进行约 76 万次受控重放，检验用户压力与评测设置如何影响测得的 flip rate。
推荐理由：论文拆解了单一 flip rate 掩盖的测量依赖，指出不同追问措辞下模型谄媚排名几乎不相关，对评测方法设计有直接参考。
arXiv · cs.AI精选AI 评分5353 OR-Bench 诊断 VLM 物体旋转推理缺陷并提出 RotationCue 改进
arXiv 论文 2610.05715 提出 OR-Bench，用 8 项任务评测 12 个 VLM 的物体旋转推理能力，发现检测任务接近 100% 准确但角度估计接近随机，91.8–100% 的预测集中在 0°、90°、180°，称为 canonical-angle collapse。
推荐理由：论文用线性探针证明 VLM 已编码旋转信息却未使用，并给出可复用的 RotationCude 解码器改进方案。
arXiv · cs.AI精选AI 评分5252 arXiv 论文提出测量优先的 Agentic 榜单审计框架并复测 SWE-bench Verified 污染差距
arXiv 论文提出测量优先的审计框架，将基准污染声明分为训练期暴露、评估期检索和管线泄漏三类证据通道，在 Holistic Agent Leaderboard 的 9 个配置中 27 项通道评估无一被判定为 closed，但 4 个配置确认了污染事件。
推荐理由：论文提出按证据类型区分污染声明的审计框架，并给出 HAL 上 27 项通道评估与 SWE-bench Verified 匹配对照复测的具体结果。
arXiv · cs.CL精选AI 评分6565 MemStrata 论文：本地 Qwen 3.8 27B 读取器在 LongMemEval-500 达 95% 源感知准确率
论文提出源感知评分方法，由裁判先对照完整对话源再评判系统答案，并用本地 Qwen 3.8 27B Q4_K_M 读取器测试 MemStrata CL1。
推荐理由：论文用源感知评分重新衡量长对话记忆基准，同一答案在两种评分下差距明显，提示仅对照参考答案的榜单可能低估系统。
arXiv · cs.CL精选AI 评分6262 DelegationBench：评测 AI Agent 何时该先询问再行动
Shiva Pochampally 在 arXiv 发布 DelegationBench，包含 156 个场景、四种响应（行动、请求许可、询问缺失信息、拒绝），多数场景以改变单一特征的配对形式出现。
推荐理由：原文用配对场景拆解了单一一致性分数的三种误导，并给出应分开报告的评测建议，方法可迁移到 Agent 决策评测。
arXiv · cs.CL精选AI 评分6060 arXiv 预注册研究：评测 harness 修复的到底是什么
arXiv 论文 2610.05533 通过预注册研究分析 harness 搜索带来的分数提升来源，覆盖 3 个小模型、3 个基准、GEPA 搜索臂和 6 种注入的评测缺陷，报告全部 47 个主要终点。
推荐理由：预注册研究拆解了 harness 搜索带来的分数提升来源，并给出六种评测缺陷在复现中被掩盖的比例，对评测方法设计有直接参考价值。
GitHub · 灵魂体仓库精选AI 评分6767 Derailment 开源工具：用分层诱导测量 LLM 的认知扭曲反应
GitHub 项目 Derailment 发布，这是一个分层测试框架，通过操纵注意力、显著性、效价、唤醒等变量诱导 LLM 出现类似 ADHD、精神病、抑郁、焦虑等 18 种认知扭曲，并用统一探针脚本对诱导管线与健康基线做 A/B 评分。
推荐理由：原文给出真实模型与离线模拟器的对照数据，显示多数认知扭曲诱导难以迁移到真实模型，仅少数效应成立。
GitHub · 去对齐工具与仓库精选AI 评分6565 rafaelKyra 发布 local-llm-fieldbook：本地大模型智能体编码实测笔记仓库
rafaelKyra 在 GitHub 发布 local-llm-fieldbook 仓库，公开本地大模型在智能体编码场景的实测数据与评分工具。仓库保存 17 个模型构建在 14 项编码任务上的答案（单次运行），附评分脚本 harness/score_grid.py，复算可精确复现已发布的每任务通过数（如 task 1: 3/17）。
推荐理由：作者公开了17个本地模型在14项编码任务上的原始答案与评分脚本，任何人可复算，并区分了测量与主观笔记。
GitHub · 去对齐工具与仓库精选AI 评分6363 
Jiaming Yue 实测 Qwen3.5-9B、Qwen3.8-27B 与 gemma-4-26B-A4B-it 本地工具调用能力
作者 Jiaming Yue 发布可复现的本地开源模型工具调用评测项目，用官方 BFCL 数据和逐条评分代码对比三个本地部署模型，三个模型各完成全部 3641 个单轮用例。
推荐理由：作者用官方 BFCL 数据和逐条评分代码实测三个本地开源模型的工具调用表现，并公开全部原始输出与复现脚本，便于核对与复跑。
GitHub · 灵魂体仓库精选AI 评分6363 ese08 开源 llm-latency-bench：跨硅基流动、火山方舟、OpenRouter 的 LLM API 延迟对比工具
ese08 在 GitHub 开源 llm-latency-bench，用 GitHub Actions 每 15 分钟采样一次、连续运行一周以上，横向对比硅基流动、火山方舟、OpenRouter 上 5 个模型配置的延迟与成本。工具设计了空载对照组剥离跨境链路噪声，并针对缓存污染、火山 fast 档静默降级、握手计时偏差等陷阱写入校验逻辑，一周总成本约 ¥15~30。
推荐理由：原文把缓存污染、静默降级、握手计时偏差等易错点逐一写进代码和校验流程，读者可以照搬这套方法去测自己关心的 API 延迟。
GitHub · 去对齐工具与仓库精选AI 评分5757 
Hadezu 发布 llm-extraction-release-gate 提示词发布门禁工具
Hadezu（Ivan Matiushkin 与 Codex）在 GitHub 发布 llm-extraction-release-gate，一个用于判断新版提示词能否发布的 Python 评估门禁工具，检查严格 JSON、来源引文、逐例回归与候选绝对下限，并以退出码 0/1/2 给出发布决策。
推荐理由：原文区分了聚合分数与关键回归否决，候选提示总体提升仍因单例回归被拦下，发布决策附可查验证据。
Reddit · r/LocalLLaMA精选AI 评分6161 M3 Max 36 GB 上四款 MLX 推理引擎实测：Qwen3.6-35B-A3B 达 110 tok/s
作者在 36 GB M3 Max MacBook Pro 上实测 oMLX 0.7.0、Rapid-MLX 0.15.5、Splash 1.2.1 与 MTPLX 2.12.2 四款推理引擎，测试 Qwen3.8-27B-4bit 与 Qwen3.6-35B-A3B-4bit。
推荐理由：作者在同一台 M3 Max 上用统一流程实测四款 MLX 推理引擎，还指出 KV cache 跨重启保留会误导二次跑分。
Reddit · r/LocalLLaMA精选AI 评分6363 小本地模型自写测试实测：77% 的测试套件拒绝了正确代码
作者在 GTX 1660 SUPER 6GB 上用 qwen3-1.7b、qwen2.5-coder-1.5b、llama-3.2-1b、smollm2-360m 四个 GGUF 模型搭建"写契约-写测试-写代码-修复"流水线，6 个编码任务共 785 次调用。
推荐理由：作者用已知正确解法检验小模型自写测试，并修正了统计口径，给出了可复现的流水线与仓库。
Reddit · r/LocalLLaMA精选AI 评分7272 airbench.ai 榜单实测：本地模型搭配哪个 harness 差别巨大
/u/dh7net 发布自建基准 airbench.ai 榜单，用真实任务（数学、视觉、电脑操作、编码）实测本地模型与 harness 搭配的能力和速度，参考基准为 Claude Code Opus 5.5 的 100%（14 分 26 秒），本地 zcode/4xRTX6k/glm-5.3-flash-NVFP4 同样可达 100%（31 分 13 秒）。
推荐理由：作者用自建基准实测了多组模型与 harness 的本地搭配，给出同一模型在不同 harness 下得分差距可达 22% 到 96% 的数据。
Hugging Face · 趋势模型精选AI 评分6565 
Liquid AI 发布基于 LFM2.5-VL-3B 的决策模型 d1-3B
Liquid AI 发布 3.1B 参数的多模态决策模型 d1-3B，基于 LFM2.5-VL-3B 后训练，对状态（文本、JSON 或图片）中的一组问题一次前向返回带置信度的类型化答案，零输出 token。Decision Index 0.2.1 得分 48.57，高于所有 4B 和 9B 模型及 Decider 35B-A3B（47.11）；RTX 4090 上单次决策 8 ms，AMD MI325X 上打包 64 个状态吞吐达 1,106/s。它不是聊天模型，适用于路由、分类、审核、reranking、LLM-as-a-judge 等场景。模型卡：https://huggingface.co/LiquidAI/d1-3B
推荐理由：官方给出了完整基准表和各硬件实测延迟，读者可以据此判断这个 3B 决策模型在自己的部署场景里是否划算。