1200+ 次 Blender 建模盲测:LLM 与 Agent 框架对比竞技场上线
一位 Reddit 用户发布了一个盲测 A/B 竞技场,让 AI 智能体在 Blender 中建模并由用户投票排名,已积累 1200+ 次运行。测试覆盖 pi、opencode、omp、codex、Claude Code 和 dsh 等框架,对比直接写脚本与通过 MCP 操作 Blender 的智能体,并测试不同推理等级以寻找成本与时间平衡点。
新闻、仓库与研究,按时间排列。
一位 Reddit 用户发布了一个盲测 A/B 竞技场,让 AI 智能体在 Blender 中建模并由用户投票排名,已积累 1200+ 次运行。测试覆盖 pi、opencode、omp、codex、Claude Code 和 dsh 等框架,对比直接写脚本与通过 MCP 操作 Blender 的智能体,并测试不同推理等级以寻找成本与时间平衡点。
作者在 36 GB M3 Max MacBook Pro 上实测 oMLX 0.7.0、Rapid-MLX 0.15.5、Splash 1.2.1 与 MTPLX 2.12.2 四款推理引擎,测试 Qwen3.8-27B-4bit 与 Qwen3.6-35B-A3B-4bit。
推荐理由:作者在同一台 M3 Max 上用统一流程实测四款 MLX 推理引擎,还指出 KV cache 跨重启保留会误导二次跑分。
作者在 GTX 1660 SUPER 6GB 上用 qwen3-1.7b、qwen2.5-coder-1.5b、llama-3.2-1b、smollm2-360m 四个 GGUF 模型搭建"写契约-写测试-写代码-修复"流水线,6 个编码任务共 785 次调用。
推荐理由:作者用已知正确解法检验小模型自写测试,并修正了统计口径,给出了可复现的流水线与仓库。
作者 Alexandre Gensse 发布 claude-models-value-analysis 仓库,将近期 Claude 模型(Fable 5.1、Opus 5.5。
/u/dh7net 发布自建基准 airbench.ai 榜单,用真实任务(数学、视觉、电脑操作、编码)实测本地模型与 harness 搭配的能力和速度,参考基准为 Claude Code Opus 5.5 的 100%(14 分 26 秒),本地 zcode/4xRTX6k/glm-5.3-flash-NVFP4 同样可达 100%(31 分 13 秒)。
推荐理由:作者用自建基准实测了多组模型与 harness 的本地搭配,给出同一模型在不同 harness 下得分差距可达 22% 到 96% 的数据。
作者在双 RTX 5070 Ti 16GB + Ollama 的本地 agent 上,把日常模型从 Qwen3.8 27B UD-Q4_K_XL(55-70 tok/s)换成 Ornith 1.5 35B-A3B(Q4_K_M),自建两项测试(9 步长会话和 10 个编码任务)两者均 9/9、10/10,而生成速度约 180 tok/s,约为原来的 3 倍。
一位双 DGX Spark 用户实测最新版 GLM 5.3 flash 配方,decode 提升 50-90%,decode 速度超过 DeepSeek v4.0 flash(如 32K 上下文 41.1→44.2 tps),prefill 略降约 10-21%。
作者用 llama.cpp Vulkan 版在搭载 AMD Ryzen 7 6800H 与 Radeon 680M 核显、64GB DDR5 的 Acemagic miniPC 上,实测 GLM-4.7-Flash 的 MXFP4、Q4_K_M、Q4_K_XL 三种量化(内部 GGUF 头均报告为 deepseek2 30B.A3B MoE)。
推荐理由:作者在 AMD 680M 核显上实测三种量化的速度差异,给出了聊天与长上下文场景各自该选哪个格式的具体依据。
Reddit 用户实测 LFM2.5 2.6b 与 MiniCPM5 2b 两个小模型在带工具的智能体任务上的表现,LFM2.5 2.6b 胜出:在 M1 Air 上 pp 200 t/s、tg 22 t/s,32k 上下文仅占约 2.5GB 内存,参数更多反而更快、内存更省,英语对话也更稳定。
Microsoft 与 Hugging Face 联合发布 ThinkingBox 及 ThinkingBox-Bench,通过隔离 MCP 会话检查 Agent 留下的终端数据库状态和副作用,而非只看工具调用或回复文本,覆盖 507 个有状态业务工作流,每任务独立运行 20 次,已通过 OpenEnv 上线 Hugging Face。
推荐理由:基准不看工具调用而看数据库终态,18 个模型在 507 任务上跑 20 次,区分了单次成功与可依赖性,并给出每次可靠任务的成本对比。
Hugging Face 推出面向开源与多语言 TTS 的 Open TTS Leaderboard,用客观指标替代难以扩展的 arena 式人工投票。评测维度包括基于 Qwen3 ASR 的 WER/CER 可懂度、H200 GPU 上的 RTFx 与 TTFA 速度、以及 WavLM 嵌入余弦相似度(SIM)衡量说话人相似度,将单模型评测从数周缩短到数小时。
推荐理由:用 WER、SIM、TTFA 等客观指标把评测周期从数周缩到数小时,并解释了开源模型在 arena 榜单上代表性不足的原因。