裸 IPython harness 用 Qwen3.5-9B 在 TB-Lite 上追平生产级 coding agent,工具输出归一化消除大部分波动
/u/HauntingMoment 在 r/LocalLLaMA 报告,单工具的裸 IPython harness 在 Terminal-Bench Lite 上用 Qwen3.5-9B 追平了 QwenCode、OpenHands、opencode、Pi 等更重的生产级 harness。测试发现小模型 agent 的大部分随机性来自环境噪声而非模型本身,各 harness 约 25-30% 的调用用于读文件,工具使用更多反映系统提示词而非模型;OpenHands 因默认硬编码 temperature=0.0 最稳定,但同一任务 20 次试验的通过率仍在不同任务间大幅波动。
推荐理由:作者用多 harness 对照实测定位了小模型 agent 波动的来源,并给出约 40 行正则归一化工具输出这一可复用的降噪方法。