跳到正文
  1. GitHub · 去对齐工具与仓库68

    anbow1 开源本地 LLM 编码评测套件 llm-code-eval 并公布五套测试结果

    anbow1 开源了针对本地大语言模型的编码评测仓库 llm-code-eval,含 base、hard、practical、tools、scene 五套测试,覆盖 Three.js/TypeScript、Python、日常改码、工具调用和大型图形任务。实测显示 RTX 5090 上六个设置在 base 套件得 100%,Qwen3.8-27B GSQ-RCO IQ3_XXS MTP 在 RTX 4080 上以 99.2% 排总榜第一;DeepSeek-V4.1-Flash 全部运行得 100%,192 GB 内存把速度从 11 提到 24-26 tok/s;GLM-5.3-Flash 在 h_p3_line_diff 上 7 次中 6 次超时。

    推荐理由:原文给出五套本地模型编码测试的实测数据,按最高分与多轮均值双排序,读者可据此判断量化档位和推理档位对结果的影响。

  1. GitHub · 灵魂体仓库61

    llm-deployment-benchmarks 实测开源模型何时能替代 Claude Opus 5.5

    作者发布 llm-deployment-benchmarks 项目,在 Fireworks AI 上做两组实验,比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中,GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5,9B 模型响应快 4–7 倍也打平,而对含噪标签微调反而变差;国际象棋任务中,对 73k 局面的微调把合法走子率从 36% 提到 71%,但最佳走子准确率仍是 3%,只有前沿级开源模型 Ember-1 接近 Claude,约为每步 4 倍时间和成本。

    推荐理由:作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距,结论是 prompt 质量常比模型大小更关键。

  1. Reddit · r/LocalLLaMA66

    Flint 40B-A2.5B vs Ornith 1.5 35B-A3B vs Nemotron 3.5 Lightning 本地编码 agent 横评

    作者在相同的 Opus 5.5 规划、3 worker 并行设置下,用 llama.cpp Q8_0 在 RTX PRO 6000 Blackwell 96GB 上实测三个小型 MoE 编码同一个 Three.js 万圣节连锁反应场景。Flint 40B-A2.5B 综合最优:墙钟 7:36、修复 6 次、Opus 花费 $0.41;Nemotron 3.5 Lightning 解码最快但生成约 5 倍 token、修复 16 次、花费 $0.95,其编辑成功率仅约 17%。作者指出换 worker 模型使规划者账单从 $0.41 涨到 $0.95,裸 tok/s 并不决定总耗时,且三者在单轮内都没产出完全可用的场景。

    推荐理由:同一任务同机实测三个小型 MoE 当编码 worker,给出 token 消耗与 Opus 花费对比,显示编辑成功率比裸速度更影响实际耗时。

  1. Reddit · r/LocalLLaMA63

    ggufbench 实测 8 个本地 GGUF 模型的 agent 编码能力:27B 级已够用

    作者 /u/Joralk_ 自建 harness,在 2× RTX 5080 上以统一采样配置实测 8 个本地 GGUF 模型的工具调用、代码与 agent 任务,每任务跑 3 个种子并统计均值与标准差。结果显示 125B 的 Qwen3.8-Flash-Next 并非榜首,35B MiniCPM-V-4.7 与 27B Qwen3.8 在 agent 任务上与其持平,工具调用可靠性比模型规模更关键;开启 thinking 模式使 27B 代码分从 0.79 升至 0.93、agent 分从 0.90 升至 0.96,但延迟从 36 ms 增至 629 ms 且每调用多花约 253 个中位 token。

    推荐理由:作者自建 harness 实测 8 个本地 GGUF 模型的工具调用与 agent 编码表现,还给出 thinking 模式开关的量化代价,方法可复用。

  1. Reddit · r/LocalLLaMA72

    RX 9060 XT 16GB 上十个模型跑五项编码任务实测

    作者在一张 RX 9060 XT(16GB)上用五项编码任务实测十个模型,每轮只给 spec 文件,需自行产出 solution.py 和 test_solution.py 并跑测试,由模型看不到的 checker 评分,单格上限 1750 秒。deepseek-v4.1-flash 云端 API 与 Qwen3.8-27B UD-IQ4_XS+MTP(kvstream fork)均 5/5,前者 236 秒 43k tokens,后者 94 分钟 185k tokens;其余本地模型多在 4/5 或更低,c4、c5 是主要分水岭,失败集中在 tie-break 规则、嵌套组解析和用 re 回溯导致超时或内存暴涨。

    推荐理由:作者自建带盲测 checker 和性能门槛的编码评测,在 16GB 显卡上实测十个模型,失败原因逐个拆到具体规则和实现细节。

  1. GitHub · 灵魂体仓库59

    karpathy-jev 技能发布:用 Jev 独立证据审查替代 AI 编码 Agent 自评

    reliable-era 发布 karpathy-jev,一个 Claude Code 技能,在首次编辑和声明完成前的固定检查点收集 diff、命令与真实 exit code,交由独立的 TypeSafe Jev 判定 proceed 或 revise。SWE-bench Verified 20 任务上,Claude Code + Sonnet 5 下该方案解决 20/20,虚假完成声明 0 次(原生 2 次),最后一次编辑后真正跑测试的比例 13/20(原生 1/20);解决数差异在 n=20 下不显著,单任务中位耗时 +8%。实验还发现 Sonnet 在 112 次运行中从未主动打开自愿式技能,强制 hooks 是行为改变的关键。

    推荐理由:原文同时给出方法和实测数据,读者可以对照三种方案看到强制钩子与提示词自评在行为上的真实差别。

  1. GitHub · 灵魂体仓库75

    m-bench 开源本地 LLM 全栈基准工具,推荐 Qwen3.6-35B-A3B-NVFP4 加 vLLM 配置

    luongnv89 在 GitHub 开源 m-bench,一套针对自己机器基准测试完整 LLM 配置(serving 参数、thinking 模式、编码代理)的工具,每个任务附参考解,validate 需 28/28 通过。当前最佳配方为 unsloth/Qwen3.6-35B-A3B-NVFP4(MoE,约 3B 激活)跑 vLLM,关 thinking,core16+hard12 达 82.1% pass@1,吞吐约 35-48 tok/s 单流。多轮实测显示 thinking 对一次性代码生成多耗约 13 倍输出 token 仅换 +1.7 分,但在工具循环中可把轮次从 6.8 降到 5.2;同一权重经四个不同代理得分相差最多 23 分。

    推荐理由:原文用多轮实测数据说明同一模型在不同配置和代理下得分差异巨大,为本地部署选型提供了可复用的基准方法和结论。

  1. GitHub · 去对齐工具与仓库58

    LLM-invoice-extraction:用 claude-haiku-4-5 评测发票结构化抽取的开源项目

    作者开源了一个基于 LLM 的发票结构化数据抽取与评测项目,用 claude-haiku-4-5 在 40 份合成测试发票上跑了三种提示词策略:rules 策略全字段正确率达 87.5%,few_shot 75.0%,zero_shot 60.0%,仅 zero_shot 与 rules 的差异通过配对 McNemar 检验显著(p=0.007)。项目具备固定种子、dev/test 切分和 API 结果磁盘缓存的可复现设计,并用确定性校验层检查数字一致性;事后故障注入测试显示完全自洽的错误数字(协调改价)在 49/49 次试验中都无法被算术校验发现,zero_shot 的校验召回率也只有 50%。数据为合成生成且仅测单一模型,结果未必适用于真实发票。

    推荐理由:用合成发票把提示词策略、确定性校验和可复现评测串成完整流程,还用故障注入演示了纯算术校验的盲区,方法可迁移到同类抽取评测。

  1. GitHub · 灵魂体仓库63

    marinsokol5 开源 am-i-nerfed 本地模型智力自测工具并附初步横评

    marinsokol5 在 GitHub 发布 am-i-nerfed,一个本地逻辑谜题自测工具,以 CLI 和 Agent Skill 形式判断模型当天是否被降智。任务由随机种子在本地生成,默认中等难度限时 180 秒,支持 Claude Code 和 Codex。2026-10-05 的初步横评中 gpt-6-astra 以 85.0% 排名第一,claude-opus-4-6 因从未在截止前保存答案得 0 分;作者还观察 to Anthropic 模型难以遵循简单指令、Fable 5.1 因安全分类器误拦无法可靠测试,以及 Anthropic 推理速度比 OpenAI 快约 4-6 倍。

    推荐理由:工具让用户在自己的订阅环境里用私有任务自测模型当日状态,作者还附上了十三款模型的初步横评结果。

  1. GitHub · 去对齐工具与仓库65

    rafaelKyra 发布 local-llm-fieldbook:本地大模型智能体编码实测笔记仓库

    rafaelKyra 在 GitHub 发布 local-llm-fieldbook 仓库,公开本地大模型在智能体编码场景的实测数据与评分工具。仓库保存 17 个模型构建在 14 项编码任务上的答案(单次运行),附评分脚本 harness/score_grid.py,复算可精确复现已发布的每任务通过数(如 task 1: 3/17)。

    推荐理由:作者公开了17个本地模型在14项编码任务上的原始答案与评分脚本,任何人可复算,并区分了测量与主观笔记。

  1. Reddit · r/LocalLLaMA63

    小本地模型自写测试实测:77% 的测试套件拒绝了正确代码

    作者在 GTX 1660 SUPER 6GB 上用 qwen3-1.7b、qwen2.5-coder-1.5b、llama-3.2-1b、smollm2-360m 四个 GGUF 模型搭建"写契约-写测试-写代码-修复"流水线,6 个编码任务共 785 次调用。

    推荐理由:作者用已知正确解法检验小模型自写测试,并修正了统计口径,给出了可复现的流水线与仓库。

  2. Reddit · r/LocalLLaMA72

    airbench.ai 榜单实测:本地模型搭配哪个 harness 差别巨大

    /u/dh7net 发布自建基准 airbench.ai 榜单,用真实任务(数学、视觉、电脑操作、编码)实测本地模型与 harness 搭配的能力和速度,参考基准为 Claude Code Opus 5.5 的 100%(14 分 26 秒),本地 zcode/4xRTX6k/glm-5.3-flash-NVFP4 同样可达 100%(31 分 13 秒)。

    推荐理由:作者用自建基准实测了多组模型与 harness 的本地搭配,给出同一模型在不同 harness 下得分差距可达 22% 到 96% 的数据。

已经到底了