跳到正文
  1. GitHub · 灵魂体仓库61

    llm-deployment-benchmarks 实测开源模型何时能替代 Claude Opus 5.5

    作者发布 llm-deployment-benchmarks 项目,在 Fireworks AI 上做两组实验,比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中,GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5,9B 模型响应快 4–7 倍也打平,而对含噪标签微调反而变差;国际象棋任务中,对 73k 局面的微调把合法走子率从 36% 提到 71%,但最佳走子准确率仍是 3%,只有前沿级开源模型 Ember-1 接近 Claude,约为每步 4 倍时间和成本。

    推荐理由:作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距,结论是 prompt 质量常比模型大小更关键。

  1. Reddit · r/LocalLLaMA72

    qwen3.8 27B 在韩文 RAG 评测上与 Opus 5.5 基本打平

    作者在 3090 上用 Allganize 韩文 RAG 数据集(300 题、64 份 PDF)实测,qwen3.8 27B 开启 thinking 得 77.3%,Opus 5.5 得 76.6%,McNemar 检验 p=0.82 属于打平。Opus 5.5 的 70 次失败中仅 25 次是模型问题,22 次源于无文本层的扫描页,作者认为瓶颈在 PDF 解析而非模型;韩文形态学分词器把 BM25 的 hit@5 从 56% 提到 80%,gpt-oss 20B 在把 token 上限从 1024 提到 8192 后从 57.5% 升至 69.6%。

    推荐理由:作者用带标准答案的韩文 RAG 数据集实测并给出 McNemar 检验和失败归因,还指出 PDF 解析而非模型才是瓶颈。

  2. GitHub · 灵魂体仓库60

    satori 开源:给 Claude Code 加自学习循环的 MCP 服务器

    timoncool 发布开源项目 satori,一个 MCP 服务器加 hooks,为 Claude Code 提供封闭自学习循环,把用户纠正和工具失败转化为课程草稿并自动激活为技能。全流程在聊天中以 ⛩ 标记可见,retire_skill 可一键撤销激活,SATORI_AUTO_APPROVE=0 可切换为手动审核模式;服务端只做确定性机制,无后台 LLM 调用。支持 Windows 原生运行、FTS5 历史会话检索、提示词注入标记扫描,并可与同作者的 dream-skill 记忆整合项目配合使用。

    推荐理由:项目把 Claude Code 会话里的纠正与失败自动沉淀为可审计技能,全程可见、可一键回退,是可复用的自我改进工程方案。

  3. GitHub · 灵魂体仓库62

    model-eol 开源工具发布:扫描代码里的模型 ID 并预警退役日期

    开发者 thossullivan 发布 model-eol,一个扫描代码中 AI 模型 ID、标记已退役或即将退役模型的工具,提供 CLI、GitHub Action 和自动开迁移 PR 的机器人三种形态。动机是 2026 年 7 月 23 日 OpenAI 关停一批模型快照导致其研究工作流报 model-not-found 错误,而退役日期此前只散落在供应商文档和邮件里。

    推荐理由:作者从一次模型下线导致工作流中断的亲身经历出发,给出了模型退役日期的开源 feed 格式与 CLI、GitHub Action 和自动开迁移 PR 的机器人三件套。

  1. GitHub · 灵魂体仓库61

    heyvaldemar 开源 kubernetes-air-gapped-ai-agent 参考架构

    heyvaldemar 在 GitHub 发布 kubernetes-air-gapped-ai-agent 参考架构,让 AI Agent 在无外网路由的 kind Kubernetes 集群内用 CPU 运行 llama.cpp,模型经签名镜像和 Kyverno 准入校验后加载。随附 15 项任务的每日评测:六个内置与受测模型在 12 条植入指令上最多中招 6 条,而 MCP 服务器按 schema 拒绝了全部外发邮件(含隐藏模式后的 92 次),无数据外泄、无记录被删;每周任务另经唯一出口调用 Claude Haiku 5.5 与 Claude Sonnet 5.5,二者均未中招任何植入指令。仓库定位为参考而非产品,MIT 许可。

    推荐理由:仓库用可复现的检查把边界与模型分开验证,被诱导的数据点数只作测量不作门槛,这种做法可以迁移到自己的 Agent 部署里。

  2. arXiv · cs.CL53

    arXiv 论文揭示大语言模型以隐匿化方式产生概率偏见

    Christian Arnold 等在 arXiv 发布论文,用有精确贝叶斯答案的双瓮博弈测量大语言模型拒收信息的代价,覆盖 OpenAI 和 Anthropic 两家模型、10 种描述配置共 6,600 次会话。研究发现模型常以与证据无关、而与报告者描述挂钩的比率拒绝评估信息,Black 描述的报告者被拒率最高达 46%,white 描述为 9%;该偏见在只比较平均信任度或仅看已评估案例的审计中不可见,且随推理力度增加而加重。作者还提出按多轮真实结果评分的方案,五组配置中有四组的种族信任差距在最后一轮降至 0.02 以下。

    推荐理由:研究指出了常规偏见审计容易漏掉的一种机制,模型靠拒绝评估而非降低信任来隐藏偏见,并给出了可用的评分修正方案。

  3. AIHOT · 精选58

    Anthropic 用 Claude 对 123 个开源库完成汇编级形式化安全证明

    Anthropic 与 Theorem 合作,用 Claude 将 OSS-Fuzz 模糊测试转化为规格,对 123 个开源库的 239 个入口点证明了任意 64 MB 以下输入不崩溃。整个工作生成了约 1.8 亿行 Rocq 证明。

    推荐理由:把模糊测试转化为规格再生成汇编级形式化证明的完整链路,展示了 Claude 在安全验证领域的可复用做法。

  4. AIHOT · 精选57

    Anthropic 指南:何时把子智能体合并进主 Agent 循环

    Anthropic Applied AI 团队发布指南,讲解何时把 orchestrator 下的路由器、规划器和领域子智能体合并进单个主 Agent 循环。文中对比显示,带 skills 的单智能体在质量上常优于一提示全包和子智能体设计,且成本和延迟更低;一家客户改用单循环后运行时间约快 2x。

    推荐理由:Anthropic 给出了多智能体与单循环架构的选择判据,附质量与成本延迟对比,可迁移到自己的 Agent 设计。

  1. GitHub · 灵魂体仓库62

    Simile 开源村庄模拟:NPC 依托 Claude Code 与 Qwen3-TTS 本地运行

    GitHub 项目 mentaldesk/simile 发布了一个等距像素风小村庄模拟,NPC 由核心价值、关系指标和事件记忆日志驱动行为与对话,思考通过本机 Claude Code 登录完成,无需 API key。语音用 Qwen3-TTS 在本地生成,Apple Silicon 上经 mlx-audio 推理,句子文本到达后 0.2–0.4 秒出声,生成速度约为播放的 3 倍,只对玩家可闻的对话配音。村庄新闻由 Claude Haiku 分析六个 RSS 源,每源最多 10 条。

    推荐理由:仓库文档写清了 NPC 核心数值、关系四指标和记忆日志的设计,读者可以照此复现带记忆的村庄智能体。

  1. GitHub · 灵魂体仓库62

    section9 0.9.1 发布:用本地 markdown 文档为 Claude Code 做外部记忆

    开源项目 section9 发布 0.9.1,把 Claude Code 的每条提示词记录为本地 markdown 文档(vault/),通过状态机、本地仪表盘(http://127.0.0.1:9909)与 git 同步,让多个人、多台机器、多个会话续写同一份工作记录,并在会话开始时重新注入进行中的任务。支持 open→in-progress→review→done/blocked 状态流转、GitHub 仓库连接与团队邀请,含 29 种角色 agent 与 13 个 skill;验证环境为 2026-09-14、0.9.1、Linux(WSL2)、python 3,macOS 实测进行中。

    推荐理由:原文给出请求状态机、会话启动注入与 git 多机同步的完整设计,可作为 Claude Code 外部记忆方案的自建参考。

  1. GitHub · 去对齐工具与仓库60

    szaghi 开源 llm-wiki:用 LLM 把科学文献编译成可导航的 wiki 知识库

    CFD 研究者 Stefano Zaghi 开源 llm-wiki,让 LLM 作为有状态编译器把论文、书籍和网页一次性编译成 lint 过、交叉链接、记录矛盾的 wiki,格式为 Google Open Knowledge Format v0.1。不依赖向量数据库和嵌入检索,每个概念一页、统一符号表、每条论断标注出处并区分已发表文献与假设,矛盾按来源记录而非按新旧裁决。

    推荐理由:仓库把 LLM 当有状态编译器一次性整理科学文献,给出 OKF 格式、矛盾记录协议和可复用的建库流程。

  1. GitHub · 去对齐工具与仓库62

    Token Quotient 开源插件为 Claude Code 提供任务成本预估与分期执行

    Francesco Candela 开源了 Token Quotient,一个 Claude Code 插件,可在任务开始前按加权 token 给出成本报价,并显示 5 小时和每周限额的用量。超过阈值(默认 300,000 加权 token)时提供 essential、good、max 三档选择,支持夜间分期执行、按历史任务误差校正估算、拆分工作与重读成本,并可在 Hermes Agent 内使用;需 Python 3.8+,MIT 许可,仓库地址 https://github.com/Korvonordico/quotient-claude-tokens。

    推荐理由:原文详细说明了报价估算、误差校正因子和分期运行的实现方式,读者可以据此评估这个用量预估工具是否适合自己的 Claude 订阅用法。

  1. GitHub · 灵魂体仓库59

    infra-docs-rag:针对 Kubernetes、Prometheus 和 Argo CD 文档的引用式 RAG 问答仓库

    luc-pimentel 开源 infra-docs-rag,对 Kubernetes、Prometheus 和 Argo CD 公开文档构建问答服务,答案引用文档、页码与章节,文档未覆盖时直接回答不覆盖而非猜测。流水线包含文档摄取与去重、四种切块策略在 128/256/512 token 下的对比、bge 系列嵌入与余弦索引、BM25 混合检索与 reciprocal rank/加权融合、bge-base 与 minilm 交叉编码器重排,以及基于 claude-opus-5-5 的生成,支持官方 SDK citations 或通过 Claude Code 的 claude -p 并逐句校验引用。

    推荐理由:原文完整公开了文档问答 RAG 流水线从切分、检索、重排到评测门禁的实现细节与报告,方法可直接迁移到自建语料。

  1. GitHub · 去对齐工具与仓库62

    shno-labs 开源 AI 智能体记忆层 MemForge,支持 Claude Code 与 Codex

    shno-labs 在 GitHub 开源了面向 AI 智能体的记忆层 MemForge,可从 Confluence、Jira、GitHub、Teams 和 Claude Code、Codex 会话中提取带来源引用的记忆。源文档变更时会对受影响记忆重新复核,保留生命周期历史,并支持跨文档的等价、更新与矛盾关系。项目为 Apache-2.0 开源,当前处于 alpha 阶段,开源版为单用户单机部署,API、存储格式和插件打包可能有破坏性变更。

    推荐理由:原文给出了带来源引用与变更复核的记忆方案,并附与 Mem0、Zep 等项目的数据模型对比,便于选型参考。

  2. Reddit · r/LocalLLaMA75

    Reddit 用户自建 agentic 基准实测 Qwen3.8 27B 各量化版本差异

    Reddit 用户 /u/FeydRowan 实测 Qwen3.8-27B 从 UD-Q4_K_XL 到 Q8_0 的五个量化版本,发现它们在 GSM8K、MMLU-Pro 和 IFEval 上差距均在 ±2 分内,而自建的 112 次运行 agentic 编码基准(隐藏测试、AST 注入 bug)拉开差距:27B NVFP4 解题 77%,Flash-Next NVFP4 达 98%。SWE-rebench 交叉验证趋势一致(69% vs 82%,McNemar p≈0.007),OpenCode 等测试框架的选择对结果影响也很大,Flash-Next 约 3-bit 的 Q3 版本可解决 12 项区分性任务中的 11 项。

    推荐理由:作者用自建、无污染的 agentic 编码基准区分了标准评测拉不开的量化差距,方法与数据都可复用。

  3. Reddit · r/LocalLLaMA60

    Qwen3.8-Flash-Next 配 pi 在 RTX 5090 上以 11 分钟跑完 airbench 全对,快于 Claude Code 的 14 分钟

    /u/dh7net 实测 Qwen3.8-Flash-Next 的 IQ3_S 量化版(ISTA-DASLab GSQ-RCO GGUF)在 RTX 5090 上经 Strata 服务、pi harness 运行 airbench 测试套件,11 分钟拿到 100% 得分,而 Claude Code 同任务同分但耗时 14 分钟;作者更正原标题未说明这是面向日常任务的基准,不是区分前沿模型的评测。复现需 24GB 以上显存、约 64GB 内存和 90GB 磁盘,IQ3_S 在 256k 上下文下约需 78GB 内存。同一服务器上 omp 18.4.2 得 48/49(16 分钟)、opencode 1.18.29 得 46/49(11 分钟)、dsh 0.2.0-rc.2 得 47/49(11 分钟)。

    推荐理由:作者在 RTX 5090 上实测同一本地模型配不同 Agent 框架的 airbench 得分与耗时,并给出可复现的完整部署配置。

  1. GitHub · 去对齐工具与仓库63

    mcp-guard 开源:对 MCP 服务器发真实对抗 payload 的模糊测试工具

    Zion-sewers 在 GitHub 开源 mcp-guard,一个对 MCP 服务器做安全模糊测试的 Python 工具,通过 stdio 启动服务器、按 inputSchema 生成对抗 payload 并把响应分类为 SAFE/FINDING/CRASH。共 6 类探测(shell 注入、SSRF、溢出、类型混淆、prompt 注入、间接注入),string 参数发 29 个 payload、URI 参数 37 个;对官方 server-memory 发 91 个 payload 发现 41 项问题,对 server-filesystem 发 490 个发现 24 项,支持 JSON/SARIF 输出接入 CI,零外部依赖,Python 3.11+ stdlib 实现。

    推荐理由:工具直接用真实对抗 payload 对 MCP 服务器做动态模糊测试,README 附官方服务器的实测数据和用法,方法可以照搬进自己的 CI。

  2. GitHub · 去对齐工具与仓库57

    qyndex 开源 claude-init:一条命令把 Claude Code 变成工程化智能体团队

    GitHub 仓库 qyndex/claude-init 发布,一条 curl 安装命令即可把 spec 驱动、TDD 优先、验证门控、安全感知的智能体工作流装入任意仓库。包含 10 个子智能体、八阶段 slash 命令工作流、58 个 skills、25 个 hooks、记忆系统、预配置 MCP servers 和 36 个 CI/CD workflows;安全钩子会在智能体执行前硬性拦截破坏性命令并扫描密钥写入。安装器对已有 .claude/ 目录做备份后安全合并,不直接覆盖文件,依赖 git、jq、gh 和 claude CLI,MIT 许可。

    推荐理由:这个仓库把规范驱动、TDD 和安全钩子打包成一条命令可装的工作流,想给 Claude Code 搭工程化流程的读者可以直接照它落地。

  3. GitHub · 去对齐工具与仓库56

    shortlist-ai 开源:基于 LLM 的证据可查、匿名盲评简历筛选工具

    vinayvobbili 在 GitHub 开源 shortlist-ai,用 LLM 对简历做证据可查的盲评排序,每个判断引用简历原文并由代码核验,评分权重公开可审计。工具支持 Anthropic API 和 Apple Silicon 本地 MLX 两种后端,含隐藏 PDF 注入文本检测、代码累加工作年限、反事实姓名公平性测试,并用多组 held-out 合成评测集(NDCG 等指标)迭代修正打分规则。

    推荐理由:作者用盲化简历、代码核验引文和反事实公平性测试来回应AI筛选的可审计问题,方法可迁移到其他LLM评分场景。

  4. GitHub · 灵魂体仓库66

    Ordnung开源发布,用Claude加规则引擎管理德国信件期限

    ahmedEid1在GitHub发布Ordnung,一个本地运行的德国信件私人秘书工具,由Claude读取信件内容,确定性规则引擎计算法定期限并给出带引用的推算依据,绝不自动付款或取消。基准测试显示纯模型算期限仅82.1%准确且7.1%危险偏晚,Ordnung管线在三个后续held-out测试集合计97.0%、偏晚率接近零;Ask问答44题全部正确、注入文本零泄露。需要Python 3.11+和付费计划的Claude Code 2.1.0+,支持手机配对、加密备份和作为MCP工具供Claude Desktop调用。

    推荐理由:README给出了流水线与纯LLM、规则文本等多条件基准对比,展示了模型读取加确定性规则引擎的架构取舍,方法可迁移。