跳到正文
今天10月27日周二1 条
10月25日周日
  1. GitHub · 灵魂体仓库61

    llm-deployment-benchmarks 实测开源模型何时能替代 Claude Opus 5.5

    作者发布 llm-deployment-benchmarks 项目,在 Fireworks AI 上做两组实验,比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中,GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5,9B 模型响应快 4–7 倍也打平,而对含噪标签微调反而变差;国际象棋任务中,对 73k 局面的微调把合法走子率从 36% 提到 71%,但最佳走子准确率仍是 3%,只有前沿级开源模型 Ember-1 接近 Claude,约为每步 4 倍时间和成本。

    推荐理由:作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距,结论是 prompt 质量常比模型大小更关键。

  2. GitHub · 灵魂体仓库49

    TrustRAG:可溯源、防幻觉与提示词注入的 PDF 问答 RAG 项目

    TrustRAG 是一个开源 RAG 项目,针对"chat with your PDF"工具的幻觉、不可验证答案和文档内隐藏提示词注入问题,答案全部来自检索段落并逐条标注页码引用,用第二个模型对每条陈述做事实核查,并给出 🟢🟠🔴 信任分。在其自建的 5 份政策文档、71 个问题的评测中,检索 recall@4 达 100%、MRR 0.97,幻觉率 0%,30 个注入攻击 100% 被移除且无误删,每题平均耗时 6.6 s。技术栈采用 Claude Sonnet 5.5(回答)与 Claude Haiku 5.5(核查/OCR/扫描)、ChromaDB 与 all-MiniLM-L6-v2 本地嵌入,支持 Claude 订阅或 Anthropic API,并提供 Docker 部署。

  3. GitHub · 灵魂体仓库37

    cv-tailor(Jobhuntz):为工程师打造不编造经历的 AI 求职平台

    工程师 Soma Shekar Keesari 独立开发并运营面向工程师的 AI 求职平台 Jobhuntz(代码库名为 cv-tailor),可根据职位定制 CV 和求职信且不编造内容,已上线 jobhuntz.app。平台以"AI 写作、代码校验"为原则,通过 Claude Sonnet 事实验证、关键词匹配打分等机制,将无法溯源到用户 master CV 的句子比例从 28% 降至 6%。技术栈为 Next.js 16、React 19、Supabase 与 Anthropic Claude API,默认用 Claude、可切换 OpenRouter,配有约 400 个单元测试。

  4. GitHub · 3D 生成新仓库20

    CourseForge 开源:上传教学大纲一键生成结构化课程

    CourseForge 是一个开源项目,用户上传一次大学教学大纲,即可按学年学期组织科目并生成含 Markdown 课程、模块测验和进度跟踪的结构化课程,支持通过自有 AI 提供商或外部 AI 生成的 JSON 导入两条生成路径。项目基于 Next.js 15、TypeScript、Tailwind CSS 4、PostgreSQL(Drizzle ORM)和 Auth.js v5,里程碑 1–7 已完成并验证,包括 PDF 上传提取、服务端权威评分测验(Anthropic API 真实调用)与跨用户数据隔离;课程管理、搜索和分享功能尚未实现。

10月24日周六
  1. Reddit · r/LocalLLaMA72

    qwen3.8 27B 在韩文 RAG 评测上与 Opus 5.5 基本打平

    作者在 3090 上用 Allganize 韩文 RAG 数据集(300 题、64 份 PDF)实测,qwen3.8 27B 开启 thinking 得 77.3%,Opus 5.5 得 76.6%,McNemar 检验 p=0.82 属于打平。Opus 5.5 的 70 次失败中仅 25 次是模型问题,22 次源于无文本层的扫描页,作者认为瓶颈在 PDF 解析而非模型;韩文形态学分词器把 BM25 的 hit@5 从 56% 提到 80%,gpt-oss 20B 在把 token 上限从 1024 提到 8192 后从 57.5% 升至 69.6%。

    推荐理由:作者用带标准答案的韩文 RAG 数据集实测并给出 McNemar 检验和失败归因,还指出 PDF 解析而非模型才是瓶颈。

  2. GitHub · 灵魂体仓库60

    satori 开源:给 Claude Code 加自学习循环的 MCP 服务器

    timoncool 发布开源项目 satori,一个 MCP 服务器加 hooks,为 Claude Code 提供封闭自学习循环,把用户纠正和工具失败转化为课程草稿并自动激活为技能。全流程在聊天中以 ⛩ 标记可见,retire_skill 可一键撤销激活,SATORI_AUTO_APPROVE=0 可切换为手动审核模式;服务端只做确定性机制,无后台 LLM 调用。支持 Windows 原生运行、FTS5 历史会话检索、提示词注入标记扫描,并可与同作者的 dream-skill 记忆整合项目配合使用。

    推荐理由:项目把 Claude Code 会话里的纠正与失败自动沉淀为可审计技能,全程可见、可一键回退,是可复用的自我改进工程方案。

  3. GitHub · 灵魂体仓库62

    model-eol 开源工具发布:扫描代码里的模型 ID 并预警退役日期

    开发者 thossullivan 发布 model-eol,一个扫描代码中 AI 模型 ID、标记已退役或即将退役模型的工具,提供 CLI、GitHub Action 和自动开迁移 PR 的机器人三种形态。动机是 2026 年 7 月 23 日 OpenAI 关停一批模型快照导致其研究工作流报 model-not-found 错误,而退役日期此前只散落在供应商文档和邮件里。

    推荐理由:作者从一次模型下线导致工作流中断的亲身经历出发,给出了模型退役日期的开源 feed 格式与 CLI、GitHub Action 和自动开迁移 PR 的机器人三件套。

  4. GitHub · 3D 生成新仓库32

    rag-qa-assistant:基于 RAG 的文档问答开源项目

    开源项目 rag-qa-assistant 基于 RAG 架构,对自有文档(.txt、.md、.pdf)切块检索并用 Anthropic Claude API 生成带来源引用的答案,支持 TF-IDF 或 sentence-transformers + FAISS 两种检索方式,提供 FastAPI 接口和 Streamlit UI。在 12 道测试题上,TF-IDF 加轻量词干化后 hit@4 达 100%(12/12)、MRR 1.00;无 API key 时可回退展示最佳段落。

  5. Reddit · r/SillyTavernAI15

    求推荐适合沉浸式角色扮演的 Claude Fable 5 SillyTavern 预设:自主 NPC 与慢节奏关系发展

    一位 SillyTavern 用户在 Reddit 寻求适合 Fable 5(非 5.1)的长篇沉浸式角色扮演预设推荐。她希望 NPC 拥有自主动机和秘密、关系发展缓慢真实、具备心理深度,并严格禁止 AI 代写 {USER} 的言行。她试过 Stabs 预设和定制的 GLM 5.1 directives 预设,但复杂预设反而让 Fable 过度规划、角色显得套路化,因此也想了解简单提示词与复杂指令哪个效果更好,以及是否应开启 reasoning/thinking。

  6. AIHOT · 精选38

    Anthropic 介绍 Claude Duet 智能体的安全、隐私与凭证隔离设计

    Anthropic 发文介绍处于研究预览阶段的 Claude Duet 智能体的安全与隐私设计。重要操作如发消息、付款、删除需用户在审批卡上确认,独立分类器检查操作是否符合意图;密码、cookie 和登录令牌不经过模型,支付使用一次性虚拟卡;敏感信息分两级共享策略,由独立分类器在发送前检查。

  7. Reddit · r/LocalLLaMA34

    实测 DeepSeek-V4.1-Flash-1017:像"穷人版 Opus 5.5",Qwen3.8-Flash-Next 更好用

    作者实测 DeepSeek-V4.1-Flash-1017 后认为不如 Qwen3.8-Flash-Next:DSF 坚称 Broadwell-EP 有 AVX-512、拒绝从 libgen 下载论文,而 QFN 20 分钟完成同样任务。让四个模型对比 AI 泡沫与历史泡沫后,Opus 5.5 评审发现 DSF 与 Opus 5.5 报告最相似:TF-IDF 相似度 0.572、共享 200 个四词短语,分析方法几乎一致。

  8. GitHub · 去对齐工具与仓库52

    odiumuniverse 接手 claudecode.nvim,为 Neovim 带来 Cursor 式逐 hunk 审查

    odiumuniverse 发布 claudecode.nvim 更新版,因原版 coder/claudecode.nvim 自 2026 年 6 月起无新提交,该仓库延续上游的 IDE 连接并新增逐 hunk 审查、行内批注、zen 模式和 cswap 账户切换。插件通过 Anthropic VS Code 扩展同款 WebSocket MCP 协议连接 Claude Code CLI,以未修改的 claude 二进制运行,需 Neovim 0.11+,仓库地址 https://github.com/odiumuniverse/claudecode.nvim。

10月23日周五
  1. GitHub · 灵魂体仓库17

    Albert School LLM 课程实验仓库:llm-course-labs

    TangoAI-AlbertSchool-Data-Eng-Cloud 在 GitHub 发布 LLM Fundamentals、Prompting & API Integration 课程的配套 notebooks,每节课一个文件夹,含课堂演示和练习。课程覆盖 token 生成与提示词、API 与结构化输出、RAG、评估/成本/guardrails 四个主题。运行需 Python 3.12 与虚拟环境,支持 Anthropic 或 OpenRouter 的 API key,数据来自 tickets-v1.00 公开发布的 120 条标注支持工单,采用 CC BY-SA 4.0 许可。

  2. GitHub · 灵魂体仓库61

    heyvaldemar 开源 kubernetes-air-gapped-ai-agent 参考架构

    heyvaldemar 在 GitHub 发布 kubernetes-air-gapped-ai-agent 参考架构,让 AI Agent 在无外网路由的 kind Kubernetes 集群内用 CPU 运行 llama.cpp,模型经签名镜像和 Kyverno 准入校验后加载。随附 15 项任务的每日评测:六个内置与受测模型在 12 条植入指令上最多中招 6 条,而 MCP 服务器按 schema 拒绝了全部外发邮件(含隐藏模式后的 92 次),无数据外泄、无记录被删;每周任务另经唯一出口调用 Claude Haiku 5.5 与 Claude Sonnet 5.5,二者均未中招任何植入指令。仓库定位为参考而非产品,MIT 许可。

    推荐理由:仓库用可复现的检查把边界与模型分开验证,被诱导的数据点数只作测量不作门槛,这种做法可以迁移到自己的 Agent 部署里。

  3. arXiv · cs.CL53

    arXiv 论文揭示大语言模型以隐匿化方式产生概率偏见

    Christian Arnold 等在 arXiv 发布论文,用有精确贝叶斯答案的双瓮博弈测量大语言模型拒收信息的代价,覆盖 OpenAI 和 Anthropic 两家模型、10 种描述配置共 6,600 次会话。研究发现模型常以与证据无关、而与报告者描述挂钩的比率拒绝评估信息,Black 描述的报告者被拒率最高达 46%,white 描述为 9%;该偏见在只比较平均信任度或仅看已评估案例的审计中不可见,且随推理力度增加而加重。作者还提出按多轮真实结果评分的方案,五组配置中有四组的种族信任差距在最后一轮降至 0.02 以下。

    推荐理由:研究指出了常规偏见审计容易漏掉的一种机制,模型靠拒绝评估而非降低信任来隐藏偏见,并给出了可用的评分修正方案。

  4. GitHub · 灵魂体仓库51

    Tajima 发布护理执业考试 LLM 一致性研究的数据与代码仓库

    Tajima(Shumei University)公开了预部署评估研究的数据、分析脚本和图表代码,研究考察 GPT-4o、Claude Opus 4.5 与 Gemini 2.5 Flash-Lite 在护理临床判断题上的输出一致性何时不再对应正确率。主分析(Study 2)基于日本国家护理考试 2018–2026 年间公开的 90 道题,90 题 × 11 个模型-温度条件 × 30 次 = 29,700 条响应;修订版将受并列项顺序影响的分诊 AUC 修正为 GPT-4o 0.77、Claude 0.50、Gemini 0.68。

  5. AIHOT · 精选58

    Anthropic 用 Claude 对 123 个开源库完成汇编级形式化安全证明

    Anthropic 与 Theorem 合作,用 Claude 将 OSS-Fuzz 模糊测试转化为规格,对 123 个开源库的 239 个入口点证明了任意 64 MB 以下输入不崩溃。整个工作生成了约 1.8 亿行 Rocq 证明。

    推荐理由:把模糊测试转化为规格再生成汇编级形式化证明的完整链路,展示了 Claude 在安全验证领域的可复用做法。

  6. AIHOT · 精选53

    Claude 网页、桌面和移动端将默认启用 auto mode

    Claude 官方宣布,下周起 Pro、Max 和 Team 套餐在 Claude 网页、桌面和移动端应用中的会话将默认以 auto mode 运行。auto mode 不再逐步请求用户批准,改由自动检查拦截高风险操作,用户可随时切回手动模式。其引用的 Claude Code 更新提到 auto mode 用独立分类器审查 shell 命令,测试中拦截了 89% 的危险命令,手动批准为 14%。

  7. Reddit · r/LocalLLaMA46

    Gemini 4 Argon 与 Claude Sonnet 5.5 移除 temperature 采样控制,社区质疑确定性影响

    Gemini 4 Argon 与 Claude Sonnet 5.5 已实际移除采样控制:Sonnet 5.5 对非默认 temperature 或 top_p 直接返回 400 错误,Gemini 4 Argon 接受参数但静默忽略。作者认为官方以“推理模型”解释,但大量依赖调低 temperature 的生产流程会失效。作者正用 200 条抽取输入各跑 20 次测试字节级输出一致性,本地 Qwen 在 temp 0 下接近完全一致。

  8. AIHOT · 精选57

    Anthropic 指南:何时把子智能体合并进主 Agent 循环

    Anthropic Applied AI 团队发布指南,讲解何时把 orchestrator 下的路由器、规划器和领域子智能体合并进单个主 Agent 循环。文中对比显示,带 skills 的单智能体在质量上常优于一提示全包和子智能体设计,且成本和延迟更低;一家客户改用单循环后运行时间约快 2x。

    推荐理由:Anthropic 给出了多智能体与单循环架构的选择判据,附质量与成本延迟对比,可迁移到自己的 Agent 设计。

10月22日周四
  1. GitHub · prompt 工程新仓库28

    0xfnzero/AI-Code-Tutorials:Claude Code 与 OpenAI Codex 中英双语 AI 编程教程仓库

    GitHub 开源教程仓库 0xfnzero/AI-Code-Tutorials 提供中英双语的 Claude Code 与 OpenAI Codex 系统教程,共 16 课,覆盖安装配置、Web 项目实战、提示词优化、AI 子代理、MCP 服务器及 Codex CLI、App、IDE、Cloud 工作流。内容面向零基础用户到专业开发者,并自 2026-06-20 起建立持续更新机制,遵循 MIT 许可证。

  2. GitHub · 灵魂体仓库42

    GodfreysDragon 开源 rag-doc-qa:手写 RAG 管线的文档问答项目

    GitHub 开源项目 rag-doc-qa 支持上传 PDF、Word、Markdown 或文本文件并提问,答案以流式返回并附可点击的引用,链接到原文出处。检索管线完全手写,涵盖文本提取、约 300 token 递归分块(50 重叠)、向量与关键词混合检索(top 20 各取前 6 经 RRF 融合)及提示词接地。技术栈为 Laravel 13 · PHP 8.4 · Vue 3 · PostgreSQL + pgvector,嵌入可选 Voyage AI 或 Ollama,生成模型用 Claude(Anthropic PHP SDK)。

  3. GitHub · 去对齐工具与仓库26

    Athletix:基于 Strava 历史数据的训练负荷分析系统

    Athletix 是一个基于 Strava 运动历史数据构建训练负荷分析的开源项目,通过计算急慢性负荷比(ACWR)评估疲劳与受伤风险,并用回归模型结合 Riegel 公式估算比赛表现。系统采用 Streamlit 界面与八模块架构,通过 OAuth 2.0 同步 Strava API 并以 Supabase 持久化数据,还提供解读指标的 LLM 对话智能体。项目源自 UNACH 数据科学与 AI 课程的课程作业。

  4. GitHub · 灵魂体仓库26

    combinatoratrix-ai/claude-models-list:每日自动更新的 Anthropic 可用模型 ID 列表

    GitHub 仓库 combinatoratrix-ai/claude-models-list 通过 GitHub Actions 每日从 Anthropic 官方 GET /v1/models 端点抓取模型 ID,以公开 JSON 快照形式发布,供没有 API key 的环境只读查询。最新快照(2026-10-22 刷新)列出 Claude Haiku 5.5、Sonnet 5.5、Opus 5.5 等模型,近期模型最大输入 1,000,000 token、最大输出 128,000 token。仓库为只读镜像而非 API 代理,采用 MIT License,仅按更新所用 API key 可见的模型范围生成快照。

  5. GitHub · 去对齐工具与仓库40

    fixture-entropy:测量 7 个 Claude 模型生成测试数据时的重叠率

    GitHub 仓库 fixture-entropy 测量 Claude 模型两次独立生成 30 个测试值时的重叠概率:人名场景下 64%–98% 的运行对至少共享 1 个名字,同规模 Faker 仅 1.29%。项目覆盖 7 种值类型、7 个 Anthropic 模型共 1274 次调用,经 Claude Code CLI 2.1.302 于 2026 年 10 月 19–20 日完成,并与 Faker、真随机基线对比,评估 UNIQUE 约束种子失败风险。

  6. GitHub · 去对齐工具与仓库44

    HaakTuah 开源 Amarna Letters:青铜时代七大王国外交策略游戏原型

    HaakTuah 在 GitHub 发布策略游戏原型 amarna-letters,以青铜时代晚期(约公元前 1360–1330 年)七大列王为背景,无外交规则,条约与背叛全由玩家自定。引擎只执行移动、战斗、生产与支付等物理规则,每条消息经有自身动机的使者转达,形成国王原话、使者在异国宫廷所言与回报国内三个版本。可在浏览器游玩,可让 Claude 扮演全部七王;无 API key 时全部由脚本玩家进行,整局免费。

10月21日周三
  1. GitHub · 3D 生成新仓库56

    SPAR 项目检验 LLM 行为自签名:未发现特权的自我访问能力

    SPAR 2026 秋季项目通过掷硬币模拟和石头剪刀布、匹配便士博弈两类实验,检验 LLM 是否有可识别的行为签名及对自身签名的特权访问,结论是没有证据支持特权自我访问。仅 Fable 显示真实的自我预测效应,但一个只看历史的分类器表现相当,更像是对模型习惯的知识;实验覆盖 GPT-6 Astra、Claude Fable 5.1 和 Qwen3.8 27B,判断者重测仅约80%复现,总花费约 $251。

  2. Reddit · r/SillyTavernAI22

    使用 Claude 的额度限制需要担心多少?一位用户的疑问

    一位曾在 arena.ai 免费用过 Opus 4.6 并表示喜欢的用户,询问如果订阅 $20 套餐需要多担心用量限制,并提到自己目前用 GLM 5.2。他举例称 ZCode 提供 3M tokens 免费额度配 GLM 5.3,自己一个复杂编码提示就在几分钟内用完;他还习惯让 AI 一次写多章节的长篇 RP 故事,想知道这样使用是否值得。

  3. GitHub · 去对齐工具与仓库50

    The Dutchman:分析 Claude Code 日志并一键修复费钱设置的插件

    daanmeersseman 发布开源插件 The Dutchman,读取本地 Claude Code 近 30 天日志,找出缓存过期、长会话、闲置 MCP 服务器等费钱设置和习惯,并按用户自己的会话给出每月成本或可省金额。应用修复不调用模型、每个文件先备份、可一键撤销,完全本地运行不上传数据;要求 Claude Code 2.1.275 及以上和 Python 3,MIT 许可。

  4. Reddit · r/LocalLLaMA51

    Qwen3.8-Flash-Next 对比 Opus 5.5:同一 Rust 任务六组合 12 次基准实测

    /u/deepu105 在 r/LocalLLaMA 发布受控编码评测:以 LlamaStash 路线图中的保存与恢复 llama-server KV cache 功能为同一任务,6 种模型与 harness 组合各跑 2 次共 12 个 PR,全部通过端到端测试。Claude Code + Opus 5.5 xhigh 平均 6.94/8 分,Claude Code + Flash-Next 为 5.5 分,Pi + Flash-Next 为 5.06 分;Opus 代码质量领先(82% vs 68%/66%),差距集中在边界情况、测试与文档。

  5. GitHub · 灵魂体仓库62

    Simile 开源村庄模拟:NPC 依托 Claude Code 与 Qwen3-TTS 本地运行

    GitHub 项目 mentaldesk/simile 发布了一个等距像素风小村庄模拟,NPC 由核心价值、关系指标和事件记忆日志驱动行为与对话,思考通过本机 Claude Code 登录完成,无需 API key。语音用 Qwen3-TTS 在本地生成,Apple Silicon 上经 mlx-audio 推理,句子文本到达后 0.2–0.4 秒出声,生成速度约为播放的 3 倍,只对玩家可闻的对话配音。村庄新闻由 Claude Haiku 分析六个 RSS 源,每源最多 10 条。

    推荐理由:仓库文档写清了 NPC 核心数值、关系四指标和记忆日志的设计,读者可以照此复现带记忆的村庄智能体。

  6. Reddit · r/SillyTavernAI18

    想无封号风险使用 Claude Opus 4.6:选 Claude Pro、API 还是 OpenRouter?

    一位 SillyTavern 用户长期用 Opus 4.6 做写作,认为 GLM 5.2(认为 5.3 不适合写作)不如它,想付费使用 Opus 又担心涉及违规内容的越狱提示词导致封号。该用户在 Reddit 询问应选 Claude Pro、官方 API 还是 OpenRouter,并追问 claude.ai 免费可用模型及 Claude Pro 仍提供哪些 Opus 版本。

10月20日周二
  1. AIHOT · 精选44

    METR 评测 Anthropic 2026 年 8 月风险报告对齐章节,认可低风险结论但质疑评估方法

    METR 发布对 Anthropic 2026 年 8 月风险报告“高风险场景中的错位”章节的独立外部审查,基本同意截至 2026 年 7 月 15 日 Mythos 5 和内部模型 Model 2 的灾难性错位风险为低。但 METR 认为,低风险主要源于模型能力有限而非安全防护,并对评估方法提出质疑。