内容形态
开源仓库与工具：人格工程、记忆系统、去对齐脚本、推理与微调工具链。
2,053 条精选近 30 天 2,046 条共收录 8,538 条
作者在 GitHub 发布了 Oberton（前身为 Local Dictation），一款 Windows 全本地 AI 听写工具，按热键说话后经 faster-whisper 转写、Ollama 本地模型（默认 qwen2.5:3b）清理文本并插入任意应用，默认 Keep everything offline，无账号或遥测。可选 Claude 等 Cloud 模型需自带 API key；NVIDIA GPU 下 large-v3-turbo 转写 20 秒语音约 1-2.5 秒，CPU 约 8 秒（Ryzen 7 5800HS 实测），另含 Ctrl+Shift+Space 本地朗读功能，支持 Kokoro v1.0、Piper 和 Windows 语音，MIT 协议开源。
推荐理由：这是一个默认全离线的 Windows 听写开源工具，给出了模型组合、显存占用与实测延迟，便于本地部署参考。
fuyuxiang 在 GitHub 发布开源项目 echo-agent（当前 0.3.x Beta，MIT 协议），提供 pip 安装的常驻 Agent 运行时和 Tauri 2 桌面应用两种形态。运行时可接入微信、Telegram、Slack 等 14 个通道共享同一份长期记忆与权限，支持 CLI、Webhook 与定时任务；桌面端可直接操作文件、浏览器和本地应用，高风险动作执行前需人工确认。项目支持完全自托管、凭证加密存储、技能从执行轨迹中进化（经评测集验证后晋升、带回滚），并提供 SSRF 防护与可审计日志。
推荐理由：原文完整说明了安装方式、14 个消息通道、桌面执行能力和权限审批机制，读者可以据此评估自托管 Agent 的落地可行性。
RinkusKhan 在 GitHub 发布 GENGHIS 协议，将本地网络中的闲置设备（GPU 笔记本、mini-PC、树莓派、eGPU 等）组成算力与内存池，通过层切分让多设备协同运行单机装不下的大模型。方案复用 llama.cpp 的 RPC 传输，由协调器按各设备实测吞吐、空闲内存与链路延迟规划分区并在设备增减时自愈。实测显示推理受延迟而非带宽约束：同一 RTX 5060 Ti 经 1 GbE 供队为 38 t/s，改接 Thunderbolt 后达 228 t/s；Pi 5 有线比 Wi-Fi 快 29%（7.6→9.7 t/s）。
推荐理由：原文给出实测数据说明层切分方案受链路延迟制约，同一 RTX 5060 Ti 在 1 GbE 与 Thunderbolt 下速度差近 6 倍。
1bit-MONSTER 发布 1bit engine，一个运行在 Lemonade 之内的推理引擎，通过 1bit serve 提供 OpenAI 兼容 API，首个版本于 2026 年 10 月 4 日周日发布，采用 Apache-2.0 许可证。引擎支持多条后端路线：AMD 的 ggml-hrx 加 Loom 内核跑在 Radeon iGPU 的 XDNA 2 NPU 上、llama.cpp 的 CPU 路线、Apple Silicon 上的 MLX（经 lemon-mlx-engine）以及 Lemonade 的 ONNX Runtime GenAI 模型；NPU 与 HRX 均通过 Strix Halo 端到端测试。
推荐理由：原文给出各后端在 Strix Halo 上的实测数据，包括 ZAYA1-8B 约 90 tok/s 解码和模型注册表 94.71% 的映射覆盖率。
SudoWork 发布开源项目 Nexus（Apache 2.0，https://github.com/nexi-lab/nexus），定位为 LangGraph、CrewAI、AutoGen 等 Agent harness 之下的基础设施层，提供共享存储、ReBAC 权限边界、进程隔离、Raft 分布式协调和跨节点联邦。内核为纯 Rust 约 5 MB 静态二进制，含 14 个 syscall 和 30 多个运行时可加载的 bricks，通过 Node.js fs 拦截或 Python open 补丁的 hook 层让任意 Agent 无需改代码即可接入。
推荐理由：原文给出了 IPC 延迟、BFCL 动态发现对比和 syscall 开销等实测数据，可据此评估这套多智能体基础设施层的实际成本。
Cass67 在 GitHub 发布 local_llm，一套面向 AMD（ROCm/Vulkan）与 Nvidia（CUDA）GPU 工作站的自托管 LLM 管理系统。模型在隔离 Docker 容器中运行并完整访问 GPU，Svelte Web UI 覆盖 HuggingFace GGUF 搜索安装、模型切换、配置编辑、按集群 VRAM 拟合评分、基准测试与聊天。
推荐理由：作者给出了多 GPU 张量并行的实测数据与投机解码配置对比，读者可以据此评估这套自托管方案在自己硬件上的收益。
Pecca 在 GitHub 开源，用于找出流水线中只返回固定标签的 LLM 调用，用已记录的输出训练 CPU 模型，先以 shadow 模式与 LLM 并行对照，通过门槛后切换为 live，LLM 降级为置信度低于阈值时的 fallback。支持 OpenAI、Bedrock、Claude 或本地模型作为被替换对象，含 tournament 式候选模型选择、置信度校准、audit pack，以及 gates、approvals、evidence 等六项治理原语，全部经 pecca.yaml 配置；通过 pip install pecca 安装，支持 Python 3.11-3.13，Apache-2.0 许可。
推荐理由：原文完整给出了从记录日志、shadow 对照到带治理门槛上线的替换流程，读者可以据此评估把固定输出的 LLM 调用换成 CPU 模型的可行性。
Harunercul 在 GitHub 发布 thriftllm 预发布版，一个把 LLM 调用路由到能胜任的最便宜模型的决策层工具。它按 $ per quality point 排序，预测输出长度、分层费率、缓存状态和 reasoning tokens 来计算单次请求的预期成本，而非常见的 input_rate + output_rate 求和；缓存折扣损失在决策时计价，会话亲和性在实测节省超过缓存损失时才切换模型。定价核心及测试已完成，路由器、基准和实测节省数字尚未完成，README 未写节省百分比。
推荐理由：项目明确区分已实现与未实测的部分，把 prompt 缓存损失计入路由决策，并预先注册了基准测试的口径。
caliban-ai 在 GitHub 开源了从零编写的 Rust agent harness caliban，核心 agent 循环、持久会话、TUI、headless 模式、子 agent、MCP、沙箱、权限、检查点和自动记忆均已上线，可通过 cargo install caliban 安装。它不绑定单一 SDK，Anthropic Claude、OpenAI、Google Gemini 及 llama.cpp、mlx-lm、LM Studio 等本地 OpenAI 兼容服务器共用同一内部 IR，路由采用声明式配置，数据默认存本地。
推荐理由：README 给出了已交付功能清单、与 Claude Code 的差距矩阵和已知模型限制，读者可据此评估是否替换现有 agent 工作流。
Icaro0310 发布 devin-memory 0.3.0，一个面向 Devin 的防投毒记忆存储，为每条记忆记录 source_session_id 和 source_rowid，可通过 verify 对照 Devin 的 sessions.db 只读审计来源。工具在每次写入时筛查密钥与注入形态，可疑条目进入隔离区，须人工执行 quarantine --release 才激活，并支持 supersede/retract 版本管理和 export 到 Devin memory MCP 兼容的 memories.l。官方 README 声明这是非官方社区项目，与 Cognition AI 无关；同时坦承写入筛查只是启发式过滤器，需配合 gitleaks 等专用扫描器使用。
推荐理由：原文详述了记忆防投毒的隔离门、来源溯源和版本机制的具体实现与局限，可直接评估是否引入自己的 Agent 记忆流程。
Lian Matsuo 在 GitHub 发布 remcycle，一个 Claude Code 插件（mod），逐字存档会话，每天后台由 dream 命令读取新会话，保留用户实际决定的内容并对存疑笔记提问。每条记忆标注来源，被质疑的笔记需用户裁决，会话开头加载的清单保持精简；存档为本地单文件，需 Claude Code 2.1.287 或更高版本，支持 macOS 和 Linux，Windows 支持为新加且尚未实测，采用 Apache-2.0 许可证。
推荐理由：作者以 Claude Code 插件形式实现了会话记忆的每日整理与来源追溯，部署和隐私边界都写得具体，可参考其记忆管理方法。
austin-cheng98 发布 llm-sentencing-agents 仓库，含 4,086 条 LLM 智能量刑决策记录，覆盖 Claude Opus 5、Sonnet 5、Haiku 4.5、GPT-6 Luna 和 GPT-6 Sol 五个模型，测得提示词措辞如何影响智能体对标注为同行数字的跟随（pull 与 peer premium）。Opus 5 的裸区块 premium 为 +0.32（p=0.0002），加入一句收尾语后降至 −0.01；中性同文件措辞下 GPT-6 Luna 的 premium 为 +0.250（p<0.001）。仓库提供预注册、冻结哈希、分析脚本与完整复现流程。
推荐理由：实验通过预注册和锚点位移设计量化了 LLM 量刑智能体对同行标注数字的跟随程度，方法与数据可复现。
emazaheri 在 GitHub 开源 ios-agent，一个通过 WebDriverAgent 和 Apple XCUIAutomation 驱动 iPhone 或 iOS 模拟器的 AI 智能体，提供终端应用、MCP 服务器（31 个工具、5 个资源）和底层库。设计上把原始 accessibility 树压缩成摘要（如 251 个节点压到 12 个元素，每步 50 到 472 token），动作自带结果屏幕以减半往返；在 gpt-5.6-sol 上 13 任务 3 轮实测成功率 39/39，成本 $1.50，并在真实 iPhone 上验证同一任务单次观察完成。安全方面默认对 Send、Pay、Delete 等操作和触达他人的动作要求审批，密钥经钥匙串直输且卡号邮箱在会话内脱敏。
推荐理由：项目给出了真实硬件上的 token、动作数和成本实测，还解释了为何坚持只用 Apple 公开 API，方法与数据都可复核。
Padraigobrien08 在 GitHub 发布 auditable-agent-loop，一个调查循环：LLM 负责规划和解释，确定性代码完成全部计算，每个结论可逐层追溯到证据记录，链路中没有任何数字由语言模型写出。项目用 SEC EDGAR 作旗舰数据集，公开的 6 次运行共花费 $0.0519、107 条证据记录全部关联到产生它的实验；其中对 AAPL/MSFT/NVDA 毛利率问题的运行以 refuted 收尾，拒绝了问题预设的前提本身。所有公开运行可通过 /demos 无账号、无密钥、无后端回放，自建自适应循环需 OpenAI API key，未配置密钥时回退为仅用于测试的规则引擎。
推荐理由：作者详细说明了LLM只规划解释、确定性代码算数的架构和已公开运行记录，读者可离线复看每个结论的证据链。
作者开源了 langgraph-order-agent，一个为牙科种植体供应商员工打造的订单问答 Agent，用 LangGraph 构建，可接本地模型或 Claude。任何写操作都会通过 interrupt() 暂停并返回审批卡片，人工批准后才执行；答案检查规则防止虚构数字、虚假取消声明和错误订单号。作者用两个开源权重模型（20B 和 8B）跑了 12 个场景各 3 次，含 6 次提示词注入，审批步骤全部守住；盲评还发现并修复了一个 product_lookup 只匹配精确子串的工具 bug。仓库提供 pytest 测试、HTTP API 和 docker compose 部署。
推荐理由：作者把带人工审批的订单 Agent 完整开源，还给出盲评评测结果，读者可以参照这套审批中断和答案校验做法迁移到自己的 Agent 项目。
RubyLLM 2.0 发布，这是一个 Ruby 原生 AI 框架，通过统一 API 接入 OpenAI、Anthropic、Gemini、DeepSeek、Ollama、OpenRouter 等 19 家服务商及任意 OpenAI 兼容端点。功能覆盖聊天、图像与视频生成、语音转写与合成、OCR、embeddings、rerank、内容审核、工具调用、Agent、结构化输出、流式响应、成本追踪与批处理等，并内置 Agent 评测（RubyLLM::Evaluation）与 Rails 集成（Active Record 持久化、Hotwire 流式聊天 UI）。
推荐理由：原文完整列出了 RubyLLM 2.0 的功能清单、支持的服务商列表和 Rails 集成方式，Ruby 开发者可以据此评估是否在自己的应用里直接采用。
Dinesh-Melimi 在 GitHub 发布 llm-security-gateway，一个介于内部应用与 LLM API 之间的 FastAPI 反向代理，按请求执行认证、限流、模型白名单、注入扫描、PII/密钥脱敏和金丝雀检测，并将每次决策写入仅存 SHA-256 哈希提示词的审计日志。控制项映射到 OWASP Top 10 for LLM Applications (2025) 与 NIST AI RMF；注入检测器在 50 条自建标注集上 precision 0.952、recall 0.80，作者提醒数字偏乐观，仅可作回归底线。项目支持 mock 或任意 OpenAI 兼容端点（vLLM、Ollama、LiteLLM 等），MIT 协议，不支持 SSE 流式与多副本限流。
推荐理由：作者给出了注入检测器在自建 50 条标注集上的 precision/recall 数字和已知局限，读者可据此评估这套网关是否值得直接复用。
regnull 在 GitHub 开源 OpenBot，一个自托管平台，用于运行一组持久化 AI 智能体。每个 bot 有名称、描述和行为指令，通过共享线程与人类、其他 bot 及外部系统通信，支持可插拔工具、基于 LangMem 的长期记忆和 HTTP 接入。系统采用 actor 模型，所有参与者都有持久收件箱；bot 间通过 @mention 交接形成工作流，如 chief_of_staff 委派 engineer 开 PR、reviewer 审查、qa 测试并请求人类批准后合并。
推荐理由：README 详细写明了 actor 收件箱模型、多 bot 交接规则和 run_shell 无沙箱等安全边界，读者可据此评估是否自部署。
GitHub 开源项目 MeetingBot 提供会议音视频上传后的完整处理链路：云 ASR 转写带说话人分离、单遍长上下文生成六字段结构化纪要（概要、议题、观点、决策、待办、风险，每字段带证据来源）、LangGraph 编排审查-重写-复审自检环，修订稿需人工确认后归档并可导出 Word/PDF。技术栈为 FastAPI + Vue 3 + MySQL + LangGraph + Temporal，Docker Compose 一键部署五服务，模型走 OpenAI 兼容接口（默认 Qwen3.8-Max + Qwen-Audio ASR），ASR 引擎可切换云端或本地侧车（FunASR + MOSS-Transcribe-Diarize）。
推荐理由：开源会议纪要系统，把转写、六字段纪要、Agent 自检和调用观测做成完整链路，Docker Compose 一键部署，MIT 许可。
vllm-project 发布 vLLM Metal 插件，让 vLLM 通过 MLX 作为主要计算后端在 Apple Silicon Mac 上运行大模型推理，统一 MLX 与 PyTorch 的 lowering 路径。v0.2.0 将统一 paged varlen Metal kernel 设为默认注意力后端，相比 v0.1.0 TTFT 提升 83x、吞吐提升 3.6x；2026/08 起利用 M5 NAX tensor 单元加速 MHA、GQA、MQA prefill，并支持 Qwen3.8（mlx-community/Qwen3.8-27B-8bit 可在单台 Apple Silicon 上运行 27B 混合 SDPA + GDN 线性模型）。
推荐理由：vLLM 官方插件让大模型在 Apple Silicon 上跑推理，给出了 v0.2.0 相对 v0.1.0 的 TTFT 和吞吐提升数据，可作本地部署参考。