内容形态
开源仓库与工具：人格工程、记忆系统、去对齐脚本、推理与微调工具链。
2,050 条精选近 30 天 2,043 条共收录 8,516 条
作者开源了 LLM-Inference-Engine 项目，在单张 A10G 上从零构建 Qwen3-8B 推理引擎，容量较朴素服务提升 17.2 倍（0.33 到 5.70 req/s），p95 首 token 延迟从 25.1 秒降到 336 毫秒。项目先写预测再实测，约三分之一预测出错；核心发现是每个优化没有固定加速比，同一量化标记在短请求上值 1.07 倍、长请求上值 2.35 倍，prefix cache 在唯一提示上无收益、对话中达 35 倍，并用 Nsight 定位与 vLLM 的 6 毫秒差距主要来自 2,079 次未融合的 kernel 启动。
推荐理由：作者把每个优化都给出预测、实测和误差解释，量化或缓存的收益取决于工作负载这一点有对照数据支撑，方法可直接迁移到自己的推理项目。
DigitalEnterpriseTransformation 在 GitHub 发布 llm-gateway，用统一入口对接 vLLM、SGLang、DeepSeek、OpenRouter、阿里百炼和 KIMI，对外只暴露一个 reasoning_effort 思考开关，并把三种上游思考流形态归一为 delta_reasoning / delta_content 双通道。库用法提供可插中间件的对象流，HTTP 用法兼容 OpenAI SDK，附带模型目录归一、结构化日志与等价性测试。
推荐理由：原文详细说明了把六家不同思考参数与思考流形态归一成统一双通道接口的做法，适合关心多供应商路由与流式中间件插入的读者参考。
LonSha 发布了 SillyTavern 第三方扩展 lonsha-memory-plugin v3.296.0，主打可追溯的记忆与账本引擎，写入、回读、判据三层可对账。当前快照为 277 个测试文件、2986 断言、0 失败、审计 59/59；插件按 manifest. 装载，无构建步骤、无外部数据库依赖，采用 MIT 许可证。
推荐理由：原文展示了用审计脚本对账文档读数的工程做法，测试与版本数字均可回源到磁盘，可作记忆插件工程的参考。
futuregene 在 GitHub 开源了 FutureOS，一个用 Rust 编写的统一 Agent，通过单个 gRPC 后端驱动终端 TUI、桌面、移动端、CLI 和 IM 机器人，共享会话、记忆与技能。工具内置可配置的文件访问审批与 OS 沙箱（macOS Seatbelt、Linux Bubblewrap、Windows 受限令牌），支持 24 小时以上的长时运行控制平面、15+ 内置技能、JSONL 会话分叉克隆，并提供 BYOK 或 FutureOS 托管两种模型配置方式。
推荐理由：README 详细写明了沙箱分级、会话分叉和长时运行控制机制，适合评估这类开源 Agent 工具的工程取舍。
GitHub 用户 hundredeuk2 发布 judge-adapter，输入一个问题（一或两轮）和两个回答，输出 A、B、平局或显式错误，并记录每次调用，采用 Apache-2.0 许可。核心仅依赖 httpx，提供 JSONL CLI、Python API 和可选 FastChat llm_judge 绑定（MT-Bench 式 pairwise 评审），支持 rubric 和参考答案（随版本与 sha256 一起记录）。默认使用 fake 传输，真实调用需 --allow-real、--max-submissions 和 --budget-cap-usd，失败不重试、不折算成平局，密钥经清洗器移除。作者说明该包本身未对真实模型跑过，仅作 mock 测试。
推荐理由：原文详细写明了调用记录、成本上限、密钥清理和 FastChat 绑定的具体做法，读者可以直接复用这套评测工程方案。
GitHub 用户 false200 发布 toolschema 库，对带类型注解和 docstring 的 Python 函数做一次内省，生成 JSON Schema 2020-12 的 ToolDefinition，再导出为 OpenAI、Anthropic、Gemini、MCP、LangChain、FastMCP、Pydantic AI、OpenAI Agents SDK 各自的工具格式，无需在各框架内重复生成 schema。
推荐理由：原文给出了一处定义、多框架导出工具 schema 的完整用法和适配差异说明，对要在多套 Agent 框架间复用工具定义的开发者有直接参考价值。
GitHub 项目 airoute 发布，是一款 Go 语言构建的自托管 LLM 与全模态智能网关，支持 OpenAI、Anthropic、Gemini 协议 Any-to-Any 双向转译。提供智能探测下游自动建渠道、多渠道优先级 failover 与三态熔断、首字前无感容灾，单二进制内嵌 React 19 管理台，支持 SQLite 与 PostgreSQL 部署，涵盖对话、生图、TTS、Whisper STT 与视频生成接口，基于 MIT 许可证开源。
推荐理由：原文详细给出了协议双向转译、三态熔断与零数据库热路径等实现细节，读者可以直接评估这套自托管 LLM 网关是否适合接入自己的多供应商渠道。
mausa-ai 在 GitHub 发布 neosian 1.6.0，一个面向 LLM Agent 的状态层，提供持久会话、Agent 自管记忆、技能、共享台账，存储可落在本地目录、Postgres 或自托管状态进程。通过 MCP 和 hooks 可接入 Claude Code、Codex、OpenCode、Cursor 等客户端，一次 setup 后各客户端共享同一存储并互相接续会话；记忆为带版本行的 markdown 文档，支持 revert_memory 回退，Python >= 3.12，Apache-2.0 许可，无账号即可用 Model.FAKE 验证安装。
推荐理由：原文详细说明了给已有 Agent 加持久记忆和技能的存储层设计，包括会话台账、记忆版本回退和多客户端衔接机制。
coffeecoproject 发布 LayerMap，一个本地 MCP 工具，用各语言编译器或类型检查器解析调用关系，单次调用即可把函数的调用者与被调用者追踪到最多 8 层、直至 HTTP 路由、任务和命令，支持 TypeScript、JavaScript、Go、Python 和 Java。
推荐理由：用编译器级解析为编码智能体提供单次调用追踪调用链到 HTTP 路由的本地工具，并附公开基准数据，方法与结果都可复核。
作者开源了 agentic-devflow，一个半自主开发智能体框架，可做 issue 分诊、把 Jira 工单变成带测试的 PR、审查 diff 和更新文档，用 n8n 处理触发与人工审批、MCP 提供工具，模型可用 Claude 或通过 Ollama 自托管的开源权重模型。核心是风险分级策略：工具按 read/write/publish/critical 四级分类，超过 autonomy 上限的操作会暂停等待人工批准，合并永远需要人确认，未分类工具默认按 critical 处理。
推荐理由：开源的半自主开发智能体框架，作者用7B模型实测了注入防御规则开关的前后差异，policy设计细节可直接借鉴。
AgentsKit 在 GitHub 发布，定位为 JavaScript 生态的 AI 智能体构建工具包，核心包 @agentskit/core 已达 v1.12.8，零运行时依赖，CI 强制 10 KB gzipped 体积预算。项目由 6 份 ADR 契约支撑适配器、工具、技能、记忆、检索器和运行时的可替换性，提供 24 个包、7 个框架绑定、25 个原生适配器、21 个技能、17 个记忆后端和 69 个 recipes，支持 OpenAI、Anthropic、Gemini、Ollama、DeepSeek、Grok 等供应商一行切换。README 附快速上手示例和与 LangChain.js、Vercel AI SDK、assistant-ui 的对比表，并诚实列出不适合使用的场景。
推荐理由：README 给出可执行的上手示例和与 LangChain.js、Vercel AI SDK 等框架的对比表，还诚实列出不适用的场景，便于评估是否引入。
开发者发布 Python 量化库 Octuma（前身为 TinyQ），用 GPTQ+AWQ、每组 32 权重把模型量化到 INT4/INT8，可导出 GGUF（Q4_1）供 llama.cpp 和 Android 使用，Qwen2.5-3B 从 6.18 GB 压到 2.40 GB、质量损失 2.4%。作者给出同引擎对比：在 3B 上质量损失仅为 Q4_K_M 的约 1/2.6，但文件大 24%-33%，且 0.5B 上 Q4_K_M 更优；也注明 PyTorch 内不加速（4.2 tok/s 对 14.4）、未与 AutoGPTQ 对比、GGUF 导出仅支持 llama/qwen2/mistral/gemma 四种架构。
推荐理由：作者用同一引擎和语料把自家的 INT4 与 llama.cpp、bitsandbytes 实测对比，还写清了局限，适合想本地量化的读者参考。
Neeeophytee 发布 awesome-ai-workflows 仓库，收录真实可运行的 AI 工作流，覆盖编码智能体、RAG、本地推理、自动化和安全等类别。区别于普通清单的是 135 条配方由 CI 在每次变更时自动验证确定性步骤，失败即自动降级徽章；另设 author-tested 徽章标注作者实测但未接入 CI 的条目，AI 生成步骤单独标注、不声称机器验证。许可证为 CC0-1.0。
推荐理由：这个仓库把每条工作流的确定性部分接进 CI，坏一步就掉徽章，为筛选长期可用的 AI 配方提供了可复用的验证思路。
WeatherCore 在 GitHub 发布 mini OpenClaw，复刻并优化 OpenClaw 核心体验，以本地文件系统为唯一数据源，记忆存于 memory/MEMORY.md、会话存于 sessions/*.，摒弃数据库黑盒。技术栈为 FastAPI + LangChain 1.x create_agent + Next.js 14，技能遵循 Anthropic Agent Skills 范式，Agent 通过 read_file 读 SKILL.md 自学能力；System Prompt 由六文件动态拼接，支持 Monaco 在线编辑即时生效、对话压缩归档、tiktoken Token 统计，最低配置只需一个 DEEPSEEK_API_KEY。
推荐理由：原文完整给出了文件式记忆、技能即插件和六文件 System Prompt 的实现方式，读者可以直接复用这套透明 Agent 架构。
kolvian 在 GitHub 发布 TraceReduce 的早期 alpha 版本，从已保存的 LLM 请求中删除历史轮次，同时保留指定的失败（如期望的工具调用或参数），并生成可运行的复现脚本和回归测试。工具要求 Python 3.11+，用 JSON 配置，可通过 preserve_messages 固定任务所需事实；结果分 REDUCED、NOT_REPRODUCED、NO_REDUCTION 等五类，验证要求 5 次 baseline 中 4 次出现同一失败原因，候选请求 3/3 复现，最终对原始与缩减请求各交错 10 次调用且至少 8 次匹配。缩减器与 HTTP adapter 已有自动化测试，真实模型案例研究、checkpoint/resume、段落缩减等仍在计划中，项目采用 MIT 许可。
推荐理由：原文给出了缩减判定策略、调用预算和结果分类的具体规则，做 LLM 缺陷调试的读者可以直接评估这套工作流是否适用。
burakkaygusuz 在 GitHub 发布 Clastogen，一个 pytest 插件，通过删除规则、把 never 改为 always、把 must 弱化为 should、数字乘 10 等方式向系统提示词注入小故障，再重跑评测测试，检验测试能否发现这些缺陷，并输出 Mutation Score。插件用 SPRT 序贯检验在结果明确时提前停止，节省 API 调用，配合 10 次 Laplace 基线运行过滤 flaky 测试；demo 显示两个常规通过的测试只捕获 5 个突变体中的 3 个（得分 60%）。仓库见 https://github.com/burakkaygusuz/clastogen ，MIT 许可。
推荐理由：作者给出了用突变测试检验 LLM 评测是否真的能发现提示词缺陷的可复用方法，含 SPRT 省调用的设计与实测示例。
kamiiroawase 在 GitHub 发布 telegram-markdownv2 2.1.0，一个面向 LLM 机器人输出的 Kotlin Multiplatform 库，把 CommonMark（含 GFM 表格与删除线）转换为 Telegram MarkdownV2。支持对超长内容做保结构截断或无损分片（每段 ≤4096 字符、接缝实体按段闭合），官方 19 个特殊字符全量转义，发布于 Maven Central，覆盖 Android、JVM、JS、Wasm、iOS 等平台，含 310 个行为级测试，采用 The Unlicense 公共领域许可。
推荐理由：为 LLM 机器人输出设计的 CommonMark 转 Telegram MarkdownV2 库，截断与分片保结构的实现细节讲得具体，可参考复用。
akirilyuk 在 GitHub 开源 node-webrtc-rust，一套用于构建实时语音 Agent 的原生 WebRTC 栈，支持电话机器人、浏览器语音助手和多租户 worker pod。Node 负责业务逻辑与 LLM 调用，Rust 处理音频时序、VAD、barge-in 和 TTS 播放，无需单独的 SFU 集群；SDK 经 npm 安装，预置 Deepgram、OpenAI、ElevenLabs 等厂商适配及免 API key 的本地 Sherpa STT/TTS，支持 48 kHz 16-bit PCM 20 ms 帧、会话中途切换 STT/TTS、Sherpa 语言识别和 OpenTelemetry 延迟指标。
推荐理由：为 Node.js 实时语音智能体提供一套自带的 WebRTC 与 Rust 媒体时序方案，读者可对比独立 SFU 架构评估进程内部署思路。
tgockel 开源了 outrig，在宿主机运行基于 Rig 的 LLM 智能体，并把 filesystem、shell 等 MCP 服务器放进 podman 容器内实现工具沙箱隔离。用户在仓库中用 Dockerfile 和 .agents/outrig/config.toml 定义沙箱，运行 outrig run 进入 stdin/stdout REPL 与智能体对话；支持 Linux x86-64 与 AArch64，WSL2 可用，macOS 和原生 Windows 不支持，采用 Apache License 2.0。
推荐理由：原文给出了沙箱配置文件结构和 CLI 用法，读者可以照着把 MCP 工具隔离进 podman 容器里复现。
roy-tong在GitHub发布AgentMeasure，本地读取Codex rollout日志和Claude Code会话日志，检查重复记录、重试链与连续工具失败（HC-01..03），并可用--audit核查操作解析覆盖、缓存记账与token稳定性（HC-04..06），缺证据时输出UNPROVABLE而非静默置零。分析全程本地运行、无网络调用；v0.4.0/v0.4.1新增Claude Code adapter v1、conformance包、OTel/Prometheus导出及AMS-1结算单，还收录了436k到54,154 token误计的真实案例。注意PyPI仍是会在首条命令崩溃的0.4.0，需从git安装0.4.1。
推荐理由：工具将执行事实与逻辑操作分开计量，并用UNPROVABLE显式披露证据缺口，适合关注Agent用量计费准确性的人参考。