跳到正文

内容形态

开源项目 最新动态

开源仓库与工具:人格工程、记忆系统、去对齐脚本、推理与微调工具链。

2,050 条精选近 30 天 2,043 条共收录 8,517 条

更新

精选归档 · 第 24 页

10月10日周六第 461–480 条
  1. Reddit · r/LocalLLaMA61

    DGX Monarch 开源:用 ComfyUI 实现双 Spark 集群近2倍渲染加速

    Reddit 用户 /u/Historical-Internal3 发布开源项目 DGX Monarch(https://github.com/Deen-Media/dgx-monarch),让双 Spark 集群可配合 ComfyUI 做图像/视频生成,渲染速度可接近2倍,因模型和设置而异。支持 BF16/FP8/NVFP4/INT8 等格式,不支持 GGUF。作者称项目从今年4月开发至今,大量借助 AI 编码并自费维护多个订阅账号,还计划未来发布更多 DGX 相关项目。

    推荐理由:作者实测给出近2倍的渲染加速数据,并说明了支持的量化格式与模型差异,做双 Spark 集群图像视频生成的用户可以参考。

  2. GitHub · 灵魂体仓库59

    karpathy-jev 技能发布:用 Jev 独立证据审查替代 AI 编码 Agent 自评

    reliable-era 发布 karpathy-jev,一个 Claude Code 技能,在首次编辑和声明完成前的固定检查点收集 diff、命令与真实 exit code,交由独立的 TypeSafe Jev 判定 proceed 或 revise。SWE-bench Verified 20 任务上,Claude Code + Sonnet 5 下该方案解决 20/20,虚假完成声明 0 次(原生 2 次),最后一次编辑后真正跑测试的比例 13/20(原生 1/20);解决数差异在 n=20 下不显著,单任务中位耗时 +8%。实验还发现 Sonnet 在 112 次运行中从未主动打开自愿式技能,强制 hooks 是行为改变的关键。

    推荐理由:原文同时给出方法和实测数据,读者可以对照三种方案看到强制钩子与提示词自评在行为上的真实差别。

  3. GitHub · 灵魂体仓库70

    Pie 发布预览版:用 WebAssembly inferlet 在模型旁自定义推理控制

    Pie 项目在 GitHub 上架预览版软件,允许用户用 Python、JavaScript 或 Rust 编写运行在模型旁的 WebAssembly 程序 inferlet,由其驱动 forward pass 并独占 KV cache,从而按应用实现 agent 循环、工具调用、自定义采样器和缓存策略,无需修改引擎。示例涵盖 beam search、投机解码、KV-cache 共享与扩散等;pie serve 在同一端口兼容 OpenAI、Anthropic 和 Google 的客户端 API,支持 cuda、metal、vulkan、wgpu 四种后端,npm 包可在浏览器经 WebGPU 编译运行,Apache License 2.0 开源。

    推荐理由:README完整给出了安装、示例inferlet和四种GPU后端的构建方式,读者可以据此评估这个把控制逻辑下沉到模型旁的推理引擎是否适合自己。

  4. GitHub · 去对齐工具与仓库59

    DeepSteer 开源:追踪 LLM 从预训练到后训练的道德认知与行为差距

    Distiller Labs 在 GitHub 发布 DeepSteer,一套用于测量语言模型道德内容表征及其行为是否一致的 PyTorch 工具,Apache 2.0 协议,支持 pip install deepsteer。研究发现道德知识的低秩子空间在预训练中形成,后训练只做旋转;OLMo-3 的拒绝门是后训练构造,约四分之三因果输入在道德子空间之外;OLMo-3-7B-Instruct 在压力下约五分之一场景会执行其自判错误的行为。包内含 1200 对道德/中性探测数据集、消融与转向扫描、表征与行为基准,及六篇配套论文(如 arXiv:2610.08670)的复现脚本,FL 和 MN 的数据存于 Zenodo。

    推荐理由:作者开源了一套测量语言模型道德表征与行为差距的 PyTorch 工具,附数据集、基准和配套论文,可直接复用于对齐研究。

  5. GitHub · 去对齐工具与仓库62

    suntree-j 开源 ai-comic-studio:用 Comic IR 中间层把小说自动改编成漫画

    作者开源了 ai-comic-studio,把小说自动改编成漫画,核心思路是让 LLM 只产出受 Schema 约束的 Comic IR,由确定性引擎负责渲染。项目用 12 条业务规则校验加自修复循环解决一致性、可编辑性和可复现性问题,改一句对白只需约 3 秒重渲染该页而不用重出图;附面板编辑器、Docker 部署、269 个测试和源自《全职法师》2426 至 2445 章 168 页改编的实战经验。

    推荐理由:原文详细给出 Comic IR 的四文件结构、12 条规则和自修复实测,读者可以直接评估这套小说改漫画方案的落地程度。

  6. GitHub · 去对齐工具与仓库65

    Chutes.ai 发布 Epigenesis:Free-Slot Adaptation 让模型不改动基础权重即可写入并可精确撤销新知识

    Chutes.ai / Parallax 开源 Epigenesis,提出 Free-Slot Adaptation(FSA):冻结基础权重,把新知识写入 pair8 三值 MoE 格式保证存在的结构化零槽位,撤销时将槽位清零即可逐位恢复原模型。在 lambda 8B 三值 MoE 上教授 40 条人物事实,三值 Bop writer 在留出改写上达到 100% 召回,补丁仅 0.8–2.7 MB(约为同层 bf16 LoRA 的 1/15–1/50),推理零额外开销,但通用文本损伤 +0.024–0.027 nats,高于带惩罚的 LoRA,是该方法的当前短板。代码 Apache-2.0 开源,论文由 AI 辅助撰写并经作者验证,尚待多会话累积(EP-1)验证。

    推荐理由:原文给出在真实 8B 模型上的召回率、文本损伤和补丁体积实测,并与 LoRA 基线逐项对比,方法和局限都写得很具体。

  7. GitHub · 去对齐工具与仓库75

    recall 开源:为 Claude Code、Codex 和 Cursor 提供跨工具共享记忆

    开源工具 recall 发布,读取 Claude Code、Codex 和 Cursor 已存留在本机的聊天记录,提供跨工具会话搜索和每晚自动改写的 markdown 记忆笔记。索引在本地 SQLite 完成,搜索耗时 6–20 ms,无需调用模型;用户可选本地模型、ChatGPT 或 Claude 订阅、API key 或自建服务器生成记忆。在 LongMemEval_S 上,recall 会话检索命中率 98.7%(top five 470 题),端到端配合 Claude Haiku 5.5 达 87.4% 准确率,成本低于 Sonnet 5.5 方案;记忆以纯 markdown 文件存储于 ~/.agents/memory,支持 git 历史与 Obsidian 打开。

    推荐理由:项目用公开基准和可复现评测说明跨工具记忆的检索效果与成本取舍,读者可据此评估这类方案的真实收益。

  8. GitHub · 去对齐工具与仓库73

    Kernel-Hunter 开源 Mudroom:在 Linux micro-VM 沙箱中运行编码智能体并按 diff 审查应用

    Kernel-Hunter 在 GitHub 开源 Mudroom,将 Claude Code、Codex、Gemini CLI、opencode、Aider 等编码智能体运行在 Linux micro-VM 与项目写时克隆中,真实目录不挂载,网络限定为白名单主机。智能体完成后可按全部、部分文件或部分 hunk 审查并应用 diff,且每次应用都可撤销。macOS 应用与 CLI 需 macOS 26+ 及 Apple silicon,Linux 仅 CLI(需 Docker 或 Podman);项目状态为早期原型,作者提示 Apple 后端下 VM 可达宿主监听端口、会话运行期间密钥以明文落盘等限制。

    推荐理由:README详细写明了隔离实现、网络白名单机制与已知的隔离缺口,读者可以据此评估在运行无权限约束的编码智能体时是否适用。

  9. GitHub · 灵魂体仓库57

    Sourcemark v0.5.1 发布:可抗文件移动编辑的引用锚定与 Agent 引用核查工具

    jonah-ux 在 GitHub 开源 Sourcemark v0.5.1,将引用锚定到引文、文件行或数据库值,在文件重命名、行号位移、文本编辑或数据变更后重新解析,并核查 AI Agent 的回答是否真的读过所引用的内容。工具支持 Claude Code Stop hook 与 Codex rollout 检查,Python 3.11+、零运行时依赖、MIT 协议、仅本地运行。基准测试显示约2900个 Claude Code 会话中0.00%的正确引用被误报、99.9%注入的近似错误被查出,Codex 约3000个 rollout 的47000条真实引用同样0.00%误报,单次 resolve 中位数0.6ms。

    推荐理由:开源工具给出引用锚定与 Agent 引用核查两类基准数字,包括约2900个 Claude Code 会话上0.00%误报、99.9%查出的实测结果,方法可直接复用。

  10. GitHub · 灵魂体仓库65

    Cluefinch MCP 发布:基于 SearXNG 的 AI 智能体 Deep Research 工具包

    Cluefinch MCP 在 GitHub 开源,为 AI 智能体提供基于 MCP 的网页搜索、阅读、来源导航和多来源 Deep Research 工具,完全免费且不限制搜索次数。项目使用用户自建的 SearXNG 作为搜索后端,提供 web_search、web_fetch、web_links、research_collect 四个工具,支持长文档增量阅读、内容哈希版本校验和 BM25 段落筛选,并内置 SSRF 防护;需 Python 3.12.4+,支持 Cursor、Claude Code、Codex、GitHub Copilot 等客户端,当前不支持 JavaScript 渲染和 PDF 提取。

    推荐理由:README 给出了四个工具的完整用法、增量阅读机制和 SSRF 防护设计,读者可以直接照着部署一套本地免费的 Deep Research 检索层。

  11. GitHub · 去对齐工具与仓库55

    eroslifestyle 开源 ai-router-switch:为 Claude Code 提供多后端自托管路由代理

    eroslifestyle 在 GitHub 发布 ai-router-switch,一个自托管路由代理,通过 http://127.0.0.1:8787 让 Claude Code 及任何 Anthropic API 格式客户端在 Anthropic、MiniMax、GLM/z.ai、Qwen 和本地模型之间切换后端而无需重启应用,MIT 许可。项目提供 THINK/ACT 分工的多种模式、每模式固定端口、ai-mode 与 !

    推荐理由:原文详细说明了各模式的后端分工、固定端口和部署安全规则,读者可以照着快速搭建自己的 Claude Code 多后端路由。

  12. GitHub · 去对齐工具与仓库64

    开源研究智能体 Caesar 发布:知识图谱探索加对抗式合成,评测得分超 Gemini 3 Deep Research

    Caesar 是一个开源自主研究智能体,通过持久知识图谱上的深度网页探索和对自身草稿的对抗式修正来综合答案,定位为 ChatGPT Deep Research 与 Perplexity 的开源替代。在盲评 LLM-as-a-Judge 创造性评测中,Caesar 全文配置得 26.96/30,高于 Gemini 3 Deep Research(23.78)和 GPT-5.2 Deep Research(15.74),Cliff's δ ≥ 0.76,另有 23 人的人类评测佐证;在 ~$5/挑战的等算力对比中仍领先。

    推荐理由:原文给出了基于知识图谱探索与对抗式合成的完整架构说明,并用LLM评审和人类评测数据对比主流深度研究产品,方法可复现。

  13. GitHub · 去对齐工具与仓库58

    MATE 开源 AI 智能体管控平台,免重部署调整提示词、模型与权限

    Ivan Antonijević 在 GitHub 发布开源项目 MATE,定位为 AI 智能体的管控层,运行于 Google ADK 或 LangGraph,通过环境变量切换。它提供仪表盘实时改提示词与模型(经 LiteLLM 支持 Gemini、GPT-4o、Ollama 等 50+ 提供商)、按智能体的 RBAC、prompt/response/thought/tool-use 四类 token 成本追踪、带 LLM-as-Judge 的回归评测框架(版本下降超 5 分触发 webhook)、沙盒代码画布、单 script 标签嵌入的多站点聊天挂件,以及把智能体暴露为 MCP 服务器。Apache 2.0 协议,含 134+ 测试与审计日志。

    推荐理由:原文把智能体上线后改提示词要改代码重新部署的痛点逐条对应到具体功能,读者可以按需评估这套管控层是否省事。

  14. GitHub · 去对齐工具与仓库59

    开源工具 prompt-regress 把提示词当代码做回归测试并用 CI 门禁拦截

    开发者 itsaayush77 发布开源工具 prompt-regress,用 YAML 定义测试用例跑模型并对比两次运行,找出提示词改动导致的输出退化。工具记录每条用例的通过率、成本与延迟,支持 OpenAI 兼容接口和本地 Ollama,CI 检测到回归时以 exit 1 拦截,无 API key 时可用 mock 模式离线运行。作者自述定位比 promptfoo 小,单一代码库,LLM-as-judge 等局限在文档中已列明。

    推荐理由:原文完整给出了用例写法、CI 门禁和 mock 离线跑法,读者可以照着把提示词改动纳入回归测试。

10月9日周五
  1. GitHub · 去对齐工具与仓库56

    bcorfman 开源自由文本角色扮演引擎 freytag-forge

    bcorfman 在 GitHub 发布 freytag-forge,一个自由文本角色扮演引擎:玩家可输入任意行动,由叙述者生成结果,而名词与状态的世界模型由引擎维护,不依赖模型记忆。引擎保留作者设定的故事弧与既定事实,限制破坏性动作并需 90% 测试覆盖率,要求 Python 3.12+ 并用 uv 运行。

    推荐理由:原文讲清了把世界状态留在引擎、叙述交给模型的设计分工,对做自由文本角色扮演的人有可借鉴的架构思路。

  2. GitHub · 去对齐工具与仓库64

    ShadowShield 开源 LLM 提示词注入纵深防御框架

    GitHub 仓库 0xsl1m/shadowshield 发布 ShadowShield,一个面向 LLM 应用与多智能体系统的纵深防御安全框架,强调针对提示词注入(OWASP LLM01)的防护。框架统一扫描模型输入与输出,涵盖越狱、编码混淆、数据外泄与密钥泄露,提供净化、隔离、限流等主动响应,并集成 OpenAI/Anthropic/LiteLLM/LangChain 及反向代理网关。基准数据在 deepset/prompt-injections 上加 DeBERTa 分类器后召回率从 regex 18% 提升到 48% 且 0% 误报;AgentDojo 场景中加入 mDeBERTa 分类器后银行/旅行/slack 场景 ASR 降至 0%。

    推荐理由:这个 LLM 应用防护框架主动公开了外部盲测集的召回率和误报率,读者可以据此评估分层检测方案的真实防御效果。

  3. GitHub · 去对齐工具与仓库61

    Grimoire 开源:本地优先的 AI 协作叙事与角色扮演应用

    GitHub 上的 Grimoire 是一个本地优先的 AI 角色扮演应用,以 Worlds、Campaigns、Scenes 三层组织长线战役,通过 absorb 在场景结束后把剧情回写进战役记忆。数据全部以 Markdown 和 JSON 存于 ~/.grimoire,通过 OpenRouter 或 OpenAI 兼容端点连接模型(支持 Ollama、llama.cpp、vLLM 等本地后端),支持导入 chub.ai 角色卡、PNG/CHARX 导出、Jinja2 可编辑提示词模板、EPUB 导出及 Android APK 构建,默认模型为 anthropic/claude-opus-4.1。

    推荐理由:README讲清了世界、战役、场景三层结构与absorb记忆回写机制,长战役的上下文组装思路可借鉴。

  4. GitHub · 去对齐工具与仓库56

    OpenLLM Gateway 开源自托管 LLM 网关,支持多提供商聚合与 OpenAI/Anthropic 协议兼容

    jackclub-cn 在 GitHub 开源了 OpenLLM Gateway,一个自托管 LLM 网关,提供多提供商聚合、模型路由、访问密钥、用量统计和管理控制台。后端为 Rust + Axum,数据存 SQLite,前端嵌入单个可执行文件,提供 Windows、Linux、macOS 预编译二进制;兼容 OpenAI /v1/chat/completions、/v1/responses、/v1/completions、/v1/embeddings 和 Anthropic Messages 协议并支持跨协议双向转换,支持多密钥故障切换、会话亲和路由、每日 Token/费用额度与请求日志查询导出。

    推荐理由:README 讲清了网关的多上游聚合、协议互转和密钥限流设计,想自托管统一 LLM 入口的读者可以按需参考部署方式。

  5. GitHub · 灵魂体仓库59

    Showdar Router 发布:面向 OpenCode 等客户端的本地优先 AI 路由网关

    Showdar Router 在 GitHub 发布,为 OpenCode 及 OpenAI 兼容客户端提供本地路由网关,将多个提供商、凭证和模型统一到 http://127.0.0.1:21298/v1 单一端点。支持有序 combo fallback、健康感知冷却与恢复(half-open 探测、Retry-After 等恢复元数据)、空响应视为路由失败,默认端口 21298,可通过 npm install -g showdar-router 安装,MIT 协议,源自 decolua/9router 的独立 fork。

    推荐理由:README 讲清了健康感知路由、有序 fallback 和恢复元数据的处理方式,想给多提供商工具做统一本地网关时可以参考这套做法。

  6. GitHub · 灵魂体仓库66

    local-llm-bench-lab:一个用 YAML 驱动 llama.cpp 可复现基准测试的开源工具

    GitHub 上的 local-llm-bench-lab(v0.11.0)发布,用一个 YAML 文件描述模型、llama.cpp 设置和变化参数,自动编译、下载模型、跑完所有组合并存入 SQLite,最后给出胜出配置和对应的 llama-server 部署命令。工具优先为 Raspberry Pi 5 设计,也可在任意 Linux PC 包括 WSL2 上运行,测量速度、延迟、质量与并发,每个结果记录 llama.cpp commit、模型 sha256、完整 flags 和机器信息,附带置信区间、运行间冷却和不稳定标记,并可选用 lm-evaluation-harness 与 LLM judge。

    推荐理由:工具用单个 YAML 定义实验矩阵并自动记录 llama.cpp commit、模型 sha256 与硬件信息,可迁移到自己的本地模型对比流程。