跳到正文
  1. GitHub · 灵魂体仓库76

    BigMoeOnEdge 开源:从闪存流式加载超大 MoE 模型到手机和笔记本

    BigMoeOnEdge 是一个开源引擎,通过从闪存流式读取专家权重,让超过设备内存的 MoE 模型在本地运行,基于 llama.cpp 公共 API,支持 Android、iOS、macOS、Windows 和 Linux,并内置 OpenAI 兼容服务器。--auto 规划器会测量机器的内存、存储速度和各计算单元后自动设置缓存与常驻权重;实测包括 12 GB 手机上跑 91 GB 的 DeepSeek V4 Flash 284B(0.94 tok/s)、Qwen3.6-35B-A3B 达 4.8-5.0 tok/s,16 GB Apple silicon 笔记本上 Qwen3.6-35B-A3B 达 18-24 tok/s。

    推荐理由:仓库给出了各设备的实测解码速度表和与全内存加载输出一致性的测试说明,便于判断流式加载 MoE 的实际可用程度。

  2. GitHub · 灵魂体仓库63

    Nudge 发布面向 AI Agent 的类型化可回放编程语言

    NekomyaDev 开源了 Nudge,一门面向 AI Agent 的类型化编程语言,提供原生字节码 VM 和独立编译器,可编译到 Python 和 TypeScript。语言层内置 LLM schema 一等类型、10 种编译期检查的显式效果、预算硬约束、par race 并发原语和确定性 NTF v1 trace 回放,可在 CI 中以 $0 做回归测试,还支持单二进制打包(约 2.09MB)、WASM 离线回放、MCP 集成、Computer Use 与 PII 脱敏,采用 Apache-2.0 许可证。

    推荐理由:把 schema 校验、效果声明、预算上限和 $0 trace 回放做进语言层,对受够胶水代码的 Agent 开发者是一套可试的新思路。

  3. GitHub · 去对齐工具与仓库62

    Nika 0.123.0 开源发布:把重复 AI 工作变成可检查可验证的工作流文件

    supernovae-st 开源 Nika 0.123.0(AGPL-3.0),用一句话生成可读的 .nika 工作流文件,运行前 nika check 不调用模型即可审计行为、工具与成本上限,每次运行留下哈希链记录可由 nika trace verify 验证。支持 Ollama、llama.cpp、vLLM 等本地引擎和 DeepSeek 等 API,提供 Rust CLI、TypeScript SDK、LSP 与 GitHub Action,安装支持 Homebrew、npm、Docker、Nix 等方式。

    推荐理由:原文给出从一句话生成可审查工作流文件到运行留痕的完整流程,读者可以照着装好并复现同样的检查与验证步骤。

  4. GitHub · 去对齐工具与仓库60

    lukk-node 开源:面向 Ollama 本地部署的零依赖 GPU 遥测与推理守护进程

    Rodrigo Henriquez(@SirFassler)在 GitHub 开源 lukk-node,一个仅用 Python 标准库的客户端-服务端守护进程与 CLI,面向在专用 GPU 机器上通过 Ollama 跑本地 LLM 的开发者和玩家。它通过 nvidia-smi 提供实时 GPU 遥测(温度、功耗、负载、VRAM),支持委托式流式推理(NDJSON),并可在 1 秒内清空 VRAM 让 GPU 完全用于游戏;v1.2.0 加入可选 Bearer token 认证,另有 --auto-gaming 模式每 4 秒扫描游戏进程自动驱逐模型。项目采用 MIT 许可证。

    推荐理由:作者开源了一个零依赖的 GPU 节点守护进程,把 Ollama 遥测、流式推理和秒级 VRAM 清空整合进一套 CLI,适合本地跑模型兼打游戏的场景。

  5. GitHub · 去对齐工具与仓库59

    GreyWork 开源桌面端 AI 智能体工作台,集成 ACP 外部智能体与本地模型

    jean3690 在 GitHub 开源了 GreyWork,一个面向开发者的桌面优先 AI 智能体工作台,通过 Agent Client Protocol 接入外部编码智能体,并支持 OpenAI 兼容的本地模型流式接入。功能包括三级权限模型(只读/工作区/完全访问)与主机侧拦截、带文件预览和 Git 的授权工作区、基于 Cordis 微内核的插件/MCP/技能市场、cron 定时任务,以及微信、钉钉、飞书、Telegram、QQ、Discord、企业微信七个消息渠道。技术栈为 Electron 加无头 Rust 服务端(axum sidecar)与 Vue 3 渲染层,支持 zh-CN/en-US 双语界面,MIT 协议。项目地址:https://github.com/jean3690/GreyWork

    推荐理由:原文详细列出了权限模型、插件签名机制和双前端架构,开发者可据此评估这个多智能体工作台是否值得本地部署。

  6. GitHub · 去对齐工具与仓库58

    Cuttlely 1.4.3 发布:开源可视化多智能体编排平台,主打精益上下文与发布前对照回放

    开源项目 Cuttlely(Apache-2.0)发布 1.4.3 版,提供拖拽式多智能体编排,由 Harness Prime 主智能体把问题拆分给各专家智能体,每个智能体只接收自身任务所需的上下文,并展示每次运行的 token 与耗时。新版本包含 PostgreSQL MCP 节点安全查询与 Allowed functions 列表、启动时干净重编译的 harness profiles 等改进。

    推荐理由:开源多智能体编排平台,原文给出 draft 对照回放、测试集门禁和按任务裁剪上下文的具体 token 对比,方法可直接复用。

  7. GitHub · 去对齐工具与仓库65

    OpenNotebookLM 开源:自托管的 Google NotebookLM 替代品

    tom1030507 在 GitHub 发布 OpenNotebookLM,一个自托管的 Google NotebookLM 替代品,支持导入 PDF、Word、网页和 YouTube 字幕并基于来源给出带引用的回答。文档、嵌入向量与对话存于本地 SQLite,混合检索用 sqlite-vec 加 FTS5/BM25 并以 RRF 融合,支持 CJK 分词;LLM 可接 Claude、OpenAI 兼容 API 或本地 Ollama/llama.cpp/vLLM,未配置 provider 时返回 model_used 为 fallback 的抽取式回答。

    推荐理由:README写清了混合检索、嵌入模型内存占用实测和未配LLM时的抽取式回退,读者可据此判断这个自托管 NotebookLM 替代品的实际能力边界。

  8. GitHub · 去对齐工具与仓库55

    RegLens 开源:面向信用社员工的监管合规 Copilot 与幻觉评测

    NYU 的 Sai Akhilesh Vangala 开源了 RegLens,一个基于联邦消费银行法规的信用社客服 Copilot,语料为 2026-10-02 固定版 eCFR,含 2371 段、2495 个引用分块和 2276 条引用边。模型只提议,确定性代码把关:引用必须是工具返回段落的逐字子串、日期必须来自计算器、争议一律转工单,未支持内容被扣留转人工。评测显示 Copilot 配置在 43 题黄金集上答对率 0.94、97% 回答附有已验证引文、未支持声明为 0,单题成本 $0.0013;检索实测发现混合检索(BM25+dense RRF)反而低于纯稠密检索,引用图更适合作为 Agent 工具而非排序信号。全部评测含重试共花费 $0.47,项目以 MIT 许可发布。

    推荐理由:作者用同一套 43 题黄金集实测了闭卷、无验证器 RAG 与带验证器 Agent 四种配置,检索与幻觉数据齐全,可作 RAG 验证设计的参照。

  9. GitHub · 去对齐工具与仓库64

    Cloakroom 0.7 发布:为 Claude Code、Codex CLI 和 Gemini CLI 本地掩码密钥与个人数据

    Shanjeev Rajendran 发布开源工具 Cloakroom(Apache-2.0),在本地把 API 密钥、机密和个人数据(PII)替换成占位符后再交给 AI 编码代理,写入文件时在本地还原真实值。0.7.0 起在 Mac 和 Linux 上支持 OpenAI Codex CLI 和 Google Gemini CLI;实测对 1,005 条个人数据零泄漏,而对比的 Claude Code 隐私工具泄漏 119 至 992 条。真实值存于本机加密保险库,检测模型仅首次从 Hugging Face 下载一次(Mac 约 1 GB,其他平台最多约 4 GB),提供防篡改活动日志、dashboard 误报学习规则和面向金融团队的付款调用拦截与审计功能。

    推荐理由:原文给出与其他 Claude Code 隐私工具的横向实测数据,泄漏数和误报数都有对照,读者可据此评估是否值得在本地部署。

  10. Reddit · r/LocalLLaMA69

    Vocs 开源:基于 whisper.cpp 在 macOS 上实现完全本地语音听写

    开发者发布 Vocs,一款在 macOS 上用 whisper.cpp(large-v3-turbo)完全本地运行 Whisper 的听写应用,可将文本粘贴到任意应用。音频按静音边界分块边说边解码,短片段按实际长度开窗解码约提速 8 倍;还做了 [BLANK_AUDIO] 等音效标签剥离、重复循环检测重试、Rust 后处理(标点、大小写、口语命令、自定义词典)及约 120 MB 本地语法模型。转写路径无网络请求,macOS 13+,MIT 协议,基于 Tauri 和 Rust,源码在 GitHub。

    推荐理由:开发者给出了流式分块解码和短片段约 8 倍加速等具体实现细节,本地语音听写方案有可参考的工程做法。

  11. GitHub · 去对齐工具与仓库61

    be-ambitious-harness 发布:planner/worker/verifier 三角色智能体工作流框架

    作者 alexpr 发布 be-ambitious-harness,一个以 Claude Code 技能形式交付的提示工程框架和多智能体工作流,用双目标条、廉价 gate 检查和独立 verifier(不看 worker 推理过程,建议用不同模型)来让 AI 智能体承接更激进的任务而不失控。框架含六个场景 playbook、8 个测试任务和 30 项评分卡的 eval 套件,设计上针对约束饱和(单次生成超过 5-6 条约束可靠性下降)、负面指令反噬和 LLM 评审自偏好偏差三个研究结论。

    推荐理由:作者给出了完整的多智能体工作流设计和两次带记录的 eval 实测,还诚实标注了 harness 自身的缺陷与未跑任务,便于评估可复用性。

  12. GitHub · 去对齐工具与仓库64

    Goethe 开源:把 Linux + NVIDIA GPU 机器变成 OpenAI/Anthropic 兼容的自托管 LLM API

    meshapplied 发布开源工具 Goethe,可将带 NVIDIA GPU 的 Linux 机器变成自托管 API,兼容 OpenAI、Anthropic 和 LiteLLM 客户端,数据留在自有硬件上。模型基于 SGLang 运行,支持 continuous batching、prefix caching 和 CUDA graphs,并内置面向 Blackwell、Hopper、Ada 和 Ampere 的 NVFP4 内核,4-bit 模型显存占用约为全精度四分之一;支持按客户端发 key、限速与撤销,模型重启后自动恢复加载,仓库采用 Apache-2.0 许可,链接 https://github.com/meshapplied/goethe。

    推荐理由:原文给出了从安装到共享 API 的完整命令流程,并说明基于 SGLang 加自研 NVFP4 内核的推理方案,便于自建 GPU 推理服务时参考。

  13. GitHub · 去对齐工具与仓库57

    LitteraLit 开源 PDF 技术书翻译工具,保留版式并逐页输出 QA 报告

    GitHub 项目 Direles/LitteraLit 发布了 PDF 技术书翻译工具,通过矢量删改保留原始版式、复用嵌入字体并对目标语言做断行排版。流程包括用 LLM(Gemini、OpenAI、DeepSeek、Claude 或 OpenAI 兼容端点)逐页翻译、检测并重译残留英文、译文过长时请求缩短或将字号最多缩小 60%、生成逐页 QA 报告。在 365 页的 Agile Estimating and Planning 实测中 97.7% 的文本块落在原行内,输出 2.8 MB,含 272 个单元测试,MIT 许可证,需 Windows 和 Python 3.11+。

    推荐理由:项目给出了 365 页技术书翻译的实测数字和逐页 QA 报告机制,保留了原文版式与嵌入字体,方法细节可直接复用。

  1. GitHub · 去对齐工具与仓库64

    hongxin 开源 tim-harness:装进浏览器页面的随身大模型编程 Harness

    hongxin 在 GitHub 发布 tim-harness v0.4,一个纯浏览器端的大模型编程助手 Harness,打开页面填一次 OpenAI 兼容 API Key(DeepSeek / OpenAI / 本地 Ollama)即可使用,零后端零安装,密钥只存本机 IndexedDB。核心特性包括五层 Token 成本防线(前缀缓存实测省 84-90% 输入费用,DeepSeek 命中价 1/50)、目标驱动自动推进、18 个工具(文件读写、JS 沙箱、子代理派发、技能系统等)、四种可视化视图,以及平台无关 core 架构,已在纯 Node 通过 157 项冒烟断言并验证微信小程序 PoC。

    推荐理由:作者给出五层 Token 成本防线和实测省 84-90% 输入费用的数据,浏览器零后端架构对想本地跑编程智能体的人有参考价值。

  2. GitHub · 去对齐工具与仓库64

    kwant 开源:单二进制自托管多 AI bot 协作平台

    alexsergivan 在 GitHub 发布 kwant,一个用 Rust 编写、内嵌 React 前端的自托管二进制,可运行一支互相 @mention 分工协作的 AI bot 团队。每个 bot 有独立角色、人格和模型,支持 Claude、Codex 或 Grok CLI 登录及 Anthropic、OpenAI、xAI API key 多账户轮换;提供工作/家庭分离的 spaces、定时 routines、风险步骤审批卡、只读 IMAP 和 GitHub 集成、Laya 路由器(首次启动下载约 420 MB 模型,--no-laya 可关闭)、MCP 工具服务器和 Docker Compose VPS 部署方案,无遥测,采用 Apache-2.0 / MIT 双许可。

    推荐理由:README 详细列出了多 bot 协作、审批规则和 VPS 部署的具体做法,想自托管一套 AI bot 团队时可以照着复现。

  3. GitHub · 去对齐工具与仓库65

    Livesport 开源 agent 编排工具 Homer,支持 Claude Code 与 LangGraph 后台运行

    Livesport 在 GitHub 开源 Homer(Apache 2.0),用于把 Claude Code、Codex、LangGraph 和 shell 脚本作为后台任务运行,提供队列、锁策略、LLM 花费上限和运行中人工问答。Agent 通过 agent.yaml 描述并可经 HTTP、cron 或 MCP 触发,支持 LangGraph 检查点恢复、OpenTelemetry 追踪、Kubernetes/ssh/拉取式 runner,以及带日志、成本和问题收件箱的 Web 控制台;Docker Compose 首次启动下载不足 1 GB 镜像。

    推荐理由:Livesport 开源了自家 agent 编排工具,用真实 agent.yaml 和 LangGraph 示例讲清队列、锁、预算上限和人工介入的具体做法。

  4. GitHub · 去对齐工具与仓库61

    mesutgungor 发布 llm-scan 静态安全扫描工具,覆盖 42 条规则

    作者 Mesut Güngör 在 GitHub 开源了 llm-scan,一个面向 Hugging Face、ModelScope 及本地模型的开源 LLM 安全扫描工具,采用零执行静态分析,覆盖 pickle 反序列化 RCE、trust_remote_code、Jinja2 SSTI(CVE-2024-34359)、SafeTensors 内存炸弹(CVE-2023-44469)等 42 条规则,并附 SHA-256 验证引擎。

    推荐理由:作者开源的静态扫描工具在不执行模型代码的前提下检查权重、模板和配置,并给出与 OWASP、NIST 等框架的逐条映射。

  5. GitHub · 去对齐工具与仓库67

    FeozRu 开源 LLMBookTranslator:基于 LLM 智能体流水线的桌面图书翻译应用

    FeozRu 在 GitHub 开源了 LLMBookTranslator,一款用 Kotlin 和 Compose Multiplatform 开发的 Windows/Linux 桌面应用,通过 LLM 智能体流水线翻译 EPUB/FB2 图书。流程为草稿翻译、文学润色、校对、组装,每阶段落盘可断点续作,内置术语表、翻译笔记库和块级原文对照校对界面,每步自动校验块数对齐、锚点与残留假名等。支持 OpenAI 兼容协议与 Anthropic Messages 协议(含 DeepSeek、GLM、Ollama、OpenRouter 等),提供 17 个 MCP 工具可让外部智能体自主翻译,MIT 许可,发布 MSI/deb/portable 包,项目由作者主导并借助 GLM 与 Claude 大量生成代码。

    推荐理由:原文完整公开了多智能体翻译流水线的阶段划分、自动校验规则与文件结构,方法可迁移到自己的 LLM 翻译工作流。

  6. GitHub · 灵魂体仓库61

    janis:面向 MLX 的本地推理 Go 模块发布

    guregodevo 发布 janis,一个用 Go 编写的开源权重模型本地推理模块,定位为 MLX 版 Ollama:Apple Silicon 上跑 MLX 后端,其他平台用纯 Go CPU 后端。janis serve 提供 OpenAI 兼容端点(http://127.0.0.1:8090/v1),支持流式 chat completions、tool calls、运行时切换已加载模型,权重从 huggingface.co/mlx-community 拉取,支持 Qwen3、Qwen3.5、Gemma 系列,另含 whisper、bge、reranker 和约束解码等组件。它也是终端编码 agent Memdoor 的底层模块。

    推荐理由:作者用单个 Go 模块把 MLX 推理和 OpenAI 兼容服务封装到一起,说明了本地部署的工程取舍与用法。

  7. Hugging Face · 新模型:abliterated68

    Qwen3.8-Flash-Next-FP4-Local-Abliterated 发布:不改权重、推理时去对齐

    lesj0610 发布基于 nvidia/Qwen3.8-Flash-Next-FP4-Local 的 abliterated 版本,权重文件与基座逐字节一致,仅靠 config.json 中的 abliteration_config 块和 fp4local-abliterated vLLM 插件在推理时做拒绝方向投影。625 条有害提示的拒绝短语命中从基座 97.92% 降到 0.16%,MMLU 较基座低 1.30 分,GSM8K 无显著变化;需 vLLM 0.32.1rc0 以上版本,拒绝行为仅在英文下测试,视频能力未评测。

    推荐理由:原文给出拒绝率、MMLU/GSM8K 与基座的对照数据,并解释了为什么对 FP4 量化权重选择推理时投影而非直接改权重。