跳到正文
  1. GitHub · 灵魂体仓库58

    开源编码CLI工具Crab Code发布:Rust实现的Claude Code替代品

    lingcoder在GitHub发布Crab Code,一个用Rust从零构建的开源Agent式编码CLI,对齐Claude Code的工具集、权限模型和交互模式,支持Anthropic、OpenAI、DeepSeek、Bedrock、Vertex等任意LLM提供商。项目采用MIT协议,含4940个测试、25个crate、约161k行代码,支持分层TOML配置和环境变量覆盖,并与Claude Code、OpenCode、Codex CLI在开源协议、语言、模型支持和MCP/LSP传输等维度做了对比。仓库地址:https://github.com/lingcoder/crab-code

    推荐理由:README给出了与Claude Code、OpenCode、Codex CLI的开源协议、语言、模型支持等逐项对比,读者可以快速判断这款Rust编码CLI是否值得试用。

  2. GitHub · 去对齐工具与仓库66

    sumgrep 开源:为 Claude Code 提供语义代码搜索的 MCP 工具

    wlee374 发布 sumgrep,用 LLM 为仓库中每个函数生成一段英文摘要并建立向量索引,支持按含义搜索并返回函数名、文件和行号指针,可经 MCP 接入 Claude Code。依赖 Docker 上的 Qdrant、Ollama 的 bge-m3 嵌入和本地摘要模型(默认 qwen3.5:9b,约 9 秒/函数),也可用 Claude Haiku 5.5(约 $1-2/4000 函数)。在约 4600 函数的 Go 代码库上用 55 个标注问题实测,25 个手写问题 MRR@10 为 0.81,30 个 Agent 真实提问仅 0.47;摘要模式在 top 5 命中 93%,优于代码模式的 53%。支持增量索引、.sumgrep 文件迁移和团队共享服务器。

    推荐理由:作者用 55 个标注问题实测了摘要检索与原始代码检索的差距,真实 Agent 提问的 MRR@10 只有 0.47,数据可直接参考。

  3. Reddit · r/LocalLLaMA63

    Qwen3.5-4B 神经元转向交互式 playground 发布,可在浏览器 WebGPU 本地运行

    Reddit 用户 /u/xenovatech 受 X 上神经元转向玩法启发,发布了交互式 playground,模型完全在浏览器内通过 WebGPU 运行。转向 Qwen3.5-4B 的两个神经元即可让模型谈论伤害、支配和毁灭用户,其他组合可让模型过度道歉、全大写写作或扮演动漫角色。工具地址:https://huggingface.co/spaces/webml-community/neuron-studio

    推荐理由:作者把 X 上流行的神经元转向玩法做成了可在浏览器本地运行的交互工具,读者可以自己动手复现这些组合。

  4. GitHub · 去对齐工具与仓库73

    FableCut 开源:浏览器内 Premiere 式剪辑器,时间线即 JSON 可由 AI 智能体直接剪辑

    ronak-create 在 GitHub 开源 FableCut,一个完全在浏览器运行的 Premiere 式非线性视频剪辑器,整条时间线以 project.json 单个 JSON 文档表示,UI、MCP、REST 三种控制面共享同一修订计数器实现并发编辑。AI 智能体(Claude Code、Claude Desktop 或任何支持 MCP/REST 的客户端)可通过 fablecut_patch_project 等工具直接剪辑,UI 经 SSE 约 150ms 热重载;还提供参考视频分析(镜头切点、BPM、能量曲线)、fablecut_frame 抽帧让多模态模型看画面选素材、Whisper 本地转写、自动压音、降噪、LUFS 归一化、调色、遮罩、运动跟踪与批量导出。

    推荐理由:把整条时间线暴露成一个 JSON 文档,人和 AI 智能体通过同一份项目文件并发剪辑,还带修订计数器防冲突。

  5. GitHub · 去对齐工具与仓库67

    GoLeM 服务器发布:GLM-5.3-Flash 等 MoE 模型专家权重按需从磁盘流式调入 GPU

    GoLeM 在 GitHub 发布,这是一个让 MoE 大模型专家权重保持休眠在磁盘、使用时才逐级调入内存和 VRAM 的推理服务器,保证每个被选中专家的矩阵乘法都在 GPU 上执行。目标模型为 GLM-5.3-Flash,DeepSeek-V4.1-Flash 为实验性支持;在 RX 7900 XTX(24 GiB)+ 93 GiB DDR5 + 4TB NVMe 上,UD-Q4_K_XL 量化 262144 上下文冷/热 prefill 11.1s/13.4s,生成 2.42/2.12 token/s。

    推荐理由:原文给出了 MoE 专家按需从 SSD 流式调入 VRAM 的完整实现与实测数据,读者可按硬件配置评估自己的本地部署可行性。

  6. GitHub · 去对齐工具与仓库67

    Praecise Engine 开源:面向大语言模型的后端无关推理加速层

    Praecise 在 GitHub 发布 praecise-engine,一个位于应用与推理后端之间的加速层,通过推测解码、硬件感知调优和统一服务接口加速 token 生成,首个支持的后端是 llama.cpp。实测显示 n-gram 自推测在结构化文本上带来 1.5 到 3.5 倍提升(SQL 3.5x),对散文无收益;托管后端(vLLM、SGLang、TensorRT-LLM、transformers)因掌握解码循环而无法被插入推测解码。项目还包含 praecise-host 沙箱化多引擎托管、job 引擎、视频感知管线等组件,整体采用 Apache-2.0 许可。

    推荐理由:原文给出实测数据说明推测解码在结构化文本上值1.5到3.5倍、在散文上无收益,并解释了托管后端为什么在结构上无法做推测解码。

  1. GitHub · 灵魂体仓库76

    BigMoeOnEdge 开源:从闪存流式加载超大 MoE 模型到手机和笔记本

    BigMoeOnEdge 是一个开源引擎,通过从闪存流式读取专家权重,让超过设备内存的 MoE 模型在本地运行,基于 llama.cpp 公共 API,支持 Android、iOS、macOS、Windows 和 Linux,并内置 OpenAI 兼容服务器。--auto 规划器会测量机器的内存、存储速度和各计算单元后自动设置缓存与常驻权重;实测包括 12 GB 手机上跑 91 GB 的 DeepSeek V4 Flash 284B(0.94 tok/s)、Qwen3.6-35B-A3B 达 4.8-5.0 tok/s,16 GB Apple silicon 笔记本上 Qwen3.6-35B-A3B 达 18-24 tok/s。

    推荐理由:仓库给出了各设备的实测解码速度表和与全内存加载输出一致性的测试说明,便于判断流式加载 MoE 的实际可用程度。

  2. GitHub · 灵魂体仓库63

    Nudge 发布面向 AI Agent 的类型化可回放编程语言

    NekomyaDev 开源了 Nudge,一门面向 AI Agent 的类型化编程语言,提供原生字节码 VM 和独立编译器,可编译到 Python 和 TypeScript。语言层内置 LLM schema 一等类型、10 种编译期检查的显式效果、预算硬约束、par race 并发原语和确定性 NTF v1 trace 回放,可在 CI 中以 $0 做回归测试,还支持单二进制打包(约 2.09MB)、WASM 离线回放、MCP 集成、Computer Use 与 PII 脱敏,采用 Apache-2.0 许可证。

    推荐理由:把 schema 校验、效果声明、预算上限和 $0 trace 回放做进语言层,对受够胶水代码的 Agent 开发者是一套可试的新思路。

  3. GitHub · 去对齐工具与仓库62

    Nika 0.123.0 开源发布:把重复 AI 工作变成可检查可验证的工作流文件

    supernovae-st 开源 Nika 0.123.0(AGPL-3.0),用一句话生成可读的 .nika 工作流文件,运行前 nika check 不调用模型即可审计行为、工具与成本上限,每次运行留下哈希链记录可由 nika trace verify 验证。支持 Ollama、llama.cpp、vLLM 等本地引擎和 DeepSeek 等 API,提供 Rust CLI、TypeScript SDK、LSP 与 GitHub Action,安装支持 Homebrew、npm、Docker、Nix 等方式。

    推荐理由:原文给出从一句话生成可审查工作流文件到运行留痕的完整流程,读者可以照着装好并复现同样的检查与验证步骤。

  4. GitHub · 去对齐工具与仓库60

    lukk-node 开源:面向 Ollama 本地部署的零依赖 GPU 遥测与推理守护进程

    Rodrigo Henriquez(@SirFassler)在 GitHub 开源 lukk-node,一个仅用 Python 标准库的客户端-服务端守护进程与 CLI,面向在专用 GPU 机器上通过 Ollama 跑本地 LLM 的开发者和玩家。它通过 nvidia-smi 提供实时 GPU 遥测(温度、功耗、负载、VRAM),支持委托式流式推理(NDJSON),并可在 1 秒内清空 VRAM 让 GPU 完全用于游戏;v1.2.0 加入可选 Bearer token 认证,另有 --auto-gaming 模式每 4 秒扫描游戏进程自动驱逐模型。项目采用 MIT 许可证。

    推荐理由:作者开源了一个零依赖的 GPU 节点守护进程,把 Ollama 遥测、流式推理和秒级 VRAM 清空整合进一套 CLI,适合本地跑模型兼打游戏的场景。

  5. GitHub · 去对齐工具与仓库59

    GreyWork 开源桌面端 AI 智能体工作台,集成 ACP 外部智能体与本地模型

    jean3690 在 GitHub 开源了 GreyWork,一个面向开发者的桌面优先 AI 智能体工作台,通过 Agent Client Protocol 接入外部编码智能体,并支持 OpenAI 兼容的本地模型流式接入。功能包括三级权限模型(只读/工作区/完全访问)与主机侧拦截、带文件预览和 Git 的授权工作区、基于 Cordis 微内核的插件/MCP/技能市场、cron 定时任务,以及微信、钉钉、飞书、Telegram、QQ、Discord、企业微信七个消息渠道。技术栈为 Electron 加无头 Rust 服务端(axum sidecar)与 Vue 3 渲染层,支持 zh-CN/en-US 双语界面,MIT 协议。项目地址:https://github.com/jean3690/GreyWork

    推荐理由:原文详细列出了权限模型、插件签名机制和双前端架构,开发者可据此评估这个多智能体工作台是否值得本地部署。

  6. GitHub · 去对齐工具与仓库58

    Cuttlely 1.4.3 发布:开源可视化多智能体编排平台,主打精益上下文与发布前对照回放

    开源项目 Cuttlely(Apache-2.0)发布 1.4.3 版,提供拖拽式多智能体编排,由 Harness Prime 主智能体把问题拆分给各专家智能体,每个智能体只接收自身任务所需的上下文,并展示每次运行的 token 与耗时。新版本包含 PostgreSQL MCP 节点安全查询与 Allowed functions 列表、启动时干净重编译的 harness profiles 等改进。

    推荐理由:开源多智能体编排平台,原文给出 draft 对照回放、测试集门禁和按任务裁剪上下文的具体 token 对比,方法可直接复用。

  7. GitHub · 去对齐工具与仓库65

    OpenNotebookLM 开源:自托管的 Google NotebookLM 替代品

    tom1030507 在 GitHub 发布 OpenNotebookLM,一个自托管的 Google NotebookLM 替代品,支持导入 PDF、Word、网页和 YouTube 字幕并基于来源给出带引用的回答。文档、嵌入向量与对话存于本地 SQLite,混合检索用 sqlite-vec 加 FTS5/BM25 并以 RRF 融合,支持 CJK 分词;LLM 可接 Claude、OpenAI 兼容 API 或本地 Ollama/llama.cpp/vLLM,未配置 provider 时返回 model_used 为 fallback 的抽取式回答。

    推荐理由:README写清了混合检索、嵌入模型内存占用实测和未配LLM时的抽取式回退,读者可据此判断这个自托管 NotebookLM 替代品的实际能力边界。

  8. GitHub · 去对齐工具与仓库55

    RegLens 开源:面向信用社员工的监管合规 Copilot 与幻觉评测

    NYU 的 Sai Akhilesh Vangala 开源了 RegLens,一个基于联邦消费银行法规的信用社客服 Copilot,语料为 2026-10-02 固定版 eCFR,含 2371 段、2495 个引用分块和 2276 条引用边。模型只提议,确定性代码把关:引用必须是工具返回段落的逐字子串、日期必须来自计算器、争议一律转工单,未支持内容被扣留转人工。评测显示 Copilot 配置在 43 题黄金集上答对率 0.94、97% 回答附有已验证引文、未支持声明为 0,单题成本 $0.0013;检索实测发现混合检索(BM25+dense RRF)反而低于纯稠密检索,引用图更适合作为 Agent 工具而非排序信号。全部评测含重试共花费 $0.47,项目以 MIT 许可发布。

    推荐理由:作者用同一套 43 题黄金集实测了闭卷、无验证器 RAG 与带验证器 Agent 四种配置,检索与幻觉数据齐全,可作 RAG 验证设计的参照。

  9. Reddit · r/LocalLLaMA69

    Vocs 开源:基于 whisper.cpp 在 macOS 上实现完全本地语音听写

    开发者发布 Vocs,一款在 macOS 上用 whisper.cpp(large-v3-turbo)完全本地运行 Whisper 的听写应用,可将文本粘贴到任意应用。音频按静音边界分块边说边解码,短片段按实际长度开窗解码约提速 8 倍;还做了 [BLANK_AUDIO] 等音效标签剥离、重复循环检测重试、Rust 后处理(标点、大小写、口语命令、自定义词典)及约 120 MB 本地语法模型。转写路径无网络请求,macOS 13+,MIT 协议,基于 Tauri 和 Rust,源码在 GitHub。

    推荐理由:开发者给出了流式分块解码和短片段约 8 倍加速等具体实现细节,本地语音听写方案有可参考的工程做法。

  10. GitHub · 去对齐工具与仓库61

    be-ambitious-harness 发布:planner/worker/verifier 三角色智能体工作流框架

    作者 alexpr 发布 be-ambitious-harness,一个以 Claude Code 技能形式交付的提示工程框架和多智能体工作流,用双目标条、廉价 gate 检查和独立 verifier(不看 worker 推理过程,建议用不同模型)来让 AI 智能体承接更激进的任务而不失控。框架含六个场景 playbook、8 个测试任务和 30 项评分卡的 eval 套件,设计上针对约束饱和(单次生成超过 5-6 条约束可靠性下降)、负面指令反噬和 LLM 评审自偏好偏差三个研究结论。

    推荐理由:作者给出了完整的多智能体工作流设计和两次带记录的 eval 实测,还诚实标注了 harness 自身的缺陷与未跑任务,便于评估可复用性。

  11. GitHub · 去对齐工具与仓库64

    Goethe 开源:把 Linux + NVIDIA GPU 机器变成 OpenAI/Anthropic 兼容的自托管 LLM API

    meshapplied 发布开源工具 Goethe,可将带 NVIDIA GPU 的 Linux 机器变成自托管 API,兼容 OpenAI、Anthropic 和 LiteLLM 客户端,数据留在自有硬件上。模型基于 SGLang 运行,支持 continuous batching、prefix caching 和 CUDA graphs,并内置面向 Blackwell、Hopper、Ada 和 Ampere 的 NVFP4 内核,4-bit 模型显存占用约为全精度四分之一;支持按客户端发 key、限速与撤销,模型重启后自动恢复加载,仓库采用 Apache-2.0 许可,链接 https://github.com/meshapplied/goethe。

    推荐理由:原文给出了从安装到共享 API 的完整命令流程,并说明基于 SGLang 加自研 NVFP4 内核的推理方案,便于自建 GPU 推理服务时参考。

  12. GitHub · 去对齐工具与仓库57

    LitteraLit 开源 PDF 技术书翻译工具,保留版式并逐页输出 QA 报告

    GitHub 项目 Direles/LitteraLit 发布了 PDF 技术书翻译工具,通过矢量删改保留原始版式、复用嵌入字体并对目标语言做断行排版。流程包括用 LLM(Gemini、OpenAI、DeepSeek、Claude 或 OpenAI 兼容端点)逐页翻译、检测并重译残留英文、译文过长时请求缩短或将字号最多缩小 60%、生成逐页 QA 报告。在 365 页的 Agile Estimating and Planning 实测中 97.7% 的文本块落在原行内,输出 2.8 MB,含 272 个单元测试,MIT 许可证,需 Windows 和 Python 3.11+。

    推荐理由:项目给出了 365 页技术书翻译的实测数字和逐页 QA 报告机制,保留了原文版式与嵌入字体,方法细节可直接复用。

  1. GitHub · 去对齐工具与仓库64

    hongxin 开源 tim-harness:装进浏览器页面的随身大模型编程 Harness

    hongxin 在 GitHub 发布 tim-harness v0.4,一个纯浏览器端的大模型编程助手 Harness,打开页面填一次 OpenAI 兼容 API Key(DeepSeek / OpenAI / 本地 Ollama)即可使用,零后端零安装,密钥只存本机 IndexedDB。核心特性包括五层 Token 成本防线(前缀缓存实测省 84-90% 输入费用,DeepSeek 命中价 1/50)、目标驱动自动推进、18 个工具(文件读写、JS 沙箱、子代理派发、技能系统等)、四种可视化视图,以及平台无关 core 架构,已在纯 Node 通过 157 项冒烟断言并验证微信小程序 PoC。

    推荐理由:作者给出五层 Token 成本防线和实测省 84-90% 输入费用的数据,浏览器零后端架构对想本地跑编程智能体的人有参考价值。

  2. GitHub · 去对齐工具与仓库64

    kwant 开源:单二进制自托管多 AI bot 协作平台

    alexsergivan 在 GitHub 发布 kwant,一个用 Rust 编写、内嵌 React 前端的自托管二进制,可运行一支互相 @mention 分工协作的 AI bot 团队。每个 bot 有独立角色、人格和模型,支持 Claude、Codex 或 Grok CLI 登录及 Anthropic、OpenAI、xAI API key 多账户轮换;提供工作/家庭分离的 spaces、定时 routines、风险步骤审批卡、只读 IMAP 和 GitHub 集成、Laya 路由器(首次启动下载约 420 MB 模型,--no-laya 可关闭)、MCP 工具服务器和 Docker Compose VPS 部署方案,无遥测,采用 Apache-2.0 / MIT 双许可。

    推荐理由:README 详细列出了多 bot 协作、审批规则和 VPS 部署的具体做法,想自托管一套 AI bot 团队时可以照着复现。