跳到正文
10月25日周日
  1. GitHub · 3D 生成新仓库20

    开源 RAG 性能优化系统:模块化测量与分析检索、生成与延迟

    一个新的开源仓库 av-ml-ai-systems/rag-performance-optimization-system 发布,目标是构建模块化 RAG 系统,系统性地测量和优化检索、生成、延迟、token 用量与资源效率。技术栈包括 Python、LangChain、Hugging Face / Sentence Transformers、ChromaDB、Ollama、FastAPI 与 React,并配置 ruff、mypy、pytest 等质量工具。项目目前处于 Phase 1 基础搭建阶段,尚未实现 baseline RAG。

  2. GitHub · 3D 生成新仓库24

    PixeLuxe AI 图像生成器开源仓库上线:主打霓虹电影感视觉风格

    GitHub 新仓库 PixeLuxe 开源了一款主打霓虹暗调、电影感风格的 AI 图像生成前端,支持文生图与图生图工作流,提供参考图上传、多变体对比和全分辨率导出。仓库目前只包含完整前端与 PWA 设置,生成功能仍为模拟状态,等待接入真实图像模型,后续计划包括接入在线模型、账号与历史记录、风格预设和公开 API。

  3. Reddit · r/SillyTavernAI16

    Reddit 用户对比 Claude Pro 订阅与 Literouter Ultimate 订阅哪个额度更多

    一位 r/SillyTavernAI 用户询问 Claude Pro 订阅与 Literouter Ultimate 订阅哪个通过 SillyTavern(需桥接)能获得更多 Claude Sonnet 尤其 Opus 的使用量,并求证 Literouter 是否可靠。他明确表示对非 Anthropic 官方渠道的低价 Claude 订阅(如 Hapuppy)持怀疑态度,帖中未给出结论。

  4. GitHub · 灵魂体仓库43

    Kvist:终端里的开源编码智能体,可自由选择模型

    开源(MIT 协议)编码智能体 Kvist 发布 beta 版本 0.1.0b1,在终端中读取代码、编辑文件、运行命令,用户可自行选择 OpenAI、Anthropic、DeepSeek、OpenRouter 等约 40 家 OpenAI 兼容服务商,也可用 ChatGPT Plus/Pro 登录。文件写入和高风险命令需经审批,Linux 上默认在无网络的 Bubblewrap 沙箱运行,所有修改有日志可用 /revert 撤销、/resume 恢复中断任务。同一智能体可运行于终端、Electron 应用、浏览器、VS Code、JetBrains IDE 和 Zed。

  5. GitHub · 灵魂体仓库57

    Skybreaker 开源:在本地沙箱中运行 Claude Code 与 Codex,凭据不进智能体

    开源项目 Skybreaker 在用户自有 Linux 服务器上以 gVisor 沙箱按项目运行 Claude Code、Codex 和 pi,内置 broker 托管凭据、按策略逐请求放行、挂起或拒绝。支持经 Tailscale 从网页、手机、终端或 VS Code 驱动,提供审计与 kill switch、分支级 diff 审查与 PR 流程,AGPL-3.0 协议,当前为 pre-1.0。

    推荐理由:这是一个开源的编码智能体沙箱方案,凭据由独立 broker 托管并逐请求审批,适合关注本地部署安全的开发者参考其架构设计。

  6. GitHub · 灵魂体仓库63

    Faster Chat 开源自托管聊天界面,支持 17 家云端与本地离线模型并进入维护模式

    1337hero 发布自托管聊天界面 Faster Chat,可接入 OpenAI、Anthropic、DeepSeek 等 17 个内置云端供应商,也能通过 Ollama、LM Studio、llama.cpp 完全离线运行,数据存于本地 SQLite。功能包括跨对话记忆抽取、Brave 搜索联网、图像分析与生成、多用户角色管理,支持一条 Docker 命令部署;项目已达成对标 Open WebUI 的目标,转入维护模式,不再计划 RAG、MCP 等功能。

    推荐理由:这是一个自托管 AI 聊天界面的完整功能清单与部署文档,读者可以据此评估它作为 Open WebUI 私有化替代方案的取舍。

  7. GitHub · 灵魂体仓库20

    Miguel Villarreal 财务自动化作品集(fde-portfolio)展示四个账务运营自动化项目

    该 GitHub 仓库包含四个围绕账单与支付运营问题构建的作品集演示项目,全部使用合成数据,无生产部署。Reconciliation Engine 用 Python 和 SQL 对账,100 万行合成数据单次运行 12.7s(pandas)/11.1s(SQL);LLM Support Desk 基于 Ollama llama3.2:1b 本地分诊支付申诉,由确定性规则决定最终动作,23 条标注工单中类别一致率 13/23。另有 .NET 8 固定宽度文档布局工具和 Collections Aging SQL 项目。

  8. GitHub · 灵魂体仓库66

    Ephor 发布:在 Linux 上被动监测 AI Agent 出站流量的无依赖 CLI

    作者发布 Ephor,一个只检测不拦截的 Linux CLI,通过读取内核 socket 表和 /proc 被动记录 AI Agent 的出站连接、下载量和是否命中已知恶意目的地,无需配置代理、被入侵的 Agent 也无法绕过。它还能展示每个 Agent 的权限爆炸半径,包括运行用户、Linux capabilities、免密 sudo 和可读的密钥文件;仅依赖 Python 标准库,可在 Pi Zero 2 W 等 512 MB 小设备上运行。v0.3 新增安装与 DNS 监控,追踪 pip/npm 安装并查 OSV.dev,可选 eBPF probe 补捉秒级进程,威胁判定默认离线匹配 URLhaus、Feodo Tracker、FireHOL 等免费 feed,VirusTotal 查询默认关闭。

    推荐理由:原文讲清了无代理被动监测的实现原理、资源占用与同类工具对比,读者可以判断它是否适合放进自己的 homelab 监控栈。

  9. GitHub · 灵魂体仓库49

    loosechange:免费 OpenRouter LLM 检索工具,一条命令接入 Hermes / VibeForge

    开源(MIT)项目 loosechange 通过 Telegram 机器人和 CLI 筛选 OpenRouter 免费模型:每几小时抓取 :free 模型列表、按 benchmark 排序,并用 2–3 个问题匹配任务后给出推荐。目前 OpenRouter 459 个模型中有 19 个免费模型,其中 17 个为文本模型、11 个带基准数据。CLI 可用 uvx 从 git 运行,一条命令把所选模型写入 Hermes、DeepSeek Harness 配置(dry-run 默认、带备份),VibeForge 则输出手动接入说明。

  10. GitHub · 灵魂体仓库36

    just-core:家庭应用共享核心库,统一管理 GGUF 模型与 llama-server 启动

    just-core 是一个全家桶应用的内部共享库(不发布到 npm),检测硬件、推荐并下载 GGUF 模型,自动拉起 OpenAI 兼容的 llama-server(预编译包内置 CUDA 运行时)。它以纯 JavaScript 运行在 Node 24 上,包含 @delebash/core 服务端套件、Vue 共享 UI 与应用模板,并于 2026-10-18 从 just-llm-runner 更名。模型启动配置按四级规则解析:估算仅作准入、引擎默认 fit、用户显式设置精确生效、实测调优以超过 5% 平局的严格优势获胜。

  11. GitHub · 灵魂体仓库68

    ClaimCheck 发布本地优先的 LLM 假名化网关

    saasclawai-org 在 GitHub 发布 ClaimCheck,一个本地优先的 LLM 假名化网关,单个自包含二进制提供两种模式:MCP server 供 Cline、Cursor 等客户端调用 read_sanitized 等工具,LLM proxy 对 OpenAI 兼容请求在线路层脱敏、响应时还原。占位符如 [FEIN_1]、[SSN_2] 稳定可逆,映射 vault 只存本机;内置 regex 识别器覆盖 SSN、信用卡、API 密钥、PEM 私钥等,可选本地 BERT ONNX NER 层捕捉自由文本人名组织名。作者明确说明局限:不覆盖 PDF/DOCX 等二进制格式和非英文文本,vault 未加密,MIT 许可下无任何担保。

    推荐理由:原文给出了假名化工具的两种工作模式、可识别的 PII 类型清单和明确不覆盖的范围,便于评估是否适合本地脱敏工作流。

  12. GitHub · 灵魂体仓库23

    Ronitron007/product-eval-harness:基于 Mastra 的消费级产品评测工具

    GitHub 上的 product-eval-harness 是一个消费级产品评测工具,由 LLM 智能体生成评测所需的知识(标准、产品属性、研究记录、评测包与分数),并用 ruleset 在接受输出前校验每项结果。项目基于 Mastra TypeScript 框架,目前仅是 Mastra 脚手架,尚无任何 harness 阶段实现;开发需 Node.js 22.13+,仓库含 mastra agent skill,整体采用 Apache-2.0 许可证。

  13. GitHub · 灵魂体仓库62

    OpenLore 开源,为 AI 编码智能体提供本地确定性记忆与护栏

    OpenLore 是一个面向 AI 编码智能体的本地优先记忆与护栏工具,基于静态分析构建代码知识图谱,热路径无 LLM、无需 API key,同一查询始终返回相同答案。一条 openlore install 命令可自动检测 Claude Code、Cursor、Cline 等智能体并注册 MCP 服务器;orient() 单次调用返回任务相关函数、调用者与插入点(15k 节点图上约 430µs p50)。在 Spec 14 基准中,大型陌生仓库的深度任务往返次数下降 26%(excalidraw 25→16),小型熟悉仓库则常为负收益,官方同时公布了亏损数据。治理侧提供 breaking-change 判定、敏感边界检查、verify_claim 与统一提交门 openlore enforce。

    推荐理由:README 公开了随仓库规模变化的收益与亏损实测数据,并给出在自己仓库上复现的命令,方便读者判断工具是否适用。

  14. GitHub · 灵魂体仓库61

    Opencode2api 开源:把 OpenCode Zen 免费模型转成 OpenAI/Anthropic 兼容端点的网关

    Nystic-Shadow 开源了 Opencode2api,一个零依赖的 Node.js API 网关,把上游 OpenCode Zen 免费模型转换成 OpenAI 和 Anthropic 兼容端点,供 Cursor、Cline、Roo Code 等客户端调用。核心实现包括注入反编译的 CLI 工具 schema 绕过反爬校验、按位取反算法生成会话 token、Cloudflare WARP SOCKS5 隧道自动换出口 IP(约 1.2 秒完成密钥轮换)、模型级联故障转移、思考流(thinking_delta)与多模态视觉支持。后端仅用 Node.js 核心模块,内存低于 30MB,附 15 项测试全部通过的验证套件,MIT 协议发布,支持 Docker Compose 一键部署。

    推荐理由:README 详细披露了绕过 OpenCode Zen 反爬校验的具体实现,读者可以对照源码和测试向量自行复现这套网关方案。

  15. GitHub · 灵魂体仓库61

    llm-deployment-benchmarks 实测开源模型何时能替代 Claude Opus 5.5

    作者发布 llm-deployment-benchmarks 项目,在 Fireworks AI 上做两组实验,比较开源模型与 Claude Opus 5.5 的准确率、延迟和成本。支持工单分诊任务中,GPT-OSS 120B 以 34–45 倍更低成本追平 Claude Opus 5.5,9B 模型响应快 4–7 倍也打平,而对含噪标签微调反而变差;国际象棋任务中,对 73k 局面的微调把合法走子率从 36% 提到 71%,但最佳走子准确率仍是 3%,只有前沿级开源模型 Ember-1 接近 Claude,约为每步 4 倍时间和成本。

    推荐理由:作者用支持工单分诊和国际象棋两类任务实测开源模型与 Claude Opus 5.5 的差距,结论是 prompt 质量常比模型大小更关键。

  16. Reddit · r/LocalLLaMA29

    两台改装 Dell T5810 工作站(Xeon E5-2699 v4 与 2698 v4)+ 32GB RDIMM,€250-€300 值不值得用来搭载 RTX 3090?

    一位用户在 r/LocalLLaMA 询问,€250-€300 购入两台改装 Dell Precision T5810(分别配 Xeon E5-2699 v4 22 核与 E5-2698 v4 20 核)加 32GB DDR4-2666 RDIMM 和 NVMe 转接卡,用于搭载其 Gigabyte RTX 3090 24GB 跑 llama.cpp 与 Strata 推理。计划先本地运行 Qwen 3.8 27B,后续扩至 128GB-256GB 内存以卸载约 120GB 的 Qwen 3.8 Flash Next MoE,目标 20+ tok/s;第二台兼作孩子的 Linux 学习机与 Proxmox 节点。

  17. Reddit · r/LocalLLaMA54

    ANEMLL Forge 0.2.1 支持 M6 32GB 在 Apple Neural Engine 上运行 Qwen3.8-27B 达 192K 上下文

    ANEMLL Forge 0.2.1 发布,Qwen3.8-27B 在 M6 32GB 的 Neural Engine 上最高可跑 192K 上下文。新增 INT8 K/V cache(为 FP16 一半)并用共享输出 head 的更小 drafter 节省 0.86 GB ANE 内存;decode 依内容为 JSON 35–62 tok/s、code 18–32、prose 10–17,prefill 短上下文 260 tok/s、192K 时 62;作者称 96K 是 32GB 下的甜点位(123 tok/s prefill、约 27 tok/s decode、约 21.4 GB 内存),完整 192K 首次编译约需 2 小时,用 --ctx 只编译所需条目时 16K 从下载到运行约 10 分钟。

  18. Reddit · r/LocalLLaMA69

    TensorSharp 首日支持 MiniMax-M3.1-Flash,8× A40 实测 64K prefill 达 2,567 tok/s

    TensorSharp 开发者在 MiniMax-M3.1-Flash 开放权重发布当天加入支持,支持 GGUF 推理、MiniMax Sparse Attention 专用 CUDA kernel、图文输入、tool calling、多 GPU 拆分与张量并行、DSpark 投机解码和 MoE 专家 CPU offload。在 8× NVIDIA A40、双方使用相同 Unsloth UD-Q4_K_XL GGUF 的对比中,64K executor prefill 达 2,567 tok/s,对比被测 llama.cpp 分支的 262 tok/s 提升约 9.8 倍,server 首字时间从 293.4 秒降至 40.0 秒;64K decode 提升 1.49 倍,短对话 decode 基本持平。

    推荐理由:开发者给出两引擎在8× A40上的prefill与decode实测,并解释长上下文差距来自稀疏注意力的实现差异,可复现。

  19. GitHub · 3D 生成新仓库35

    linkedin-cv-tailor:用 JobSpy 抓取 LinkedIn 职位并用 Gemini 定制简历的开源工具

    开源项目 linkedin-cv-tailor 用 JobSpy 抓取 LinkedIn 职位,经 Gemini 过滤并针对岗位定制 CV,通过 Typst 编译生成 PDF,并支持 Telegram 通知与 Flask Web 面板。需配置 GEMINI_API_KEY 才能启用 AI 过滤与定制,Python 版本固定为 3.12,可用 cron 每日自动运行,每次处理间隔 20 秒 rate limit。

  20. GitHub · 3D 生成新仓库20

    YenkasaAI:面向非洲的开源 Flutter AI 控制平面应用

    YenkasaAI 是一个面向非洲市场的 Flutter 控制平面应用,涵盖聊天、知识摄取、分析、内容审核、会话管理与 AI 运维,隶属于更大的 Yenkasa 生态。开发默认指向 127.0.0.1:8008,生产构建需通过 YENKASA_ENV=production 显式指定 API URL,Android 发布版还需真实签名凭据。项目愿景是为创作者、企业、学生、开发者和在线社区提供可访问的非洲中心化 AI 工具。

  21. GitHub · 3D 生成新仓库25

    原生 macOS 绘图应用 Artsy 上架 GitHub:支持 Metal 渲染、压感手写板与 AI 图像生成

    macOS 原生绘图应用 Artsy 开源上架 GitHub,基于 Metal 实现 GPU 加速笔触渲染,支持 Wacom、Xencelabs 等压感手写板及自动笔/橡皮切换。内置 Hard/Soft Round、Watercolor、Acrylic 等笔刷与图层、选区工具,AI 生成接 OpenAI Images 和 Google Gemini/Imagen,并集成 Unsplash 图库。应用要求 macOS 14.0 (Sonoma) 及以上,可通过 Releases 下载 DMG 或从源码构建。

  22. GitHub · 3D 生成新仓库38

    Magnetar:面向可移植本地 AI 执行的 Rust 运行时发布 v0.1 基线

    新开源仓库 Magnetar 发布 v0.1 本地运行时基线,这是一个用 Rust 编写的可移植本地 AI 执行运行时,包含 magnetar-runtime 和 magnetar-cli 两个 crate。其外部 CUDA Provider 已在真实硬件上通过端到端验证,并支持加载生产级 Qwen 模型工件,实测通过公开下载的 Qwen2.5-0.5B-Instruct checkpoint 在 Reference CPU 与真实 CUDA 硬件上运行。项目另提供 WGPU、ROCm、Metal、NPU、TPU 等外部 Provider 基线,部分仅实现设备发现且尚未在对应硬件上验证,官方说明其还不是通用生产模型运行时。

  23. GitHub · 3D 生成新仓库47

    abhishek944/pi-image-gen:Pi 图像生成扩展仓库

    GitHub 新仓库 abhishek944/pi-image-gen 为 Pi 智能体提供图像生成与编辑(image_generate)、可选 sprite 生成(sprite_generate)和独立的已有图像搜索(image_search)扩展。它支持多家生成服务商,包括 OpenAI gpt-image-2、Google Gemini 的 nano-banana 系列、阿里 qwen-image、火山引擎 Seedream、Meta muse-image、Microsoft MAI-Image 等,可通过 OPENAI_API_KEY 等密钥或 Pi 的 ChatGPT Plus/Pro 订阅登录调用。该包可通过 npm 或 GitHub 安装,也可作为 Node 22 的 ESM 库导入使用。

  24. GitHub · 3D 生成新仓库39

    RAG 评估流水线开源工具:分离诊断检索与生成失败

    GitHub 上一个面向 RAG 系统的开源评估工具,可判定回答失败源于检索器未找到证据、语言模型生成错误答案,还是两者同时失败。工具提供本地 Streamlit 仪表盘、PDF 摄取与分块、sentence-transformer 嵌入 + ChromaDB、BM25 及 RRF 混合检索、三种评估模式与 JSON/CSV 导出;默认分块 200 token、25 token 重叠。候选问题须经人工审核验证后才计入评分,无 Gemini API key 时可运行确定性离线流程。

  25. GitHub · 3D 生成新仓库56

    开源 Chrome 扩展 AI Batch Studio 发布,批量自动化 ChatGPT 与 Google Flow 生成任务

    开发者 AssemDeghady 开源了 AI Batch Studio,一个 Manifest V3 客户端 Chrome 扩展,用于在 ChatGPT 和 Google Flow 网页内批量执行提示词、管理参考图并自动下载媒体。项目无需 API key,直接复用登录会话以规避反爬验证;采用 4 级渐进输入提交验证与确定性状态机,未确认提交时标记 needs_attention 以避免重复生成;支持 Veo 2/3、Imagen 3 等模型,遵循 MIT 协议。

  26. prompts.chat · 每日 prompt12

    prompts.chat SEO 优化:修复全站首页 canonical、新增逐页 metadata、真实 404/308 与完整 sitemap(#1290)

    prompts.chat 完成一项 SEO 优化提交:修复全站首页 canonical 标签,并为首页、提示词库、发现页、分类、标签、skills、workflows、开发者工具、API 文档等页面新增逐页 metadata。同时提供真实的 404 和 308 状态码,并添加完整的 sitemap,改进阿塞拜疆语等语言的页面标题与描述配置。

  27. GitHub · 灵魂体仓库49

    TrustRAG:可溯源、防幻觉与提示词注入的 PDF 问答 RAG 项目

    TrustRAG 是一个开源 RAG 项目,针对"chat with your PDF"工具的幻觉、不可验证答案和文档内隐藏提示词注入问题,答案全部来自检索段落并逐条标注页码引用,用第二个模型对每条陈述做事实核查,并给出 🟢🟠🔴 信任分。在其自建的 5 份政策文档、71 个问题的评测中,检索 recall@4 达 100%、MRR 0.97,幻觉率 0%,30 个注入攻击 100% 被移除且无误删,每题平均耗时 6.6 s。技术栈采用 Claude Sonnet 5.5(回答)与 Claude Haiku 5.5(核查/OCR/扫描)、ChromaDB 与 all-MiniLM-L6-v2 本地嵌入,支持 Claude 订阅或 Anthropic API,并提供 Docker 部署。

  28. GitHub · 灵魂体仓库30

    UniStudy AI:基于 Ollama 本地 llama3.2:3b 的离线大学文档学习助手

    UniStudy AI 是一个离线、隐私优先的大学学习助手,通过 Ollama 运行本地 llama3.2:3b 模型,支持对讲义、教材和幻灯片进行文档问答、结构化摘要、选择题测验生成和答案批改,不依赖付费第三方 API。系统不使用 LangChain 或 CrewAI 等包装框架,全部用标准 Python 实现,采用 300 词分块、50 词重叠的词频检索(RAG),并在 UI 中展示 Agent 的工具调用轨迹和引用段落。项目支持 .pdf、.txt、.md 文件,用 Streamlit 构建,带 pytest 测试,扫描版 PDF 需外部 OCR 且词频检索对同义改写查询效果较弱。

  29. GitHub · 灵魂体仓库37

    cv-tailor(Jobhuntz):为工程师打造不编造经历的 AI 求职平台

    工程师 Soma Shekar Keesari 独立开发并运营面向工程师的 AI 求职平台 Jobhuntz(代码库名为 cv-tailor),可根据职位定制 CV 和求职信且不编造内容,已上线 jobhuntz.app。平台以"AI 写作、代码校验"为原则,通过 Claude Sonnet 事实验证、关键词匹配打分等机制,将无法溯源到用户 master CV 的句子比例从 28% 降至 6%。技术栈为 Next.js 16、React 19、Supabase 与 Anthropic Claude API,默认用 Claude、可切换 OpenRouter,配有约 400 个单元测试。

  30. GitHub · 灵魂体仓库36

    RAICA v1.0.0.348:基于多 LLM 编排的开源 Agentic AI 服务器

    GitHub 开源项目 RAICA(RAG AI Context Agency)v1.0.0.348 发布,这是一个基于 Agentic-RAG-System 分支的多 LLM 编排 AI 服务器。新版本加入 Deep Research Mode(多轮检索、来源可信度评分与声明核验)、可开关的数据图表功能(从 World Bank、FBI Crime Data Explorer 等权威来源取数)、POST-LLM Workflow Engine 和 2 个文件(YAML + Python)即可创建工具的插件系统。内置 10+ 生产级 agent、OpenAI 兼容 API、基于 FAISS 的文档智能与 Qwen2.5vl 视觉处理,邮件管理可将上下文压缩 84%。

  31. GitHub · 灵魂体仓库18

    the-biergarten-app:基于 .NET 与 React 的精酿啤酒厂目录发现平台

    GitHub 上的 the-biergarten-app 是一个全栈精酿啤酒厂目录与发现平台,后端采用 .NET 10(垂直切片架构 + MediatR)与 SQL Server 2022,前端为 React 19(React Router 8 + Vite 7)。认证使用 JWT 与 Argon2id 密码哈希,并提供基于 C++20 与 llama.cpp、结合 Wikipedia 的离线种子数据生成流水线,开发环境通过 Docker Compose 集成 Mailpit 与 SeaweedFS。

  32. GitHub · 灵魂体仓库34

    ai-skill-gap:面向非科班转行者的 AI 岗位技能差距分析系统

    GitHub 开源项目 ai-skill-gap 面向非科班转行求职者,采集清洗后 4582 条 JD(78 家公司),抽取技能实体并与简历做语义匹配,输出匹配度打分、差距报告与学习优先级。技术上采用 SiameseUIE 零样本与微调 BERT-NER(F1 0.636 exact)抽取,BGE 语义匹配 Recall@5 达 0.975,知识库含 161 项技能与 106 项学习资源,简历解析结合 DeepSeek LLM。项目通过 201 个 pytest 用例,已免费部署上线 Streamlit Community Cloud,支持 Markdown/Word 报告导出与多岗位对比。

  33. GitHub · 灵魂体仓库19

    开源项目 Azohbi4/detection-of-defects-on-sites-LLM-assistant:工地混凝土缺陷检测 + LLM 检查报告助手

    GitHub 开源项目将工地照片中的混凝土缺陷(裂缝、剥落、露筋、腐蚀、泛碱)自动检测与 LLM 报告生成结合。系统采用 ResNet18/50、EfficientNet-B0 多标签分类,在 256×256 图块上推理并融合为缺陷区域,基于 CODEBRIM 与 SDNET2018 数据集训练,按 70/15/15 分组划分。检测 JSON 结合 Qdrant 检索的检查指南交给 Claude 生成经 Pydantic 校验的报告,服务器端重算严重度,要求人工复核,LLM 不可用时回退到确定性报告。

  34. GitHub · 灵魂体仓库33

    Nexus Terminal AI v2.0:终端里的智能 AI 助手

    Nexus Terminal AI v2.0 是一款在终端运行的智能 AI 助手,由 BrutalTools 开发,采用 MIT 许可证开源。它内置 8 种 GLM-4 系列模型可选(含 GLM-4 Flash、Air、Long、Plus、4V 等),提供方向键交互式模型选择器和 15+ 命令,支持对话保存与 JSON/Markdown 导出、会话统计和配置持久化。

  35. GitHub · 灵魂体仓库63

    pi-mcp-adapter 发布:用一个约 200 token 的代理工具替代常驻 MCP 服务器

    nicobailon 发布 pi-mcp-adapter,让 Pi 通过一个约 200 token 的 mcp 代理工具按需使用 MCP 服务器,避免工具定义占用上下文窗口。与 Pi 0.99 内置 MCP 对比:内置在每个会话启动所有已启用服务器(100 个小服务器约 7.0 GB 内存),适配器只在首次调用时启动、闲置 10 分钟后停止;实测 95 个工具 12 条日常请求中语义搜索 11 次将正确工具排第一(词搜索仅 5 次)。还支持 MCP prompts、elicitation、Tasks 后台任务、OAuth 存入系统钥匙串、用 /mcp-adapter setup 导入 Cursor、Claude Code、Codex、VS Code 配置。

    推荐理由:给出了与 Pi 内置 MCP 的逐项实测对比,包括常驻服务器数量和内存占用,读者可以据此判断值不值得换。

  36. Reddit · r/LocalLLaMA52

    Struna:四个小模型在浏览器本地跑出节奏跑酷游戏,代码 MIT 开源

    /u/MrFelliks 开源了浏览器节奏跑酷游戏 Struna,用四个小神经网络在浏览器标签页内本地听歌生成关卡,无需上传音频。四个模型共约 22 MB,经 onnxruntime-web(WASM、各占一个 web worker)运行:BeatNet(约 1.6 MB)做节拍与强拍追踪并作为关卡网格,Spotify 的 Basic Pitch(约 0.2 MB)做音符转录,Spleeter 人声分离网络(约 20 MB)分离人声,SwiftF0(约 0.1 MB)做 16 ms 精度的音高追踪;首次加载后缓存,设备跑不动时回退到常规 DSP。

  37. Reddit · r/LocalLLaMA58

    llama.cpp 分支优化旧款 NVIDIA GPU:Kepler 上跑到 60 tps 并提供源码与 PR

    Reddit 用户 /u/TheSpicyBoi123 发布改进 llama.cpp 对 Kepler 等 Ampere 之前 NVIDIA GPU 支持的高性能分支,目标是让旧 CUDA 硬件继续可用。在 4x Tesla K40c 上以 Q8_0 量化运行 MTP Qwen3.6-35B-A3B,从原先无法启动提升到 35 tps,修复主线上 cc35-50 的 cuBLAS 计算类型选择问题;启用 CUDA graphs 后达约 55 tps,Windows NCCL 集成带来约 5–10% 端到端提升,吞吐超 60 tps,P.P. 速度在 70-100 tps 之间波动。作者声明这是其个人系统的初步结果,并征集 Kepler、Maxwell、Pascal、Volta 等旧卡用户对比测试。

    推荐理由:作者用 4 张 Tesla K40c 实测给出量化前后与启用 CUDA graphs 的速度对比,老卡复用方案可自行复现验证。

  38. Reddit · r/LocalLLaMA41

    开源离线本地语音助手 Poldi 发布:面向低配硬件的完全本地 AI 伴侣

    开发者 Marcel 发布个人离线本地 AI 助手 Poldi,以语音为交互界面,支持唤醒词免提客户端与浏览器客户端,采用 GPLv3 开源。技术栈为 Whisper.cpp 做 STT、llama.cpp 做 LLM 推理、Piper 做 TTS,支持英德双语、记忆注入、联网与 Wikipedia 搜索等功能,可在 16GB VRAM 的 Nvidia 5060 Ti 上运行,8GB VRAM 甚至 CPU 也可用。