跳到正文
10月25日周日
  1. GitHub · 灵魂体仓库53

    overwater v2.9.13 发布,扫描代码库中的 LLM 调用点并给出省钱建议

    MithrilBytes 发布 overwater,一个扫描代码库找出过大或过贵 LLM 调用点的工具,按公开模型目录给出每月美元计的更便宜候选,如将 claude-opus-5 调用替换为 claude-haiku-4-5 从约 $91/mo 降到 $18/mo。每条发现附带 tripwire 条件并可用 eval 生成 A/B 验证脚本;CI 通过基线只拦截新增发现。扫描器不传输代码、不调用模型 API,目录快照内嵌于二进制,可离线运行,支持 macOS/Linux/Windows,MIT 许可,v2.9.13 可用 go install 安装。

  2. GitHub · 灵魂体仓库61

    janis:面向 MLX 的本地推理 Go 模块发布

    guregodevo 发布 janis,一个用 Go 编写的开源权重模型本地推理模块,定位为 MLX 版 Ollama:Apple Silicon 上跑 MLX 后端,其他平台用纯 Go CPU 后端。janis serve 提供 OpenAI 兼容端点(http://127.0.0.1:8090/v1),支持流式 chat completions、tool calls、运行时切换已加载模型,权重从 huggingface.co/mlx-community 拉取,支持 Qwen3、Qwen3.5、Gemma 系列,另含 whisper、bge、reranker 和约束解码等组件。它也是终端编码 agent Memdoor 的底层模块。

    推荐理由:作者用单个 Go 模块把 MLX 推理和 OpenAI 兼容服务封装到一起,说明了本地部署的工程取舍与用法。

  3. GitHub · 灵魂体仓库26

    ai-learning-roadmap:面向应用 AI 工程师的开源学习路线图

    GitHub 开源项目 ai-learning-roadmap 是一份带引用来源的 AI 工程学习路线图,基于 Next.js 16.4、React 19 和 TypeScript 5 构建的静态站点,托管在 GitHub Pages。内容分 14 个部分,覆盖 LLM 基础、提示词工程、RAG、智能体、推理到 AI 应用架构,每部分提供技术版、通俗版和孟加拉语三种讲解,并附十个可视化互动学习资源。每个主题支持构建时 Zod 4 校验和浏览器内 MiniSearch 搜索。

  4. GitHub · 灵魂体仓库24

    GitHub 仓库 ml-engineering-lab:全流程机器学习实验项目,从数据到 RAG 与 SFT/LoRA

    GitHub 仓库 trasher88/ml-engineering-lab 是一个覆盖数据准备、分类、检索、RAG、LLM 微调与部署的教学项目,分为 F1–F5 五个阶段共 43 个学习步骤。本地实验记录显示:经典 ML(TF-IDF + Logistic Regression)Test macro F1 为 0.8838,优于 PyTorch 分类器的 0.7813;向量检索 Recall@5 达 0.8500,高于 hybrid 的 0.5500;SFT tiny LLM 未带来提升。项目有意保留负结果与局限,数据采用 CC BY-NC-SA 4.0,暂未提供开源许可证。

  5. GitHub · 灵魂体仓库60

    dsh-qq-bot 0.10 发布:一套插件接通 OneBot 11/12、Satori、Milky 与 QQ 官方机器人五种协议

    arrow1031 维护的 dsh-qq-bot 插件更新到 0.10.x,把协议层拆为 lib/bridge 与 lib/adapters,一套插件接 OneBot 11/12、Satori、Milky、QQ 官方机器人五种协议。要求 DSH ≥ 0.1.7,0.2.1-rc.3 已实测适配;插件带 8 个 Agent 工具、三路权限与访客工具闸,共 628 项测试全部通过,MIT 许可,安装跟随 main 不再锁 tag。

    推荐理由:README 把架构、协议适配和全部测试用例写得很细,想给 DSH 接 QQ 机器人可以直接照着部署。

  6. GitHub · 灵魂体仓库62

    pi-vcc 发布:Pi 编程智能体的算法式会话压缩工具

    作者发布 pi-vcc,为 Pi 编程智能体提供不调用LLM的算法式会话压缩,靠提取与格式化生成摘要。与 Pi 默认方案相比,中位体积缩减97.6%,压缩延迟中位1ms,成本为零,输出确定性一致;基于1884个真实会话实测。压缩后的历史可通过 vcc_recall 按关键词或正则搜索回原始会话文件,摘要按最多6个分段加简要转写组织,多次压缩时分段合并并重新封顶。安装方式为 pi install npm:@sting8k/pi-vcc 或从 GitHub 安装,MIT 许可。

    推荐理由:作者用1884个真实会话给出压缩率与延迟的量化对比,读者可据此评估这套无LLM的上下文压缩方案是否值得装。

  7. GitHub · 灵魂体仓库28

    Sentinel:面向自有代码的防御性安全扫描工具(LLM 编码插件)

    GitHub 开源项目 Sentinel 是一个为 LLM 编码工具打造的防御性安全扫描插件,提供 MCP server 和独立 CLI,含 335 个测试,MIT 协议发布。当前版本尚无漏洞检测层,只能做仓库画像(语言、框架、授权面等)并从 2 个 pack、13 条技术的注册表中筛选适用技术,输出 markdown 与 SARIF 2.1.0 报告,且每份报告都明确声明哪些代码未被检查。工具强制范围与授权校验:仅扫描本地或你有权访问的 GitHub 仓库,只读不写入,需逐目标输入确认;项目还公开了自身 105 个待修复问题的 backlog,下一步将开发检测层。

  8. GitHub · 灵魂体仓库50

    微软开源 DebugMCP:让 AI 智能体直接操控 VS Code 调试器

    微软开源了 DebugMCP,一个让 AI 编码智能体接管 VS Code 调试器的 MCP 服务器,可自主设断点、逐行单步、检查变量和求值表达式,兼容 Claude Code、Cursor、Codex、GitHub Copilot 等 MCP 助手。支持 Python、JS/TS、Java、C/C++、Go、Rust 等 VS Code 调试语言,100% 本地运行,默认绑定 127.0.0.1 并带凭据脱敏。2.4 版新增独立 DebugMCP CLI,可经 npm 安装并直连显式配置的 DAP 适配器,无需 VS Code。

  9. GitHub · 灵魂体仓库41

    grassmoth:面向纵向数据端到端贝叶斯因果推断的 LLM harness

    GitHub 开源项目 grassmoth 是一个面向纵向数据端到端贝叶斯因果推断的 LLM harness,目标是基于医疗记录、聊天记录等数字痕迹数据集辅助个体层面的最优决策。系统采用连续-离散非线性状态空间模型,由 agent 通过 edit_question、edit_model、fit、simulate 等七个公开动作完成研究,兼容 codex 与 claude-code,用 jax 在 GPU 上做并行时间粒子平滑实现分钟级精确推断。其设计面向 Apple Health、Oura、23andMe、Google Takeout、ChatGPT/Claude 日志等可通过 DSAR 获取的数据集。

  10. GitHub · 灵魂体仓库65

    开源工具 QuAiWei v0.9.76 发布,主打中文 AI 文本去味与检测闭环

    fengxingxuerong 在 GitHub 发布 QuAiWei v0.9.76,一个中文 AI 文本去味工具,本地引擎离线零成本运行,可接 OpenAI 兼容 LLM 和朱雀等外部检测器做闭环验证,提供 Web、Electron 桌面、CLI 与 agent skill 多种形态。作者诚实声明内置评分与官方分无标定关系、凭证覆盖率 0/18,并给出真人文本 aiScore 中位 35 等实测数据,提醒不要用内置降幅判断安全性。

  11. Reddit · r/LocalLLaMA62

    24GB M5 MacBook Air 上跑 Qwen3.8-Flash-Next Q2 量化,解码达 49 t/s

    /u/Inside-Pen-8395 在 24GB M5 MacBook Air 上以 Splash 1.4.0 的约 800 行 fork 运行 Qwen3.8-Flash-Next Q2 量化,24,576 个专家槽位中约 6,800 个驻留 ~8.8 GB 内存,其余从 SSD 按需流式读取,支持 256K 上下文,解码平均 48.8 t/s(stock 为 28.8)。

    推荐理由:作者实测了 Qwen3.8-Flash-Next 在 24GB 内存下的 SSD 专家流式方案,给出解码速度、预填充和 LiveCodeBench 对照数据。

  12. Hugging Face · 新模型:uncensored37

    Qwen-Image-2.1 Uncensored 量化版发布,提供 GGUF/Safetensors/MLX 多格式本地部署

    l666A 基于 Qwen/Qwen-Image-2.1 上游权重发布 Uncensored 量化版本,提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成,Q4_K_M(4.60 GB)为推荐的 GGUF 量化方案。该版本不含内置安全检查器,可直接生成成人、NSFW 及敏感图像,支持 ComfyUI 与 ComfyUI-GGUF,文本编码器卸载到系统内存可节省 9–17 GB 显存。

  13. Reddit · r/CharacterAI10

    一个关于 Character AI 的不太受欢迎的观点:拒绝订阅制,希望 c.ai+ 一次性买断

    一位 Reddit 用户吐槽 Character AI 因破产传闻不断在 App 内推送广告,并表示反对 c.ai+ 采用月度订阅制。他认为 Character AI 深陷诉讼已超过一年、本应更透明地披露财务状况,且开发团队长期忽视用户提出“面向成年人”的诉求;若 c.ai+ 是一次性付费,他愿意购买,但不愿持续订阅。

  14. Reddit · r/SillyTavernAI48

    SillyTavern 玩家如何构建多角色非线性叙事结构,而不只是与单个角色聊天

    一位 Reddit 用户为其 AI 角色扮演客户端设计了主线与侧支叙事结构:切换到 Character 2 时默认开启独立侧支,聊天不理想可切回主线(主线角色不知侧支内容),顺利则可将侧支末节点摘要嫁接回主线,节点即每个 ctx window 的摘要。程序还提供 save 命令保存摘要节点拓扑结构,沉淀出“人机沉淀物”,让模型基于双方已发生的事而非常识回答。

  15. Reddit · r/SillyTavernAI13

    r/SillyTavernAI 用户求推荐无积极偏差、能承载黑暗剧情的模型

    一位 r/SillyTavernAI 用户发帖求推荐没有积极偏差的模型,希望角色扮演时能处理道德灰色情节而不把故事强行引向圆满结局,且价格不能太贵。他目前在用 mimo 2.6 pro 并调了针对性提示词,但模型几轮对话后仍会试图救赎角色、化解冲突、把剧情推向健康积极的结局。

  16. GitHub · 3D 生成新仓库25

    AgentGraph:新一代有状态多智能体 AI 编排引擎开源发布

    开发者 Yahya Ali Khan 在 GitHub 开源 AgentGraph,一个面向有状态、循环、多智能体 LLM 系统的高性能编排框架。它提供基于图的类型化控制流、MemorySaver/SqliteSaver/PostgresSaver 持久化检查点、条件路由和 human-in-the-loop 暂停恢复能力,原生支持异步与流式输出。项目采用 MIT 许可证,要求 Python 3.10–3.12,附多个可运行示例。

  17. GitHub · 3D 生成新仓库18

    LLM 能力动手实践:多模态、评测、公平性与安全示例仓库

    GitHub 仓库 amarprajapati1618/Hands-on---Multi-model-LLM-and-LLM 提供 LLM 能力实践示例,涵盖 tokenization、BPE 与文本生成采样,用开源语言模型做摘要和问答,并用小型多模态 LLM 实现视觉问答。内容还包括 benchmark 指标及其局限、模型幻觉与证据溯源、公平性评测,以及一个安全的模拟 agent 策略门控。

  18. GitHub · 3D 生成新仓库39

    Spaceforge:面向 Obsidian 的间隔重复与 AI 学习插件

    Spaceforge 是一款 Obsidian 插件,将笔记转化为学习工具,提供 FSRS 与增强版 SM-2 间隔重复算法、AI 生成选择题、单笔记自适应导师 Study 模式和内置番茄钟。AI 出题支持 OpenAI、OpenRouter、Ollama、Gemini、Claude 和 Together 等多种模型,复习结果会回写间隔重复计划。插件已可从 Obsidian 社区插件市场安装,并附带日历、进度统计与 Anki 风格复习日志。

  19. GitHub · 3D 生成新仓库65

    WebMorph 开源:把任意网站转成 AI 智能体可调用的只读工具与技能

    GitHub 仓库 WebMorph 发布,用 LLM harness 把任意网站转成经回放验证的只读工具与技能,并通过 Model Context Protocol 提供给智能体,无需浏览器。确定性阶段收集站点证据,模型提出能力后生成工具并对真实站点回放,只保留通过五项校验的工具;安全策略、证据记录和回放裁决始终由代码控制。在 60,000 URL 的汽车交易站点上产出 25 个工具,24 个验证通过,其中 11 个纯 HTTP,列表查询不到一秒而浏览器回退需三到五秒;harness 已用 gpt-5.5 在 fixture 站点实测,3 个提议能力全部验证通过。

    推荐理由:把网站确定性验证成只读 MCP 工具的完整方案,安全策略、证据记录和回放裁决都留在代码里,思路可直接迁移。

  20. GitHub · 3D 生成新仓库43

    v0.diy:开源可自托管的 v0.app 克隆项目发布

    v0.diy 是一个开源、可自托管的 v0.app 克隆,基于官方 v0 Platform API v2 构建,用户可用自己的 API key、数据库和域名描述应用并生成实时预览。项目采用 Next.js 16、React 19 与 PostgreSQL(Drizzle ORM),API key 以 AES-256-GCM 加密存储,支持 Mini、Pro、Max、Max Fast 模型选择、一键部署到 Vercel,许可证为 MIT。

  21. GitHub · 3D 生成新仓库59

    NeurIPS 2026 论文揭示上下文压缩中的 LLM 规模悖论,开源诊断数据集与提示词

    清华、百度等机构在 NeurIPS 2026 发表 When Less Is More,发现 compressor-decoder 有损压缩中的 Size-Fidelity 悖论,覆盖 27 组配置(9 个模型规模 × 3 种压缩率):更大压缩器重构误差更低但忠实度下降,中型压缩器常优于大模型。论文归因于知识覆写(如白色草莓被改写为红色草莓)与语义漂移(如 Alice hit Bob 被改写为 Bob hit Alice),64× 压缩下 LLaMA 从 3B 扩到 90B 时知识覆写 QA 从 0.62 降至 0.53、语义漂移 QA 从 0.41 降至 0.28。

    推荐理由:论文用 27 组压缩器配置给出压缩保真度非随规模单调的证据,并公开了诊断数据集与 QA 生成提示词,方法可复用于其他压缩评测。

  22. Reddit · r/LocalLLaMA56

    用云端 Agent 评测本地 35B 模型:800 道自编数学题盲测,盲解者以 5 比 1 优于出题作者

    Reddit 用户 /u/Individual_Page9676 让云端 Agent 通过 Tailscale + LM Studio 调用本地 Mac 上的 Qwen3.6-35B-A3B,构建了一套验证式数据管线:模型自编 800 道数学题后在新会话中盲解,分歧交由 Qwopus 3.5 122B 仲裁,Agent 用 Python 暴力核算,最终得到 793 道可用题。盲解者在仲裁分歧中 56 次正确、作者 12 次,说明出题写官方答案比解题更易出错;第三轮复验中 793 个答案有 774 个被直接确认,甚至抓出 Agent 自己暴力核算写错的一道题。

  23. Reddit · r/LocalLLaMA18

    32GB VRAM 显卡价格大涨,LocalLLaMA 网友重新权衡 B70、R9700 与 A4500/B60 选购方案

    一位 r/LocalLLaMA 网友因 32GB VRAM 显卡价格大涨而重新考虑购买方案:B70 从 1.3-1.4K 涨到 2K,R9700 从 1.7-1.8K 涨到 2.3K。他原计划升级 i9-14900F + 4070S 的主机并通过 RPC/ethernet 与另一台 5070ti 主机协同,现考虑退而求其次选 24GB 的 A4500 或 B60,或配置更复杂的 V100,并征求建议。

  24. Hugging Face · 新模型:abliterated68

    Qwen3.8-Flash-Next-FP4-Local-Abliterated 发布:不改权重、推理时去对齐

    lesj0610 发布基于 nvidia/Qwen3.8-Flash-Next-FP4-Local 的 abliterated 版本,权重文件与基座逐字节一致,仅靠 config.json 中的 abliteration_config 块和 fp4local-abliterated vLLM 插件在推理时做拒绝方向投影。625 条有害提示的拒绝短语命中从基座 97.92% 降到 0.16%,MMLU 较基座低 1.30 分,GSM8K 无显著变化;需 vLLM 0.32.1rc0 以上版本,拒绝行为仅在英文下测试,视频能力未评测。

    推荐理由:原文给出拒绝率、MMLU/GSM8K 与基座的对照数据,并解释了为什么对 FP4 量化权重选择推理时投影而非直接改权重。

  25. GitHub · 去对齐工具与仓库25

    Basira 多摄像头视频智能项目:检测、跟踪与区域分析

    GitHub 上的 Basira 项目面向多摄像头视频智能,提供检测、跟踪与区域分析,并用 VLM 验证告警、支持自然语言视频搜索和智能体操作员 copilot。项目分 Perception、Intelligence、Product 三层,感知层用 Ultralytics YOLO 与 ByteTrack,智能层结合 CLIP + pgvector 与 LangGraph agent + MCP 工具,产品层含 FastAPI、Streamlit 仪表盘和一键 Docker Compose。所有存储快照均做人脸模糊,采用 MIT 许可证。

  26. GitHub · 去对齐工具与仓库44

    second-brain:面向 LLM 的私域知识搜索与检索引擎(开源项目)

    开源项目 second-brain 是一个由 LLM 策展的私人搜索引擎,用 Go 编写,将文件系统、Slack、GitHub、Gmail、Calendar 等多来源知识收集并嵌入后,通过 MCP 或 HTTP 为 AI 智能体提供检索结果。搜索采用 FTS + pgvector 余弦 + pg_bigm + 摘要嵌入 + 实体的 5-lane 混合检索并以 RRF 融合,支持 BGE cross-encoder 重排与 HyDE 查询扩展,使用 text-embedding-3-small(1536 维)嵌入,依赖 PostgreSQL 16,镜像约 34.5 MB。

  27. GitHub · 去对齐工具与仓库15

    Vision-LLM 融合视听多模系统课程(a4527/Vision-LLM-202035324)课程大纲与评分规则

    这是 NVIDIA Jetson Orin 边缘设备上的 Physical AI 实践课程大纲,2026/10/10 至 2026/11/8 在京畿道城南市分堂的汉字 AX LAB 授课,共 10 次课。课程在本地环境实现视觉与 LLM(基于 Gemma 的轻量大语言模型)融合的视听多模系统,不依赖云端。评分含出勤 10%、实作 10%、作业 10%、笔试 30%、项目 40%,共 3 个项目,作业与项目须提交至 GitHub Repository 并附 README.md。

  28. GitHub · 去对齐工具与仓库37

    @y0ngha/siglens-core:开源股票与加密货币技术分析 TypeScript 库

    @y0ngha/siglens-core 是 SIGLENS 背后的开源 TypeScript 分析引擎,面向美股、韩股和加密货币,从价格数据计算 RSI、MACD、Bollinger Bands 等指标,检测 K 线与图表形态并生成交易信号,还构建 0 到 100 的恐惧与贪婪指数。AI 分析提示词由纯函数组装,模型回答经 JSON 修复与校验后才展示,模型注册表覆盖 Anthropic、Google、OpenAI 和 DeepSeek。该库不含下单与交易功能,仅产出分析结果。

  29. GitHub · 去对齐工具与仓库57

    Swedish Embedded 开源 brain:单个 Rust 程序完成模型推理、训练与量化部署

    Swedish Embedded AB 开源 brain,用单个 Rust 程序在现有硬件上下载、运行、微调、量化模型,并通过 OpenAI 兼容 API 提供服务,无需 Python、PyTorch 或独立推理运行时。支持 Qwen3、GLM、YOLOv8、FLUX.2 Klein、Qwen3-TTS 等文本、视觉、语音和世界模型,内置 wgpu、vulkan、cuda、cpu 四个后端,可跑在 NVIDIA/AMD/Intel GPU、CPU、Intel NPU 和浏览器中;每个导入模型与参考实现逐步对比测试,训练用有限差分数值校验,后端间做一致性检查,许可证为 Apache-2.0。

    推荐理由:一个 Rust 程序覆盖下载、推理、微调、量化和 OpenAI 兼容服务,不依赖 Python 或 PyTorch,并给出后端一致性等自检测试。

  30. GitHub · 去对齐工具与仓库63

    maniesh-lab 开源 lookup-agent:先查证再回答的聊天机器人

    maniesh-lab 在 GitHub 开源 lookup-agent,一个先查证再回答的聊天机器人,通过 search_docs、query_database 和 convert_currency 三个工具查询政策文档、Postgres 数据库和实时汇率 API,每个答案附带来源。基于 LangGraph 和 FastAPI,LLM 调用经 Steadfast 可靠层走 Groq 或 OpenAI,SQL 工具用四层只读限制保证安全。作者用 openai/gpt-oss-20b 和 120b 在 Groq 上做了 41 题、15 题评测,v1/v2 提示词均通过全部常规题,困难集 v2 得 14/15;v2 多用约 16% token 但对无答案问题不再空查。

  31. GitHub · 去对齐工具与仓库40

    max-bitons/LLM-Test:在 NVIDIA GB10 / Blackwell 上用 vLLM 部署 LLM 推理、图像生成与安全压测的开源项目

    GitHub 项目 gb100test 在 NVIDIA GB10 / Blackwell GPU 上整合三类服务:通过 vLLM OpenAI 兼容 API 运行 Gemma 4 26B NVFP4、Llama 3.1(默认 8B Instruct NVFP4,上下文 64K)和 Qwen3.5-9B;用 Diffusers 提供支持 SDXL 与 FLUX.2-dev GGUF 的图像生成服务。项目还包含深度 QA 压测、图像生成性能测试及覆盖 10+ 类别的 100 个违禁主题安全边界测试脚本。