跳到正文
10月21日周三
  1. Reddit · r/LocalLLaMA18

    2x5090 + 128GB 内存下用 vLLM 部署 Qwen3.8 Flash Next 的最佳配置讨论

    一位 Reddit r/LocalLLaMA 用户在 2x5090 + 128GB 内存的本地环境运行 Qwen3.8-27B 做智能体编程,称 vLLM 是唯一不破坏 KV cache 且能高效利用的框架,目前使用 Minachist 的 Qwen3.8-27B-INT6-Mixed-AutoRound 量化版本。他考虑改用 Flash Next,但未找到针对 2x5090 + vLLM 的平衡配置方案,向社区征求部署经验。

  2. GitHub · 3D 生成新仓库44

    text-to-ui-html 发布候选版本 1.0.0-rc.3

    GitHub 新仓库 ahai66666/text-to-ui-html 发布 1.0.0-rc.3 候选版本,用于按需求生成动态 HTML、规范化已确认 Demo 样式及精确修改页面。技能支持交接协议 schemaVersion 1、共享数据 1.0.1,内置三层路由与 49 个标准组件,使用需 Node.js 22+ 和 pnpm。完整视觉、外部模型及异步业务模块生命周期验收未通过,正式版需另行完成。

  3. GitHub · 3D 生成新仓库20

    CAMXORA 白标 AI 音乐生成平台仓库 somvannda/camroxa 说明

    somvannda/camroxa 仓库托管 CAMXORA 白标 AI 音乐生成平台,现役产品 musicapi/ 包含 Fastify 5 + TypeScript 核心 API(端口 4003)、Next.js 16 用户工作区(4001)和 Next.js 16 管理控制台(4002),按 credit 计费并基于 Suno 账号池运行。部署要求 Node 20+ 与 PostgreSQL(本地库名 sunoapi),仓库另保留 Python/Electron 等旧版代码仅供参考。

  4. GitHub · 3D 生成新仓库35

    Tiri6/ItalianNextGen:AI 智能体驱动的意大利年轻球员新闻站开源

    GitHub 上开源的 ItalianNextGen 项目用智能体流水线自动采集意大利青年球员新闻:scout 智能体通过 Google News RSS 抓取 watchlist 球员动态,validator 智能体去重过滤后由人工审核发布。撰写智能体可生成 IT+EN 双语文章(`npm run write`,每次最多 40 篇,基于 ANTHROPIC_API_KEY,约每篇半美分),支持从 Football Manager 导入球员数据、追踪 U15–U21 各级国青及海外球员,最终由 Astro 构建静态站点部署到 GitHub Pages。

  5. GitHub · 3D 生成新仓库49

    OpenBook 开源:用任意 AI 为孩子写一本可定制的教科书

    GitHub 上的 OpenBook 开源项目让家长用任意 AI 为孩子生成教科书:按大学教材规划、逐节撰写并做准确性审查,输出带章节编号、例题、习题集和答案手册的 PDF,还支持有声书和阅读障碍友好排版。可用 Claude Code、Codex 等智能体模式、免费聊天机器人复制粘贴模式或本地模型(Ollama、LM Studio)运行,所有章节均为 Markdown 文件,无需订阅,数据不出本机,采用 MIT 许可证。

  6. GitHub · 3D 生成新仓库9

    MLSI 晶体结构识别引擎开源:基于 DGCNN 的 OVITO modifier

    MLSI(Machine Learning Structure Identifier)是一个基于 PyTorch 实现 DGCNN 的晶体结构识别引擎,以 OVITO Python modifier 形式提供。仓库含两类预训练模型:一类分类 BCC、FCC、HCP 等简单晶体结构及其熔体,另一类可区分 25 种 SiO2 相(含 alpha-quartz、coesite、stishovite 等及非晶相和熔体)。项目处于开发中,测试环境为 OVITO Pro 3.10.1 与 PyTorch 1.13.1,并提供脚本供用户训练自己的模型。

  7. Reddit · r/LocalLLaMA70

    开发者为 llama.cpp 实现快速 LoRA kernel,Strix Halo 上 PP 从 300 提升到 1400 t/s

    /u/woct0rdho 为 llama.cpp 编写了 LoRA 推理 kernel,代码见 https://github.com/woct0rdho/llama.cpp 。在 Strix Halo 上,加载 35 MB 的 LoRA(如把 Qwen3.8-Flash-Next 转成 uncensored 版的 chenrm/qwen3.8-flash-next-abliterated-lora)原本使 PP 从约 1500 降到 300 t/s,通用 kernel 提升到 1000 t/s,fused kernel 进一步到 1400 t/s。LoRA scale 可调节去审查与能力损失之间的平衡,且无需重新下载整个模型。

    推荐理由:作者给出了 LoRA 推理在 Strix Halo 上从 300 到 1400 t/s 的实测数据,并开放了可复用的 kernel 代码。

  8. Reddit · r/LocalLLaMA68

    Kapitsa 0.2 发布 KFlash 投机解码,并实测对比 Apple Silicon 多款推理引擎

    Kapitsa 开发者发布 0.2 版,引入新投机解码方法 KFlash,并在 MacBook Pro M4 Pro 48GB 与 M1 Pro 16GB 上对比多款引擎的解码速度。Qwen3.8 27B 4-bit 下 Kapitsa 0.2 KFlash 达 63 tok/s,Inco Splash 1.4.0 DFlash2 为 53 tok/s;Qwen3.6 35B-A3B 上两者分别为 161 和 135 tok/s。KFlash 在同一遍检查中用 best-first 树检查草稿候选,而非单链遇错即停。作者提供 kapitsa bench 供用户自测并提交结果,Splash 需 M3 或更新芯片,Kapitsa 支持 M1 至 M6。

    推荐理由:作者给出两代 Mac 上多引擎的实测数据,并解释了 KFlash 与 DFlash2 在投机解码检查方式上的差异,便于读者对照自己的机型。

  9. GitHub · 去对齐工具与仓库18

    devops-ai-stack-docs:DevOps AI Agent Stack 文档导入 Confluence 指南

    nvlannasik/devops-ai-stack-docs 仓库提供 7 个 Markdown 页面(1 个父页加 6 个子页),涵盖架构、调查流程、修复与安全护栏、部署配置、运维和 Slack 用户指南,用于导入 Confluence Cloud。文档含 3 张用 archify v3.2.0 生成的图表,提供 PNG、SVG 和可交互 HTML 三种格式,修改图表需编辑 candidate.json 后用 archify finalize 重新渲染。

  10. GitHub · 去对齐工具与仓库47

    OpenExpert:完全本地运行的开源 AI 运营仪表盘

    OpenExpert 是一个 MIT 协议开源的 AI 运营仪表盘,完全在本地运行,数据存于单个 SQLite 文件,无需云端、账号或数据库服务器。它提供严格数据隔离的 Experts、可调用工具的聊天、需人工审批的 AI 操作及完整审计回溯,支持 Ollama(默认)、Google Gemini、Claude 或任意 OpenAI 兼容端点,并可集成 Google Drive、本地文件夹和 Notion。

  11. GitHub · 去对齐工具与仓库62

    matrixarkai 开源 Rust 编写的分布式时间感知服务引擎 TemporalStore

    matrixarkai 在 GitHub 发布 Apache-2.0 协议的 TemporalStore,一个 Rust 编写的分布式时间感知服务引擎,用单一时间索引统一上下文管理、长序列、聚合特征、频次控制与控制状态五类读路径,不依赖向量数据库。它提供 Redis 兼容的 RESP 接口,单节点一条 Docker 命令即可本地运行,可经 MatrixRaft 共识扩展到共享存储集群;Python 上下文工具与 MCP 服务器在 matrixark 仓库,基准与文档见 temporalstore.ai/benchmarks.html。

    推荐理由:原文给出架构、部署命令和基准文档入口,读者可据此评估用一个时间感知引擎替代向量库加特征库加计数层的组合方案。

  12. GitHub · 去对齐工具与仓库39

    OOP(Organization Orchestration Protocol):让 AI 工作不依赖单一模型或厂商的组织编排协议

    GitHub 上的 OOP(Organization Orchestration Protocol)是一套厂商中立的开源操作协议,通过把目标、职责、决策和工作转为可版本化、机器可读的信息,让长期项目不依赖单一 AI 的聊天记忆,兼容的 AI 可接续工作。它将 CI/CD 机制扩展到组织协调,用于检查变更依赖、同步授权更新并验证一致性,适用于公司、非营利组织、独立专业人士和自主项目。

  13. GitHub · 去对齐工具与仓库43

    snake-ai:神经网络学玩贪吃蛇的开源实验项目

    GitHub 开源项目 snake-ai 让神经网络学习玩贪吃蛇,提供遗传算法(numpy)和 Deep Q-learning(PyTorch)两种训练算法,支持 5 种视觉输入和 10 种奖励特征组合。项目内置浏览器 dashboard 可实时启动、观察、逐步检查和对比训练 run,每个 run 保存完整配方便于复现,附九节课程(每配方用 3 个 seed 训练)。可选 LLM 分析功能默认使用 anthropic/claude-haiku-5.5 模型,通过 TokenRouter 或 OpenRouter 调用。

  14. GitHub · 去对齐工具与仓库63

    thinking-framework-skills 发布:63 个证据分级、可被智能体执行的思维方法技能库

    product-on-purpose 发布 thinking-framework-skills v0.18.6,一个包含 63 个思维框架的技能库,覆盖 12 个认知操作族,外加 4 个元技能工具和 9 个配方,每个技能输出风险登记表、选项矩阵等具体产物而非文字建议。每个方法按 S/M/P/V/A/C/X 七档证据等级标注,其中 11 个技能达到 S 或 S-M 档,SWOT、Five Whys、ACH 等 7 个知名但证据薄弱的方法被列为 contested lens 并以警示优先方式提供;库中明确标注几乎所有研究基于人类被试、尚未在 AI 智能体上验证。

    推荐理由:这个技能库把每个思维方法都标了 S 到 X 七档证据等级,并明确区分人类研究证据与 AI 智能体上的迁移效果,方便按证据强度选方法。

  15. GitHub · 去对齐工具与仓库48

    utkuozdemir/nvidia_gpu_exporter:基于 nvidia-smi 的 Prometheus GPU 指标导出器

    nvidia_gpu_exporter 是一个利用 nvidia-smi 采集 GPU 指标的 Prometheus 导出器,支持 Linux、Windows 和 macOS,可运行在裸机、Docker 或 Kubernetes 上,无需 C bindings,还可远程执行 nvidia-smi。Linux 上可选实验性 NVML 后端,直接读驱动库并增加 per-MIG-instance 指标、XID 错误计数、总能耗计数和 PCIe 吞吐;demo 模式默认模拟两块 H200。项目附带两个官方 Grafana 面板(ID 14574 和 25547),发布产物用 cosign 无密钥签名。

  16. GitHub · 去对齐工具与仓库67

    pham-canh/space-harness:面向 OpenCode 的模型无关多 lane 编排套件

    pham-canh 发布 opencode-harness-kit,一套面向 OpenCode 的 harness 套件,通过 profile 把模型相关配置编译进 opencode.jsonc,源码中不含任何模型名,切换模型只需改数据。默认 fleet-safe profile 用 10 个 lane 分配 10 个免费模型处理不同任务,附 2026-10-21 实测的各 lane 中位延迟表;隐私分 zero-retention、retained、may-train 三级,retention.yml 人工维护。套件含 guard、prune、router、telemetry 四个插件模块,verify 命令校验安装完整性,doctor 检测免费模型下架导致的漂移。

    同一新闻,精选展示《opencode-harness-kit 发布:为 OpenCode 构建模型无关的十车道编码 harness》

  17. GitHub · 去对齐工具与仓库62

    aulos:本地运行的开源 AI 编程 Agent 完整开源

    Steve-pixel-cpu 开源了本地运行的 AI 编程 Agent aulos,用自然语言下任务后自动读文件、改代码、跑命令直到完成,提供终端和 Tauri 2 桌面端。基于 MiniCC 扩展(行级对比 92% 重写/新增),38k 行 Python 内核、1070+ 测试用例,内置三级权限体系、MicroCompact/Session Memory/Full Compact 三层压缩、MCP 接入、多 Agent 并行、6 类评测任务与跨会话记忆,兼容任何 Anthropic/OpenAI 接口的模型服务。项目地址 https://github.com/Steve-pixel-cpu/aulos。

    推荐理由:开源的本地编程 Agent 完整给出三层压缩、权限分级和评测框架的实现细节,可作自建 Agent 的架构参考。

  18. GitHub · 去对齐工具与仓库50

    Xin API:兼容 OpenAI、Claude、DeepSeek、Gemini 的开源 LLM 网关

    开源项目 Xin API 是一个高性能 LLM 网关,兼容 OpenAI、Anthropic Claude、DeepSeek、Gemini 等主流大模型,提供统一 API 接入、渠道路由、计费结算与可观测能力。支持优先级加权轮询分发、基于 Redis 的分布式熔断、模型名映射、USD/CNY 计价结算及 60 秒窗口的渠道指标聚合。技术栈为 Go 1.25 + React 19 + PostgreSQL 16 + Redis 7,提供 Docker Compose 一键部署,采用 MIT 协议开源。

  19. GitHub · 去对齐工具与仓库58

    SRouter 开源:本地 AI 网关聚合约 60 家供应商与 1200+ 模型

    baiibayu 在 GitHub 发布开源工具 SRouter,一个本地运行的 AI 网关与智能路由器,把 Claude Code、Cursor、Windsurf、Cline 等编码工具统一接到一个 OpenAI 兼容端点(http://localhost:20268/v1),聚合约 60 家供应商和 1200+ 模型。核心机制包括订阅、付费与免密钥免费三层自动回退(上游 429/5xx 时冷却并切换下一模型)、可节省 20–40% token 的提示词压缩管线、每日两次经 Ed25519 签名同步的模型目录、AES-256-GCM 本地加密密钥库,以及原生支持 Anthropic Messages、Gemini、Ollama 和 Codex /v1/responses 协议。

    推荐理由:原文给出了三层回退、token 压缩比例和本地加密等具体机制,可据此评估这个本地网关是否值得接入自己的编码工具链。

  20. GitHub · 去对齐工具与仓库48

    OpenSAE 开源 SAEBase:可复现稀疏自编码器(SAE)研究工具包

    OpenSAE 发布开源工具包 SAEBase,用于可复现的稀疏自编码器(SAE)研究,支持加载模型与 SAE、捕获与复用激活缓存、特征干预与消融,并独立报告 L0、重构 MSE、FVU 等指标而不合成单一分数。配套 Research Lab 提供 48 个站点 × 500 条冻结提示的测量、300 张统计卡片及 SAR、RSS、Input Localization 分析,支持 Python 3.11–3.12,可通过 Docker 在 Hugging Face 浏览。

  21. GitHub · 去对齐工具与仓库48

    tymtym4ty470/mambo-chess:曼波棋社四棋一桌本地网页棋室

    开源项目曼波棋社(Mambo Chess Club)把五子棋、围棋、中国象棋、国际象棋装进同一个浏览器界面,内置五档难度的本地战术引擎,无需注册、无需联网即可对弈。可选接入 DeepSeek、通义千问、Kimi、Ollama 等 OpenAI 兼容 API,模型着法须经本地规则引擎校验才落盘;源代码采用 MIT 许可证,素材不在覆盖范围内。

  22. GitHub · 去对齐工具与仓库53

    KOIYAL 开源 local-transcriber 本地音视频转录工具

    KOIYAL 在 GitHub 发布 local-transcriber,支持 Windows 和 macOS 本地转录音视频文件并生成带时间戳文本与本地 LLM 摘要,全程不联网。转录用 faster-whisper,摘要优先用 Apple Intelligence,其他环境回退到 llama-cpp-python 加载 GGUF 模型;支持 TXT、SRT、VTT、JSON 导出,采用 GNU AGPL-3.0 许可证。

  23. GitHub · 灵魂体仓库37

    Zen:面向所有 LLM 的免费 AI 编程 Agent VSCode 扩展发布

    开源仓库 KhanhRomVN/Zen 推出 VSCode 扩展 Zen,将编辑器变成可读写文件、运行终端命令和执行 Git 操作的 AI 编程 Agent,免费且无需订阅。它支持两层连接:通过 API key 接入 OpenAI、DeepSeek、Anthropic Claude、Google Gemini、Qwen、Ollama 等,或用 Chromium 自动化登录 ChatGPT、Gemini、Claude.ai、Qwen、GitHub Copilot 等免费网页版,无需 API key。扩展提供 3 级权限系统、修改前自动 checkpoint 并支持一键回滚、多账号管理与用量跟踪,并集成 LSP 诊断自动修复错误。

  24. GitHub · 灵魂体仓库49

    FORIFOR 开源语音任务助手 AI-meeting 发布 v0.2.0-beta.2

    FORIFOR 开源 AI-meeting,一款语音转任务会议助手,支持可打断的 AI 对话、VRM 头像和浏览器本地任务持久化。最新 beta 版 v0.2.0-beta.2 带来 voice-orb 输入交接和 1,100 个自动化测试,提供可本地运行的 OSS 预览。应用内置 OpenAI Realtime、Gem Live 和本地 provider 适配器,未确认的语音改动不会被持久化,语音试用每天限 3 分钟且需验证邮箱。

  25. GitHub · 灵魂体仓库65

    narrative-interact:基于本地LLM的TRPG式互动小说系统开源

    naoki-Kamishiro开源narrative-interact,一个完全本地运行的互动小说系统,LM Studio加载本地LLM担任GM,玩家输入类型与标题即可自动生成剧情并自由行动,支持骰子判定、存档和4档剧情约束度选择。推荐Gemma4 12B、上下文32,768 token以上,README详细列出了已抑制、残留和模型依赖三类模型缺陷及对应提示词对策。项目采用MIT许可。

    推荐理由:开源了完整的GM提示词体系,还按轻缓解到模型依赖三档详细列出LLM跑TRPG的失效模式,方法可直接复用。

  26. GitHub · 灵魂体仓库19

    开源项目 Brkeven:面向个人创始人的 AI 广告投放分析系统(GPT-4o-mini 驱动)

    开发者 Joann Praise 开源了 Brkeven 营销分析系统,用户只需提供广告花费和收入,即可通过 OpenAI GPT-4o-mini 获得诊断、根因分析、优化建议及置信度评分。系统采用 FastAPI + React + Supabase PostgreSQL + LangSmith 架构,通过 Instructor 生成结构化输出,可选字段缺失时降低置信度而不拒绝分析。目前为 5 阶段规划中的第 1 阶段,已上线 brkeven.com。

  27. GitHub · 灵魂体仓库21

    llm-suite:模块化 Rust LLM 工具集

    llm-suite 是一套模块化 Rust 工具集,将“调用 LLM”从零散的 HTTP 代码整合为分层的 provider 无关协议栈,由 12 个小型 crate 组成工作区。核心包括协议类型层、wire codec(支持 OpenAI Chat Completions、OpenAI Responses、Anthropic Messages、Gemini 原生)、reqwest 异步传输(支持 SSE 流式)、嵌入与 rerank 能力、配置层,以及统一编排入口 LlmGateway。crate 间构成无环 DAG,tool-call 解析等功能通过 feature flag 按需编译,供 wf-agent 等宿主项目以 git submodule 方式复用。

  28. GitHub · 灵魂体仓库52

    llm-xlate:跨 API 的 LLM 路由翻译核心开源

    tokenparty-net 在 GitHub 开源 llm-xlate,一个 LLM 路由用的跨 API 翻译核心,可在 OpenAI Chat Completions、OpenAI Responses 和 Anthropic Messages 三种协议方言之间桥接请求、流式与非流式响应、错误体及 stored-response(previous_response_id)链。库是 sans-IO 设计,入口均为纯函数或 push 状态机,相同输入产出字节级一致的输出;每个有损转换都记录为 Degradation 并可通过 x-router-degraded 头呈现,无法表达的请求返回类型化 XlateError。

  29. GitHub · 灵魂体仓库27

    AI 观潮(aiguanchao)GitHub 仓库:每 3 小时自动同步 AI 日报与精选新闻

    aiguanchao.com 每天“AI 观潮”从两百多个信息源、上千条新闻中精选内容,每条附中文总结和原文链接,并提供每天早 8 点、晚 6 点两期 AI 日报和大模型排行榜。其 GitHub 仓库每 3 小时自动同步最新日报与精选。网站还提供托管的远程 MCP 服务(com.aiguanchao/news),Claude、Cursor 等 AI 工具接入后可查精选、搜新闻、看日报和热门事件,有免费每日调用额度。

  30. GitHub · 灵魂体仓库49

    minunglee/spring-llm-gateway:用 Spring Boot 保护 Claude API 公开演示的网关项目

    开发者 minunglee 在 GitHub 开源 spring-llm-gateway,一个用 Spring Boot(Java 21 虚拟线程)搭建的网关,保护公开 AI 演示中的 Claude API 不因脚本滥用、故障导致费用失控。系统用 Redis Lua 脚本原子化限流与预算预扣再按实际用量结算,配合 Cloudflare Turnstile 人机验证;压测显示吞吐从 91 条/秒升至 190 条/秒,p95 从 5.16s 降至 2.19s,预算利用率从 17.5% 提升到 92%,超限 0 次。项目在 vCPU 4、RAM 2GB 的服务器上运行,默认假响应模式可零成本启动。

  31. GitHub · 灵魂体仓库59

    MAGI-Systems-AI 开源 OpenTenet 工作区,为 AI 编码助手加跨工具纪律层

    MAGI-Systems-AI 发布开源项目 OpenTenet,一个纯 markdown 工作区,让 AI 编码助手在会话启动时读取硬规则宪法、六阶段算法和验证准则,解决无状态、幻觉路径和虚报完成的问题。它兼容 Claude Code、Gemini CLI、Cursor、Codex、Aider 和 Copilot Chat,pre-commit 钩子扫描 16 种凭据模式,为 Claude Code 生成约 13k 精简上下文、为 Codex 和 Aider 生成约 57k 完整上下文,并支持 Ollama + Aider 离线本地模型。项目附本地 Web 控制台和可选团队模式,MIT 协议。

    推荐理由:开源工作区把验证规则写进文件而非模型,给出六阶段算法与探针表,跨六种 AI CLI 可复用,方法可直接迁移。

  32. GitHub · 灵魂体仓库24

    TripMate:基于 LangGraph 的多智能体 AI 旅行规划助手

    TripMate AI 是一个开源的全栈多智能体旅行规划项目,通过 LangGraph 编排航班、酒店、行程和最终响应四个智能体,生成完整的旅行计划。它使用 Groq 托管的 openai/gpt-oss-120b 做规划、openai/gpt-oss-20b 清理语音输入,并接入 AviationStack 实时航班数据和 Tavily 酒店搜索。项目基于 FastAPI 构建 Web 界面,支持语音输入、Markdown 渲染、PDF 导出,以及 LangGraph PostgreSQL checkpointer 实现的对话记忆,可本地运行或用 Docker 部署。

  33. GitHub · 灵魂体仓库62

    cloudwalksolutions/llm-server:本地 LLM 推理服务器部署与远程管理工具

    cloudwalksolutions 在 GitHub 发布 llm-server,提供本地 LLM 推理服务器的安装与远程管理,支持 AMD(Vulkan)与 NVIDIA(CUDA)GPU 的 llama.cpp 安装脚本,并可选通过 Cloudflare Tunnel 暴露公网。架构为每个模型一个 llama-server 实例、各自绑定 loopback 端口,由 nginx njs 路由按请求的 model 字段分发;make deploy 通过 systemd 模板部署,可对比 diff、只重启变更实例并在失败时自动回滚。

    推荐理由:这是一个完整的 llama.cpp 多模型推理服务器管理方案,部署、验证、基准与 KV 量化实测工具齐全,方法可直接复用。

  34. GitHub · 灵魂体仓库44

    local-legal-ai:面向律所的自托管私有法律 AI 助手

    GitHub 上的 local-legal-ai 项目为律所提供完全自托管的文档问答助手:上传 PDF、DOCX、TXT 合同与文件后,本地 LLM(llama.cpp、Ollama 或 vLLM)逐字流式输出带编号引用的答案,全部数据与模型留在本地,不调用第三方 AI API。项目内置基于 ChromaDB 的语义检索、越题拒答与无引用标记、关键条款提取、哈希链防篡改审计日志、JWT 登录与角色管理,并支持 IP 白名单、data/inbox/ 监控文件夹索引以及 n8n 与 Slack 集成;无模型时可退化为无需 GPU 的抽取式回答模式。