跳到正文
#工程/部署
10月21日周三
  2. Reddit · r/LocalLLaMA60

    OvertChat 开源：自托管的本地模型聊天与编码客户端

    开发者发布开源项目 OvertChat，定位为自托管版 ChatGPT，提供打磨好的本地模型聊天界面。内置本地 TTS/STT 与 voice2voice 语音、捆绑 SearXNG 的网页搜索，支持 Codex、Claude Code、OpenCode、Pi、Hermes 等编码智能体；一条命令安装，覆盖 web、macOS/Windows/Linux、Android/iOS，并提供无法解密流量的免费中继 OvertChat Cloud。作者称已开发近 6 个月，项目获 123 stars，代码为 vibe coded，链接 https://github.com/yoloyash/overtchat 与 overtchat.com。

    推荐理由：作者把自托管聊天前端定位成直接对标 Open WebUI 的成品而非工作区，并给出了安装命令和平台覆盖清单。

  4. Reddit · r/SillyTavernAI46

    SillyTavern 扩展 Worldhopper Engine 1.3 发布：新增附身、精神控制与换身模式

    SillyTavern 玄学角色扮演扩展 Worldhopper Engine 发布 1.3 版，新增 Body Swap 和 Transformation 两种模式，并为被附身角色生成可编辑的 host 人格表。Ledger 和 Mind Book 改为卡片式并支持生成头像（默认约 1024×1024），大对话中仅在场角色条目完整写入，降低 token 消耗。已有用户可通过扩展管理器直接更新，配套 presets 仍停留在 1.2。

  5. Reddit · r/LocalLLaMA30

    Reddit 用户实测：Unsloth 3bit Qwen 3.8 Flash Next 在 CachyOS + STRATA 下速度从 9t/s 提升至 48t/s

    一位 Reddit r/LocalLLaMA 用户在 8GB 显存的本地设备上运行 Unsloth 3bit Qwen 3.8 Flash Next，原速仅 9t/s；改用 CachyOS 与 STRATA（自带 NVIDIA 驱动）后峰值达 48t/s，平均约 30t/s。上下文长度最高跑到 42k，距 OOM 仅差约 130MB VRAM，64k 因显存不足无法实现，作者称其体验接近本地版 Claude。

  6. Reddit · r/LocalLLaMA58

    VectorDash 改用 Rust 重写，新增本地反向图搜与 AI 聊天

    作者 /u/andy2na 宣布 Windows 万能搜索工具 VectorDash 改用 Rust 重写，新增可搜索剪贴板管理、基于 EmbeddingGemma 2 的本地反向图搜、网页搜索和 AI 聊天（含电脑与浏览器控制，Beta）。各功能均可选，未索引且未加载模型时内存占用低于 100MB，索引保留在本机，代码在 https://github.com/ampersandru/VectorDash。

    推荐理由：作者本人发布工具更新，说明了各功能的可选开关和空闲内存占用，本地部署用户可以按需评估是否适用。

  7. Reddit · r/LocalLLaMA65

    open_rknpu2_lm_infer：绕过 Rockchip 专有库的 RK3588 NPU 推理引擎，Qwen3.5-4B 达约 10 tok/s

    作者发布 open_rknpu2_lm_infer，一个不依赖 Rockchip 专有用户态推理库的 RK3588 NPU 本地大模型推理引擎，上层用 Rust、NPU 算子用 C++ 编写。支持 Qwen3.5-4B 图像输入与可选 MTP 投机解码，提供终端聊天和 OpenAI 兼容 API（含流式、工具调用、前缀缓存），并验证了 Qwen3-4B、Granite-4.2-3B、MiniCPM5-2B 等检查点。与 RKLLM 1.3.1 对比，512-token 提示 prefill 147.83 tok/s 对 58.35 tok/s，解码 10.61 tok/s 对 5.54 tok/s，约 2 倍速度。

    推荐理由：作者自建 RK3588 NPU 推理引擎并给出与 RKLLM 1.3.1 的逐项速度对比，数据可直接用于评估本地部署收益。

  9. GitHub · 3D 生成新仓库50

    dark-factory 开源自主编码流水线，提示词进、提交出

    bborbe 在 GitHub 开源 dark-factory，一个自主编码流水线工具，用户放入提示词文件即可自动执行并生成 commit，从规格到提交之间无需人工干预。工具用 Go 编写，在 claude-yolo Docker 容器内执行提示词，默认模型为 claude-sonnet-4-6，支持 spec 到 prompt 生成、PR 创建、CHANGELOG 打 tag 等配置，并附带 Claude Code 插件用于编写和审计 spec 与 prompt。设计原则包括 YOLO Agent 无 git 权限、顺序执行提示词、用目录 frontmatter 表示状态、每个提示词使用全新上下文、失败即停止。

  10. GitHub · 3D 生成新仓库38

    mlabo-org 开源 codex-image-grid-native：Codex 与 Claude Code 的 macOS 原生图像生成工作区

    mlabo-org 在 GitHub 发布 codex-image-grid-native，一个基于 Rust 和 SwiftUI 的 macOS 原生图像生成工作区，面向 Codex 与 Claude Code。它支持 Prompt Batch 生成与编辑、参考图像解析、日英双语 UI、明暗主题和生成历史，并通过 codex_image_grid/generate_image_grid MCP 工具交接产物。单批次最多 12 个提示词、每提示词 6 个变体、共 24 个图像任务，需 macOS 14 及以上并已登录的 Codex CLI。

  11. GitHub · 3D 生成新仓库46

    Kiln AI 开源发布：AI 开发全流程工作台

    Kiln 发布免费的桌面应用与 MIT 协议开源 Python 库，覆盖 evals、提示词优化、RAG、微调、合成数据和 AI 智能体等完整 AI 开发流程。微调支持 60+ 模型（Qwen、Llama、GPT、Gemini 等），测试模型库覆盖 190+ 模型；应用可本地运行，支持自带 API key 或通过 Ollama 完全离线使用。

  12. GitHub · 3D 生成新仓库41

    CulinaAI 开源项目发布：用现有食材生成菜谱并用代码核验过敏与营养

    开发者 SumitYadav2003 在 GitHub 发布 CulinaAI 项目，根据用户现有食材、饮食限制和过敏原生成菜谱，可从冰箱拍照识别食材，约一分钟出结果。菜谱由 OpenAI gpt-4.1-mini 撰写，再经 10 项代码质量检查核验过敏原、饮食合规等，营养、成本和碳排数据取自 CoFID 2021 等 UK 食物数据库而非 AI 输出。项目提供膳食计划、购物清单、离线使用等功能，部署在 Render 免费套餐，演示账号可免注册试用。

  13. GitHub · 3D 生成新仓库47

    dsh-ttsr：把 TTSR 休眠规则移植到 DSH，违规流式输出可在 token 中途打断并自动重试

    dsh-ttsr 将 omp 的 TTSR（feature #04）移植到 DSH：规则平时休眠不占用上下文，一旦模型输出流（prose、reasoning、工具调用参数）违规，就在 token 中途打断、注入规则提醒并按原步骤重试。触发方式包括流式 regex（llm/stream）、带元变量的结构化代码匹配（astCondition）以及置信度 ≥ 0.7 的裁判模型 question，每步重试上限为 2 次。规则通过 /omfg 生成并持久化到 cordis.patch.yml，支持 /ttsr 系列命令管理。

  14. GitHub · 3D 生成新仓库16

    Lolite OS（GitHub 仓库）更新：网页桌面系统新增语音通话、Life RP 玩法与游戏商店

    Lolite OS 是一个可部署在 GitHub Pages 或 Vercel 的浏览器桌面系统，提供应用、游戏、文件与深紫蓝界面。本次更新为 Lolite Chat 加入基于 WebRTC 与 Supabase 的可见语音通话标签、语音房间、桌面通知和已读回执；Life RP 新增 12 条故事任务、28 天 18 级赛季、6 个玩家商店与 18 种商品，以及 Lolite Plus（4,500 虚拟币）和 Lolite Pro（12,500 虚拟币）等纯游戏内升级。GitHub Pages 版仅为静态预览，Vercel 版的 service worker 在浏览器测试中失败，仓库已提供 Dockerfile 和 render.yaml 用于自托管代理后端。

  15. GitHub · 3D 生成新仓库13

    GitHub 开源 Munder Difflin 纸业公司多智能体系统入门项目（ru14/The-Beaver-s-Choice-Paper-Company）

    GitHub 发布 Munder Difflin Paper Company 多智能体系统入门代码库，要求用最多 5 个基于文本通信的 agent 自动化库存补货、报价生成和订单履约。项目提供 quotes.csv 等历史数据与测试样例，默认使用 gpt-4o-mini，支持 smolagents、pydantic-ai 等框架，需 Python 3.10+ 及 OpenAI 兼容 API key，输出含 test_results.csv 与财务报告。

  16. Reddit · r/SillyTavernAI10

    SillyTavern 能否创建自定义图像提示词模板？（而非仅编辑默认模板）

    一位 r/SillyTavernAI 用户已将 SillyTavern 内置的图像提示词模板（如 Last Message、Yourself、Your Face、Me 等）全部自定义完毕，用于向 ComfyUI 工作流发送提示词，现询问能否创建全新模板，例如让角色做特定姿势同时保留聊天中的位置、当前服装等信息，并通过斜杠命令或扩展调用。

  17. GitHub · Blender AI 插件56

    ViperMesh for Blender 开源：为 AI 助手提供预置 Blender 场景操作的 MCP 服务器与插件

    OpenRootdev 发布开源免费的 ViperMesh for Blender，一个 Blender MCP 服务器和插件，让兼容的 AI 助手直接在 Blender 场景中操作，用预置编辑动作替代为常见修改生成 Python 代码，目标是减少 token 消耗并提升结果可校验性。项目基于 Siddharth Ahuja 的 BlenderMCP，内置场景检查（悬浮物、朝向、间距），覆盖建模、材质、灯光、UV、绑骨等操作，保留 execute_code 供自定义；需 Blender 5.2、Node.js 20+ 和支持 stdio 的 MCP 客户端，提供 v1.3.0 MCPB 包或源码构建，MIT 协议开源。

  21. Reddit · r/LocalLLaMA60

    Kokon 0.10 发布：Qwen-Image 2.1 文本编码器兼写提示词，支持自定义 LoRA（beta）

    Kokon 0.10 发布，新增 Prompt+ 与自定义 LoRA（beta）两项功能。Prompt+ 用 Qwen-Image 2.1 已加载的 Qwen3-VL 8B 文本编码器把简短想法改写成详细提示词，无需额外下载模型，在 RTX 5070 Ti 上每张图约增加 2 秒、M2 Pro 约 13 秒，支持 8 GB 显卡；LoRA 最多同时加载 3 个，可设强度和触发词，暂只测过 Windows + NVIDIA。底层改为自带 stable-diffusion.cpp 构建，图像侧与上游逐位一致，文本生成约 127 tokens/s。软件免费开源（AGPL），权重为 Qwen Research License 非商业许可。

    推荐理由：作者给出 Prompt+ 在 5070 Ti 和 M2 Pro 上的耗时、8 GB 显存可用性等实测数据，可据此评估是否值得升级。

  22. Reddit · r/LocalLLaMA65

    Pantheon 引擎在 2014 年 Tesla K80 上以纯 C 跑 Qwen3.6-35B-A3B 达约 21 tok/s

    作者发布自研纯 C 推理引擎 Pantheon（基于 Foundry 库），CUDA 后端面向 Kepler 架构，在 Tesla K80 上实测 Qwen3.6-35B-A3B 与 Nex-N2-mini（Q3_K_M）解码约 21 tok/s，prompt 读取 110-120 tok/s。权重驻留显存使 8 GB 主机即可运行，内置 prefix caching，opencode 二轮 14k token 系统提示从 170 秒降到 9 秒；短板是 prefill，30k token 代码库每次请求需数分钟。提供安装脚本与 OpenAI 兼容 API，代码在 git.teamide.dev，模型权重已上传 Hugging Face。

    推荐理由：作者给出实测吞吐、prompt 长度衰减和 prefill 短板等具体数据，可据此评估老卡跑 MoE 的真实可用性。

  24. Reddit · r/LocalLLaMA12

    Pi.dev harness 的上下文百分比与 compaction 问题求助

    Reddit r/LocalLLaMA 用户求助 Pi.dev harness 的两个问题：一是运行时上下文占用百分比显示不准，会从 78% 随机降到 56%，影响超过一定 token 数触发的 compaction，只能提前手动压缩；二是在另一台电脑用本地服务器托管模型时，compaction 有时拒绝运行，即使上下文占用很少。帖子在征集修复方法。

  25. GitHub · 3D 生成新仓库11

    AutoPilot AI：面向汽车经销商的 AI 线索评分与呼叫管理平台开源仓库 hawlai

    AutoPilot AI 是一个为汽车经销商打造的 AI 线索资质评分与呼叫管理开源项目，支持上传线索后自动打分、管理呼叫队列、预约和管理看板。评分基于车龄、预算和电话号码等信息，70–100 分为 Hot、40–69 为 Warm、0–39 为 Cold。技术栈采用 Next.js 15、TypeScript、Supabase 和 Vercel 部署，并提供 50 条演示数据。

  28. GitHub · 3D 生成新仓库43

    NoiseForm：面向 NovelAI 图像生成的本地 Web 客户端

    开源仓库 NoiseForm 上线，这是一个在本地运行的 NovelAI 图像生成 Web 客户端，支持 V5、V4.5、V4、V3 模型。它在官方生成器基础上提供批量队列、可点击 tag 的 X/Y 网格、基于 IndexedDB 的可查询归档、WebGL2 后处理台（18 passes），以及兼容任何 OpenAI 模型的提示词 AI 助手。仅本地存储 token，无需 NovelAI token 可进 DEMO 模式。

  29. GitHub · 3D 生成新仓库22

    EnerCol 哥伦比亚能源法规研究 Copilot 开源上架 GitHub

    EnerCol 是一个开源的哥伦比亚能源法规研究助手，支持查询法规并检索用户自有的 PDF 文档，每条回答都展示搜索过程、引用和证据片段以便审计。技术栈采用 FastAPI、Postgres 17 + pgvector（halfvec(1024) 嵌入和 HNSW 索引）与 React 18，智能体基于 LlamaIndex 通过 OpenRouter 运行，可选 Tavily 进行网络搜索，支持 Docker 部署、CI 和 Playwright e2e 测试。

  30. GitHub · 3D 生成新仓库37

    NexocoreTeam 开源 AdCreatives：AI 广告创意生成工具，面向 Meta 和 TikTok

    NexocoreTeam 在 GitHub 发布 AdCreatives，一款面向 Meta 和 TikTok 的 AI 广告创意生成工具，将心理信息策略与 AI 图像生成结合。其架构分为策略层、生成层和验证层，包含 VOC Mining、Schwartz 意识分层、fal.ai 提示词生成、平台合规检查等功能，支持 product-hero、benefit-callout、lifestyle-ugc 等多种风格，并提供 CTR、CPA、ROAS 数据回流的反馈循环。视频生成阶段目前仅为脚手架，尚未接入。

  31. Reddit · r/LocalLLaMA36

    Qwen3.8-27B-pi 在 RTX 3080 + 3060 双卡本地部署实测

    一位 Reddit r/LocalLLaMA 用户在 RTX 3080（10GB）+ RTX 3060（12GB）双卡上用 llama-server 运行 Qwen3.8-27B-pi Q4_K_M 量化模型，配合 MTP 草稿推理实现 30-40 tok/s 生成速度，平均 MTP 接受率约 0.75，上下文 75776。该配置用于 Kotlin/Android 的 agentic coding，作者称 dflash2 草稿反而比 MTP 更慢，并征求进一步优化建议。

  33. GitHub · 去对齐工具与仓库59

    wJJh 开源 llm-wiki-skills：网页转 Markdown 与 GitHub Stars 管理的四个 Agent Skills

    作者 wJJh（小妖刀）发布 llm-wiki-skills 仓库，包含四个可组合的 Agent Skills，支持 Claude Code 与 DeepSeek Harness（DSH），全部零第三方 Python 依赖。核心技能 cf-browser-render 通过 Cloudflare Browser Rendering 用真实浏览器把公众号文章、SPA、文档和 GitHub 页面渲染成保留结构的 Markdown；其余三个技能分别实现手动 Star 仓库、分页导出 GitHub Stars、批量扫描 Star 仓库新版本并生成 Markdown 报告，四者可组成发现、收藏、导出、版本追踪的完整流水线。项目 MIT 许可，需 Python 3.10+，国内网络访问 Cloudflare 需配置代理。

    推荐理由：四个技能全部只用 Python 标准库、零第三方依赖，且同一套 SKILL.md 可同时被 Claude Code 和 DeepSeek Harness 加载。

  34. GitHub · 去对齐工具与仓库38

    Recon-GraphRAG：面向 Neo4j 与 Memgraph 的领域无关 GraphRAG SDK

    FadhelHaidar 在 GitHub 开源 Recon-GraphRAG，一个遵循 Microsoft GraphRAG 两阶段理念的领域无关 GraphRAG SDK，支持 Neo4j 与 Memgraph 可插拔图存储后端。它提供多级 Leiden 社区检测、Local/Global/DRIFT 三种搜索范式、schema 驱动抽取和混合实体消歧，并支持 OpenAI、Anthropic、Ollama、OpenRouter 等 LLM 提供方。项目仍在开发中，尚未上架 PyPI，API 可能变动，暂不适合生产使用。

  35. GitHub · 去对齐工具与仓库31

    RuneForgeAI Project Aesir：本地 AI 推理引擎的速度路线图与 CUDA 效率进展

    Project A.E.S.I.R. 是一个用 Mojo 编写的实验性本地 AI 推理引擎，目标是让普通 AI 应用直接在自有硬件上运行模型。其速度路线图计划在指定工作负载上比当前 Ollama 快 2 倍（冲刺目标 3 倍），目前缓存 32-token 工作接近持平，长输入和 128-token 输出仍落后。在 Llama 3.2 3B/RTX 2060 子集上，原生 CUDA 路径比上一版本再快 1.60–1.66x，已可运行 Gemma、Llama 3/Stheno 和 Qwen 系列测试模型。

  36. GitHub · 去对齐工具与仓库39

    HALO Console v0.8.1 公开预览：基于 Ollama 的本地优先 AI 工作台

    HALO Console v0.8.1 Public Preview 发布，这是一个基于 Next.js 和 TypeScript 的本地优先 AI 工作台，通过浏览器界面与本地 Ollama 模型对话。v0.8 预览提供本地流式聊天、Quick/Daily/Heavy 三级模型路由（如 qwen3:4b 到 qwen3:30b-a3b）、浏览器本地保存会话、本地文档上传与检索（支持 .txt/.md/.log/.pdf）以及手动策划的 Learning Layer 笔记。默认绑定 127.0.0.1，无需云端 API。

  37. GitHub · 去对齐工具与仓库60

    CalibGuard 开源低成本文件安全审计系统，本地小模型门控加云端大模型灰区复核

    P-436 在 GitHub 发布 CalibGuard，一套面向脚本、代码、文本和压缩包的文件安全审计系统，输出放行、可疑、拦截、转人工四档结论。本地用 CodeBERT 滑窗推理加 Platt 校准做三桶门控，低危与高危文件不联网判定，仅灰区调用云端 LLM 复核，加复核后 F1 从 0.8600 升至 0.8689、精确率从 0.8739 升至 0.9017。CodeBERT 底座推理 22.4 条/s，约为 0.5B 级 Qwen 的 3–4.3 倍，训练快 2.3–3.2 倍；Releases 提供 GUI 包开箱即用，另有 dsh-calibguard 插件接入 DeepSeek Harness 作为 agent 工具调用。

    推荐理由：作者给出五种底座的 F1、训练耗时与推理速度对比，并附校准前后和云端复核的实测数据，选型依据可直接参考。

  38. GitHub · 去对齐工具与仓库43

    Translate Like Me：macOS 菜单栏翻译与改写工具

    开源工具 Translate Like Me 是一款 macOS 菜单栏应用，通过全局快捷键将选中文本原位翻译，并自动检测语言方向，支持最多三组语言对和按语言对自定义写作风格。它可将口述笔记改写成成稿消息，内置本地 Whisper 语音听写，翻译引擎通过 Claude、ChatGPT、Grok 或 Gemini 的官方 CLI 调用，无需账号或 API key。应用要求 macOS 15（Sequoia）及以上、Apple silicon 芯片，可通过 Homebrew 安装。

  39. GitHub · 去对齐工具与仓库45

    Halcyon：用文字描述生成无限环境音景的开源自托管工具

    开源项目 Halcyon 可将"雨中京都黄昏庭院"等文字描述转为无限播放、接缝不重复的环境音景。语言模型把描述拆分为雨声、风声、钢琴等独立图层并自动混音，用户可实时调节各图层的音量、EQ、声像与距离，删除或按"更少嘶声、更远"等备注重渲染图层，还能上传歌曲片段引导音乐风格、导出最长五分钟 WAV。它以单个 Docker 容器部署，支持 Google Gemini、Ollama、OpenAI 兼容 API 及 Claude Code / Codex CLI 作为语言模型，首个注册账号为管理员。