跳到正文
#本地部署
10月24日周六
  3. GitHub · 去对齐工具与仓库42

    llmdil v0.1.40 发布：Windows 本地大模型部署与推理层桌面应用

    GitHub 上的 llmdil 是一款基于 Tauri 2 + Rust 的 Windows 桌面应用，用于在单台工作站上安装、配置、监督和监控本地 LLM 服务栈，当前版本 v0.1.40（2026 年 10 月 18 日）。它提供 12 步自动执行的首启设置向导、llama-server 子进程监督、LiteLLM 网关（:4000）统一路由与 OpenRouter 云端故障转移、GPU 遥测监控及带 SHA-256 校验的模型库管理。要求 Windows 11 24H2+、NVIDIA R550+ 驱动、120 GB 空闲磁盘，采用 Apache-2.0 许可证。

  4. GitHub · 去对齐工具与仓库18

    哈萨克斯坦国立信息技术大学 AI 测试用例生成毕业设计项目：yssnov/ai-testcase-generation

    Astana IT University 团队启动毕业设计项目，用本地部署开源模型从 SRS、用户故事、PRD 等需求文档自动生成可追溯、可评审的测试用例。系统将对比 Qwen3、Gemma、Mistral Small 等模型与提示词策略，支持需求提取、ISO/IEC/IEEE 29148 质量检查、人工评审后导出 CSV/XLSX/Gherkin/JSON。目前完成分析和设计，代码尚未启动，计划使用 Ollama、vLLM、Next.js、FastAPI 等技术栈。

  5. GitHub · 去对齐工具与仓库50

    pocket-homelab-ai 开源：在自建服务器上通过浏览器和手机运行 Claude Code 与 Codex

    GitHub 项目 abjelosevic88/pocket-homelab-ai 发布，提供自托管 Web 应用/PWA，在自有服务器上通过任意浏览器或手机驱动已安装并登录的 Claude Code 与 Codex CLI。单个 Go 二进制加一个 SQLite 文件，复用现有订阅、CLAUDE.md/AGENTS.md、MCP 服务器和 skills；支持每线程切换模型与权限模式、多账号切换、git worktree 并行改动、SSH 远程主机执行、粘贴截图、定时保存的检查任务（以 OK/ATTENTION 结尾并按需推送通知）、完整文本搜索与用量统计。需以驱动 CLI 的用户身份在宿主机运行（不可容器化），默认监听 127.0.0.1:8195，MIT 许可。

  6. GitHub · 去对齐工具与仓库65

    llm-systems-manager 开源发布：自托管面板监控与调优本地 LLM

    llmsyscore 在 GitHub 开源了 llm-systems-manager，一个自托管面板，用于监控、控制、基准测试和调优运行本地 LLM 的机器，采用 AGPLv3 许可证。支持 llama.cpp、vLLM、LM Studio 和 stable-diffusion.cpp，兼容 NVIDIA、AMD（ROCm 与 Vulkan）和 Apple Silicon GPU，支持 Linux 与 macOS，不支持 Windows。

    推荐理由：原文完整列出了安装方式和监控、基准、自动调参等功能清单，可用于评估这套自托管面板是否覆盖本地推理运维需求。

  7. GitHub · 灵魂体仓库67

    Off Grid AI 开源 OGAM 离线本地 AI 助手套件，Pro 版支持自定义人格与语音

    Off Grid AI 在 GitHub 开源 OGAM，一套完全在手机和 Mac 本地运行的离线 AI 套件，涵盖文本生成、图像生成、视觉识别、语音转写、工具调用和文档分析。可选 Pro 订阅（$119 买断或 $7.99/月）增加 Kokoro 端侧语音回话、可自定义 system prompt 与持久记忆的人格、需人工批准的操作草拟，以及手机与 Mac 之间无中继的 Personal Mesh 同步。

    推荐理由：自述为完全离线本地的 AI 助手套件，人格系统给出了系统提示词、语音与持久记忆的具体构造方式，可作本地部署参考。

  8. GitHub · 灵魂体仓库41

    mercureal-assistant：完全离线的 Android 隐私语音助手发布 v0.2.1

    GitHub 开源项目 mercureal-assistant 发布 v0.2.1，是一款完全在 Android 手机本地运行的离线语音助手，用 whisper.cpp 做语音识别、量化 llama.cpp 模型（默认 Qwen2.5-0.5B-Instruct Q4_K_M，可选 Llama 3.2 1B）生成回复、sherpa-onnx 离线 TTS 朗读，不经云端。应用仅用网络从 Hugging Face 固定 commit 下载模型并校验 sha256，语音、提示词与回复不离开手机，无分析或崩溃上报。项目仍未经真机编译运行验证，语音模型提供 tiny.en、base.en、small.en，模型约 78 MB 至 808 MB 不等，MIT 许可。

  9. GitHub · 灵魂体仓库61

    fuba-browser 发布 3.6.0：面向 LLM 智能体的 Docker 浏览器自动化工具

    fuba 在 GitHub 发布 fuba-browser，这是一个运行在 Docker 中的 Chromium 浏览器自动化工具，通过 REST API 和 CLI（fbb）供 Claude Code 等 LLM 智能体控制浏览器，主打解决 Chrome DevTools MCP 的 token 消耗问题。工具提供 Snapshot/Ref 无障碍树元素定位、Web VNC 远程访问、认证状态保存加载、网络检查与下载捕获 API，可选 NVIDIA/AMD GPU 硬件加速，最新镜像为 ghcr.io/fuba/fuba-browser:3.6.0，MIT 许可，API 设计受 vercel-labs/agent-browser 启发。

    推荐理由：面向 LLM 智能体的 Docker 浏览器自动化工具，REST API 配合 Snapshot/Ref 定位，主打降低 Chrome DevTools MCP 的 token 消耗。

  10. GitHub · 灵魂体仓库62

    usage-engineer 开源：测量并削减编码智能体浪费的 token

    作者开源了本地 CLI 工具 ue，用于测量并减少 Codex CLI、Claude Code 和 OpenCode 等编码智能体浪费的 token，如重复粘贴长日志、重试相同失败命令和过时项目地图。工具为零依赖单 Python 文件、无网络调用，也可作为 Agent Skill 安装；内置 ue bench 冻结基准用例和 ue compare 配对比较，并附 2026-10-21 的一次实测，显示上下文包在 3 个用例上多耗约 30% token（+273,353），作者注明每格仅 1 个样本属噪声级，仅演示方法而非结论。

    推荐理由：作者用自带的双组基准实测了上下文包方案，结果显示其反而多耗 30% token，这种不粉饰的测量方法本身有参考价值。

10月23日周五
  1. Reddit · r/LocalLLaMA62

    TensorSharp 在 5× A40 上运行 DeepSeek-V4.1-Flash-1017：预fill 吞吐达 llama.cpp 的 4.4–5.5 倍

    TensorSharp 开发者在 5× NVIDIA A40 上实测 DeepSeek-V4.1-Flash-1017（Unsloth UD-IQ2_XXS GGUF），默认启用 YOCO 时长文本 prefill 吞吐达 llama.cpp 的 4.43–5.50 倍，关闭 YOCO 仍有 2.44–3.23 倍；decode 提升较小（1.08–1.20 倍）。质量上，WikiText-2 困惑度相对 llama.cpp 高约 0.46%（YOCO 关）到 1.14%（YOCO 开）。vLLM 0.32.0 在该机未能出 token，仅作兼容性检查。作者注明结果基于单机单量化档位、构建含未提交改动，完整报告见 GitHub。

    推荐理由：作者给出同机同文件的对照数据和 YOCO 开关后的困惑度变化，可据此评估该推理引擎在 A40 上的实际收益与质量代价。

  2. GitHub · 3D 生成新仓库37

    Breadwinner：开源本地优先的反幻觉简历定制工具 FaizPalwala/breadwinner 发布

    开源项目 Breadwinner 是一款本地优先的 8-Bit 风格求职简历定制工具，核心反幻觉规则要求每条简历要点都必须可追溯到本地 Career Pantry 中的已验证事实，并严格保留如 scaled to 10M events、latency 降低 45% 等真实指标。它完全离线运行，支持 LM Studio、Ollama 本地模型，也可接入 Gemini、DeepSeek、Groq、OpenAI 的 API key，简历与 API 密钥均保存在本地。工具提供双栏要点编辑器、ATS 审计仪表、无头 Chromium 生成符合 Jake's Resume 标准的 A4 PDF，以及自动按指标密度和时效性裁剪内容的 Career Curator。

  3. Reddit · r/LocalLLaMA23

    Swift-1.5 QFN IQ2_XXS（64k 上下文）对比 Swift-1.5 27B Q4_K_L（llama.cpp，128k 上下文）

    Reddit r/LocalLLaMA 用户对比 ukisai 的 Swift-1.5-Qwen3.8-Flash-Next（IQ2_XXS、64k 上下文、Strata）与 Swift-1.5-Qwen3.8-27B（Q4_K_L、128k 上下文、llama.cpp）。Flash-Next 在 medium 推理档位下反复空转思考、刷工具调用而不写代码，关掉推理也一样；27B 几分钟后就开始写修复。作者怀疑与 64k 上下文压缩、低量化或 Qwen Flash Next 本身有关。

  4. Reddit · r/LocalLLaMA61

    Reddit 帖子详解 RTX 消费卡 FP32 累加限制及各代解锁可行性

    /u/panchovix 在 r/LocalLLaMA 发帖解释 NVIDIA 消费级 RTX 显卡的 FP32 累加性能被故意砍半，用于区分专业卡与数据中心卡。受影响的任务包括 LoRA 微调、扩散模型生成、LLM prefill 和大批量推理，作者称 RTX 6000 PRO 比 5090 快约 70%；RTX 20/30 系解锁可能性高，40 系已有实测工具，50 系因加入熔丝较难解锁。

    同一新闻，精选展示《RTX 20/30/40 可解锁 FP32 累加性能而 RTX 50 不行的原因解析》

  5. GitHub · 去对齐工具与仓库57

    agentic-incubator 开源 ruflo-local 本地模型分流网关仓库

    agentic-incubator 发布 ruflo-local 仓库，目标是将约 90% 的 LLM 流量路由到自有硬件上的开放权重模型，约 10% 留给 Claude / GPT / Gemini 等前沿 API。方案带故障回落、硬预算上限、永不离开本机的隐私通道，网关默认 LiteLLM + Ollama，另有 Bifrost、Helicone 实验变体和可选 vLLM（NVIDIA GPU）配置，附 Prometheus 与 Grafana 监控面板。仓库说明 90/10 是结构化目标而非学习型路由器，可选 RouteLLM 配置提供学习型调节；Apple Silicon 走 MLX、其他硬件走 GGUF，需运行 make render 生成硬件专属配置，官方称模型拉取完成后约 10 分钟可跑通。

    推荐理由：这是一个开源的本地+前沿模型分流网关方案，说明了 90/10 路由的实现机制和预算上限、隐私通道等具体配置。

  6. GitHub · 去对齐工具与仓库55

    LudwigKienle 开源本地优先 AI 视频制作编辑器 ai-video-production-editor

    LudwigKienle 在 GitHub 开源了本地优先的 AI 视频制作编辑器，覆盖剧本、导演处理、分镜、拍摄、剪辑、调色到导出的完整流程，核心采用 GPL-3.0 许可。

    推荐理由：开源的本地优先 AI 视频制作工作台，把剧本到导出的完整流程和多家模型路由整合进一个自持项目文件夹。

  8. GitHub · 灵魂体仓库64

    rokartur 发布 Rust 单二进制编码 agent，附 jcode 与 pi 对比数据

    rokartur 发布开源编码 agent，单个 Rust 二进制、无 Node 和 Electron，支持 Claude、ChatGPT、GitHub Copilot 账号登录或 Anthropic、OpenRouter API key 及本地兼容服务器， GPL-3.0-or-later 许可，支持 macOS 和 Linux。配置、账号、会话、技能、插件和 MCP 服务器集中在 ~/.agents 一个文件夹，按行锚点编辑并在文件变动时拒绝覆盖，编辑后经语言服务器和 edit-hooks 自检。

    推荐理由：作者给出了与 jcode、pi 在同模型同任务下的耗时、token 和成本对比数据，可作为评估这个 Rust 单文件编码 agent 的参考。

  9. GitHub · 灵魂体仓库37

    Spectrum-Data-Extraction-and-Entry-Automation：基于 Docling 与 Granite 的 xlsx 数据提取自动化流水线

    GitHub 开源项目 Spectrum-Data-Extraction-and-Entry-Automation 提供 xlsx → Docling → Granite → JSON 文件的任务数据处理流水线：Docling 做布局感知解析转 Markdown，本地 Ollama 运行的 granite4.1:3b 模型提取生成草稿 JSON，再经人工审核表单验证后导出。数据以 JSON 文件存储，无数据库引擎，保存采用原子写入，并提供多值单元格组合展开等调试与扩展说明。

  10. Hugging Face Blog44

    Hugging Face 推出 torch-neuronx 模型支持查询 Space：你的模型能否跑在 AWS Trainium 上一查便知

    Hugging Face 推出 torch-neuronx model support Space，可查询 Hub 上热门模型能否在 AWS Trainium 上原生运行，并提供可复现的 run.py 脚本。每条记录包含 Trainium core 分片数、含编译的总运行时间和峰值显存，结果来自公开数据集 aws-neuron/torch-neuronx-model-support，用户可通过 NEFF cache bucket 跳过编译。

  11. arXiv · cs.AI40

    InferSlice：面向电信广域网 SLO 驱动 LLM 推理的参考架构

    BT 联合布里斯托大学与 NVIDIA 提出 InferSlice，一个在电信基础设施上实现 SLO 驱动 LLM 推理的参考架构，集成网络切片、GPU 分区、弹性服务与可观测性，并在 JOINER 英国全国广域网上实现。评估显示不同服务层级呈现不同的时延-吞吐区间，权重流式传输可缩短扩容时间；流水线并行可容忍近中距离跨站点跳数，而张量并行与 prefill/decode 分离在超出单一子网跳数后失效。

  12. Hugging Face · 新模型：uncensored48

    Solstice-AI 发布 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 的 Apple MLX oQ4e 1M 版本

    Solstice-AI 将 DavidAU 的 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 量化打包为 Apple MLX oQ4e 混合精度版本，内置 1,048,576 token 的 YaRN 上下文扩展，内存占用 17.02 GB，可在 16GB/24GB MacBook 上通过 Anvil 或 MLX-LM 运行。官方称在 Claude Code 评测框架下以 9/9 项基准全胜 Claude Opus 4.6 Max，其中 SWE-bench Pro 61.7% 对 53.4%，ARC-C 735、ARC-E 882。Apple Silicon 上的 MTP 多 token 预测带来 1.72×–2.20× 的加速。

  13. Reddit · r/LocalLLaMA67

    RTX 4080 32GB 改装卡（AD102）解锁后 FP16/BF16 GEMM 性能翻倍

    /u/Desperate-Sir-5088 在 r/LocalLLaMA 发布了解锁 RTX 4080 32GB 改装卡（AD102）算力的方法。基于 CMP 170HX 研究与此前 GPU 解锁工作，自定义 EFI 在 Windows 启动前应用改动并交还控制权，单卡在 Windows 11 下即可使用，无需 iGPU 或副卡。GEMM 测试中 FP16/BF16 搭配 FP32 累加从约 92 提升到 184 TFLOPS（N=4096 时分别 +99.71% 和 +100.73%），N=8192 时分别 +59.85% 和 +71.48%，FP32 基本不变。

    推荐理由：作者实测给出了修改前后的 GEMM 跑分对比，FP16/BF16 翻倍而 FP32 基本不变，数据具体可复现。

  15. GitHub · 3D 生成新仓库63

    minimax-h3-mlx-48gb 分支让 MiniMax H3 视频生成在 48 GB Mac 上本地运行

    一个基于 PipeNetwork/minimax-h3-mlx 的分支让 33B 扩散 Transformer 模型 MiniMax H3 的同步音视频生成能在 48 GB 统一内存的 Apple Silicon Mac 上运行，核心做法是按阶段加载组件而非全部常驻，将约 55 GB 的峰值降至约 21 GB（扩散阶段）。项目附带五个补丁、断点续跑、TAE 快速预览和 CLI，8 步采样可将 512x512 单次生成从 24.5 分钟缩到 6.6 分钟；仓库不分发模型权重，H3 权重受 MiniMax H3 Community License 限制。

    推荐理由：作者按阶段分时加载四个组件，把 55 GB 峰值压到 48 GB 内存可跑，并给出实测数据和五个补丁的逐项说明。

  16. GitHub · 3D 生成新仓库59

    aurora-rust-engine 发布纯 Rust 多模态推理引擎，覆盖图像文本语音音乐生成

    GitHub 仓库 lecyberbill/aurora-rust-engine 发布了一个完全用纯 Rust 编写的 AI 推理引擎，零 Python 依赖，支持图像（SDXL、FLUX.1/FLUX.2、Z-Image Turbo）、文本（Qwen、Llama、DeepSeek 等的 CausalLM）、语音（Whisper、Parler-TTS/Kokoro）和音乐（ACE-Step 1.5）四类生成。

    推荐理由：README给出了 RTX 4070 Ti 与 AMD RDNA4 上的实测吞吐和显存数据，可以借此评估纯 Rust 零 Python 推理栈的可行性。

  17. Reddit · r/LocalLLaMA8

    Qwen4 将至，LocalLLaMA 网友发帖求教二手硬件捡垃圾跑本地大模型是否值得

    一位 LocalLLaMA 网友在 Qwen4 即将发布之际考虑投资硬件，询问在二手市场购买 GPU 和 RAM 组装本地推理主机是否可行。其问题包括不同型号 GPU（如 RTX 3070、RTX 4070、RTX 5080）能否混用、DDR3/DDR4/DDR5 内存如何取舍，以及能否以捡垃圾配置以 150 t/s 运行 DeepSeek flash v4；其所在地中欧 RTX 5090 极为稀缺。

  19. GitHub · 灵魂体仓库61

    Clipal 开源本地 LLM API 网关，支持一键接管 Claude Code 等 18 个 CLI 客户端

    PAIArtCom 开源了本地 LLM API 代理与网关 Clipal，可将多个模型提供方整合到本地路由 http://127.0.0.1:3333/clipal。它支持在 Web UI 中一键接管 Claude Code、Codex CLI、OpenCode、Qwen Code 等 18 个客户端的配置并自动备份回滚，提供多 Key 轮换、优先级故障转移与 Codex、Claude、Antigravity 的 OAuth 上游接入，以单二进制文件在 macOS、Linux 和 Windows 上作为后台服务运行。

    推荐理由：项目方完整说明了本地 LLM 网关的一键接管、多 Key 轮换与故障转移机制，可作为整合多家模型接口的参考方案。

  20. GitHub · 灵魂体仓库46

    Zed2Api：把 Zed 订阅用作 PI 和 OMP 的原生模型提供方

    GitHub 开源项目 Zed2Api 提供一个扩展，把 Zed 订阅账号注册为 PI 和 OMP 的 zed 模型提供方，登录、token 刷新、模型目录、请求转换、流式输出和用量统计都在扩展内完成，无需网关进程。需拥有托管模型访问权限的 Zed 账号（Pro、Student 或 Business），支持 claude、gpt、gemini、grok 等模型族的多种请求方言，GPT-5.6 与 GPT-6 标称 1,050,000 上下文和 128,000 输出 token。凭据和用量数据仅存本地，不记录提示词与响应，未计价模型按列表价 +10% 计费。

  21. GitHub · 灵魂体仓库71

    opencode-harness-kit 发布：为 OpenCode 构建模型无关的十车道编码 harness

    pham-canh 发布了 opencode-harness-kit，一套面向 OpenCode 的编码 harness 工具，通过 JSON profile 把模型相关配置变成数据而非代码，默认 fleet-safe 配置以十条 lane（各配独立模型、上下文和 effort 等级）覆盖十个任务，含 guard、prune、router、telemetry 四个插件模块。

    推荐理由：作者用真实安装的测量数据支撑每个配置决策，并公开了 A/B 里对自家工具不利的数字，这种写法本身可以借鉴。

  22. GitHub · 灵魂体仓库63

    自托管模型与数据集仓库 Hangar 开源发布，兼容 Hugging Face API 与 Ollama

    Hangar 发布，一个自托管模型与数据集仓库，兼容 Hugging Face Hub API、git、Ollama 和 LM Studio，可作私有 Hugging Face 替代或离网镜像。镜像保留上游 Repo ID 和 Commit SHA，原有代码无需改动；支持 docker、Compose、Kubernetes Helm 等安装，源码以 Elastic License 2.0 开放，演示地址 https://demo.hangar.page/ 。

    推荐理由：原文完整给出了这个自托管模型仓库的兼容客户端列表、镜像机制和部署方式，适合评估私有化托管 Hugging Face 模型与数据集的可行性。

  23. GitHub · 灵魂体仓库26

    cookbook-rag：基于 Ollama 本地 LLM 的食谱 RAG 检索系统

    GitHub 开源项目 cookbook-rag 提供了一套基于本地 LLM 的 RAG 系统，可上传 PDF 食谱并通过自然语言检索，返回 AI 生成的答案。系统默认使用 Ollama 运行 qwen3:4b 模型和 nomic-embed-text 嵌入模型，配合 ChromaDB 向量数据库与 FastAPI 提供 /add-document 和 /search 接口。文本切分采用 LangChain 的 RecursiveCharacterTextSplitter（约 1800 字符、200 重叠），可通过 MODEL_NAME 等环境变量切换模型，应用端口为 8080。

  24. Hugging Face · 新模型：uncensored29

    NeoHorse-1-9B-Uncensored GSQ-RCO GGUF 量化版发布，适配 llama.cpp 本地推理

    abenzerps 基于 TokenRhythm/NeoHorse-1-9B 发布 GSQ-RCO 混合精度 GGUF 量化版本，采用 RCO 保留全部 48 个关键 SSM 参数为 BF16，并用 GSQ 按 Hessian 灵敏度校准逐层优化精度。提供 IQ2_XS 到 IQ4_XS 共 5 档文件，推荐 IQ3_M（3.75 bpw、4.20 GB）。配合 4-bit KV cache 可在 8GB 显存的消费级 GPU 上以约 6 GB VRAM 运行 131k 上下文，遵循 Apache-2.0 License。

  25. Reddit · r/LocalLLaMA34

    本地 LLM 记忆写入评测：Qwen3.5、Hy-Memory、LFM2.5 谁知道何时该「不存」

    一项针对本地 LLM 记忆提取的 120 例基准测试（60 组对照对、96 例英文主测试）显示：Hy-Memory 30B-A3B 召回率 100%（52/52），但 44 个空输出用例全部错误并产生 76 条冗余提议；Qwen3.5 4B 和 9B 更克制，空用例正确率分别为 95.5% 和 90.9%，冗余提议仅 3 条和 5 条；LFM2.5 24B-A2B 召回 76.9%，受指令示例污染和引用格式问题困扰，后验映射可修复 9/18 个无效引用字段。所有模型经 llama.cpp 在同一台 Ubuntu 机器上运行，测试不涉及速度。

  26. Reddit · r/LocalLLaMA62

    Reddit 用户实测 gpu-unlock 模块解锁 RTX 3090 半速 tensor 计算的真实收益

    /u/UltramanQuar 在 r/LocalLLaMA 实测 Zagitta 的 gpu-unlock 内核模块，称 NVIDIA 出厂的 3090 tensor 计算以 fp32 累加半速运行（驱动显示 FMLA32 = 1/2），加载模块后冷启动显示 FMLA32 = full。

    推荐理由：作者实测了 gpu-unlock 模块对 3090 的 BF16 提速，并给出真实推理收益远低于 TFLOPS 峰值的具体数据。

  28. GitHub · 去对齐工具与仓库39

    Nomi：Mac 上的课堂实时转录与翻译开源应用

    开源应用 Nomi 在 Mac 上提供课堂实时语音转录与翻译，译文显示在原文下方，支持中文、英语、日语等 9 种语言，可离线运行。它还能收集课堂真实提问并作答、检索历史讲座记录、生成 90 分钟讲座的要点总结，并导入 PDF 和幻灯片。应用采用 SwiftUI 与 Rust 构建，基于 MIT 协议免费开源，需 Apple silicon（M1 或更新）和 macOS 26 或更高版本。

  29. GitHub · 去对齐工具与仓库56

    Synaplan 开源自托管团队 AI 平台发布，Apache-2.0 协议一键部署

    metadist 在 GitHub 发布 Synaplan，一个 Apache-2.0 协议的自托管团队 AI 平台，整合聊天、文件知识库、网站挂件、WhatsApp 与邮件等渠道。支持 OpenAI、Anthropic、Gemini、Groq、Mistral、xAI、HuggingFace 及本地 Ollama 等多家模型并可按任务切换；AI planner 将请求拆解为任务图并按步骤分配模型以降低成本，每条回答显示实际花费。README 提供与 Open WebUI、LibreChat、Dify 的对比表，标准安装约 4 GB，支持 Docker、离线内网 TLS、Linux 服务器与 Kubernetes 等多种部署方式。