跳到正文
#本地部署
今天10月26日周一73 条
  1. Reddit · r/LocalLLaMA18

    消融化（abliterated）模型能否用于智能家居设备 OTA 固件刷写？

    一位 LocalLLaMA 用户询问能否用 abliterated/uncensored 本地模型对自家智能家居硬件进行 OTA 固件刷写（如 ESPHome 等开源项目），并指出云端模型拒绝提供帮助。作者曾用 cloudcutter 利用已知漏洞刷机，希望刷写没有已知漏洞的设备，这些设备支持 UART 刷写，并询问用本地模型完成此类安全任务是否现实。

  2. Reddit · r/LocalLLaMA61

    作者推出计入 KV cache 的 LLM 显存计算器

    /u/abarth23 发布了一个免费、无广告、客户端本地运行的网页版 LLM 显存计算器，主打把 KV cache 纳入估算。该工具支持 FP16、8-bit、4-bit/EXL2/GGUF 权重计算，按目标上下文长度与缓存精度（FP16 或 FP8/Q4 cache）动态估算 KV cache，加上约 1-1.5 GB 的 CUDA 运行时与系统开销，并推荐如单张 4090 24GB、双 3090 或卸载到系统内存的方案。作者称在线计算器普遍只按参数量乘量化精度，32k-128k 上下文的 KV cache 额外占 6-14 GB 显存。

    推荐理由：针对常见显存计算器只算权重忽略 KV cache 的痛点，按上下文长度和缓存精度补全估算并给出 GPU 配置建议。

  4. GitHub · 3D 生成新仓库39

    Clouisle：新一代多智能体协作平台与工作流引擎在 GitHub 开源

    多智能体协作平台与工作流引擎 Clouisle 上线 GitHub 仓库，支持编排生产级 AI agent 团队。平台提供 19 种节点类型的可视化工作流、混合检索（Qdrant 向量 + BM25）与 reranking 知识库，以及多租户、RBAC、SSO 和 TOTP 2FA 等企业级安全能力，注册 23 个 LLM provider，并在 Bubblewrap 用户与挂载命名空间中隔离沙箱执行。

  7. GitHub · 灵魂体仓库50

    fanyifan090409-dev/mobile-llm-engine：基于 Qwen3 的手机本地大模型推理引擎开源

    GitHub 开源 mobile-llm-engine，一款 iOS 优先的本地大模型推理引擎，内置基于 Qwen3 继续训练的 0.6B 中文助手模型（Q5_K_M 量化、551MB），专注日历等工具调用任务，数据不出设备。实测 40 题工具调用中 tool_call 发射率和 schema 校验通过率均为 100%，但日期参数正确率 0/15，幻觉问题修复中。目前仅支持 Apple Silicon Mac，运行内存约 1GB，可开放试用。

  8. GitHub · 灵魂体仓库76

    BigMoeOnEdge 开源：从闪存流式加载超大 MoE 模型到手机和笔记本

    BigMoeOnEdge 是一个开源引擎，通过从闪存流式读取专家权重，让超过设备内存的 MoE 模型在本地运行，基于 llama.cpp 公共 API，支持 Android、iOS、macOS、Windows 和 Linux，并内置 OpenAI 兼容服务器。--auto 规划器会测量机器的内存、存储速度和各计算单元后自动设置缓存与常驻权重；实测包括 12 GB 手机上跑 91 GB 的 DeepSeek V4 Flash 284B（0.94 tok/s）、Qwen3.6-35B-A3B 达 4.8-5.0 tok/s，16 GB Apple silicon 笔记本上 Qwen3.6-35B-A3B 达 18-24 tok/s。

    推荐理由：仓库给出了各设备的实测解码速度表和与全内存加载输出一致性的测试说明，便于判断流式加载 MoE 的实际可用程度。

  9. GitHub · 灵魂体仓库63

    Nudge 发布面向 AI Agent 的类型化可回放编程语言

    NekomyaDev 开源了 Nudge，一门面向 AI Agent 的类型化编程语言，提供原生字节码 VM 和独立编译器，可编译到 Python 和 TypeScript。语言层内置 LLM schema 一等类型、10 种编译期检查的显式效果、预算硬约束、par race 并发原语和确定性 NTF v1 trace 回放，可在 CI 中以 $0 做回归测试，还支持单二进制打包（约 2.09MB）、WASM 离线回放、MCP 集成、Computer Use 与 PII 脱敏，采用 Apache-2.0 许可证。

    推荐理由：把 schema 校验、效果声明、预算上限和 $0 trace 回放做进语言层，对受够胶水代码的 Agent 开发者是一套可试的新思路。

  10. GitHub · 灵魂体仓库43

    Counsel：开源自托管法律工作区 counsel-workspace 发布 0.1 公开预览

    Counsel 发布 0.1 公开预览，这是一个免费、可自托管的法律工作区，支持合同审查、法律检索、起草、工作流和客户协作。项目采用 Apache 2.0 协议开源，无按席位收费、无遥测，默认 AI_PROVIDER=evidence 不调用模型，也可配置 Ollama、OpenAI 兼容端点或 OpenAI。其证据模式使用确定性条款锚点和 BM25 风格段落排序，并导出含 SHA-256 校验的可迁移 matter 归档；项目方声明未经独立审计、不宣称与 Legora 等价。

  11. GitHub · 灵魂体仓库53

    TokenBar 开源：把 Claude Code、Codex、Gemini CLI 等 17 个编码 Agent 的 token 花费钉在 macOS 菜单栏

    TokenBar 是一款开源的 macOS 菜单栏应用，默认读取本地日志，聚合 Claude Code、Codex、Gemini CLI、Cursor 等 17 个编码 Agent 的 token 用量和报告或估算成本，可按项目、Agent、模型、会话下钻，数据只存本机 SQLite，无遥测。提供 tbar CLI 十七条查询命令，附带 tokenbar-report 技能，用死神、猎人、JOJO 三种动漫人格视角生成 Wrapped 式年度回顾报告，强制视角重合度低于 30%。Cursor 账号同步默认关闭需显式开启，支持自定义 JSONL 或 SQLite 数据源，采用 Apache License 2.0。

  12. Reddit · r/LocalLLaMA15

    PolyStrata 如何使用不同的微调模型

    一位 Reddit r/LocalLLaMA 用户询问如何在 PolyStrata 中加载不同的微调模型。直接用 --gguf-dir 时必须声明基座模型架构，且显示的是原始模型名（CyberTiel 的 tiel 架构被显示为 TielCoder）；手动改 JSON 和 config 文件虽部分有效，但换用 ./setup.sh 之外的启动脚本会出问题，用户希望找到更干净的自动生成正确名称与配置的方法。

  14. Reddit · r/LocalLLaMA18

    1万美元级本地 Agentic Coding 装机方案对比：1× RTX 5090、4× 3090、混合方案、PRO 6000 还是 Mac Studio？

    一位用户在 r/LocalLLaMA 征求约 $10K–12K 预算的本地 agentic coding 装机建议，需支持 2–4 个并行子智能体和逆向工程，可选需约 21 GB VRAM 的 Hunyuan3D-2.1 贴图生成。候选方案包括单卡 RTX 5090、二手 4× RTX 3090、5090+2× 3090 混合方案、Mac Studio M5 Ultra 256 GB 及超预算的 PRO 6000，并询问长上下文 prefill 表现与 vLLM 多实例方案是否值得。

  16. Reddit · r/LocalLLaMA18

    256GB DDR4 四通道主机能流畅跑哪些大模型？LocalLLaMA 网友晒 3360 美元配置求推理速度预估

    一位 r/LocalLLaMA 网友晒出总价 3360 美元的主机配置：Threadripper 3960X、三块 GPU 共 44GB VRAM（2x 16GB 4060 Ti + 1x 12GB 4070）和 256GB DDR4 四通道 3200MHz 内存，此前运行 QWEN 3.8 27B 256K Context 效果满意。他询问该配置跑 Deepseek 4.1 和 GLM 的 token 速度，并表示优先跑大模型而非速度。

  17. Reddit · r/LocalLLaMA47

    boro64 发布 Ternary Nemotron 30B-A3B GGUF：12 GB GPU 跑 368K 上下文

    Reddit r/LocalLLaMA 用户 boro64 发布 Ternary Nemotron 30B-A3B 的 GGUF 量化模型，这是一款 1.58-bit 三值 30B-A3B MoE 模型，可在 12 GB GPU 上运行 368K 上下文。实测解码速度 172 tok/s、prefill 超 7000 tok/s，同一文件兼容原版 llama.cpp（b11555+、b11796 验证）和 PrismML fork / Bonsai（b10793 验证）。作者称这是继 maple-preview 后第二个支持原版 llama.cpp 的三值 MoE 模型，并征集 CPU-only 和约 10 GB 小显存的测试数据。

  19. GitHub · 去对齐工具与仓库60

    lukk-node 开源：面向 Ollama 本地部署的零依赖 GPU 遥测与推理守护进程

    Rodrigo Henriquez（@SirFassler）在 GitHub 开源 lukk-node，一个仅用 Python 标准库的客户端-服务端守护进程与 CLI，面向在专用 GPU 机器上通过 Ollama 跑本地 LLM 的开发者和玩家。它通过 nvidia-smi 提供实时 GPU 遥测（温度、功耗、负载、VRAM），支持委托式流式推理（NDJSON），并可在 1 秒内清空 VRAM 让 GPU 完全用于游戏；v1.2.0 加入可选 Bearer token 认证，另有 --auto-gaming 模式每 4 秒扫描游戏进程自动驱逐模型。项目采用 MIT 许可证。

    推荐理由：作者开源了一个零依赖的 GPU 节点守护进程，把 Ollama 遥测、流式推理和秒级 VRAM 清空整合进一套 CLI，适合本地跑模型兼打游戏的场景。

  20. Hugging Face · 新模型：abliterated26

    Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S GGUF 量化版发布

    Hugging Face 社区发布 Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S，这是基于 OBLITERATUS/feyospace-s1-obliterated 的 GGUF 量化版，面向本地网络安全研究、代码分析与工具辅助调查。该构建采用 UD-Q4_K_S 混合精度布局、面向安全的 importance-matrix 校准，并保留 MTP 头以支持投机解码；上游模型约 28B 参数、Qwen3.5 架构、Apache-2.0 许可，最大上下文 262,144 tokens。该卡未提供此量化版的 benchmark 结果，最终张量清单与质量保留情况尚待验证。

  22. GitHub · 去对齐工具与仓库31

    aortez/playtime：本地 LLM 实验工作台 v0.1.0 发布

    aortez/playtime v0.1.0 达成 MVP，提供 Rust daemon、CLI 和 workbench，用于有边界的本地 LLM 实验。当前模型为 gpt-oss:20b，curiosity recipe 限定 10 个会话、每会话 10 个工作轮次、64K 上下文、300,000 生成 token 和 30 分钟控制器时间。生产路径要求 Linux x86-64、systemd 用户管理器、cgroup v2、Docker Engine 与 Ollama，模型工具在容器内以 uid 1000 运行且无外部网络。

  23. GitHub · 去对齐工具与仓库59

    OmniFree 开源：用各家免费额度拼出一个个人云

    GitHub 上的 OmniFree 项目把多家免费层资源整合成个人云，用故障转移路由聚合 Groq、Gemini、Mistral、OpenRouter 等免费 LLM API，并跨 R2、B2、GCS 等免费存储分散文件，还提供数据库、Pi-hole DNS 过滤和计算资源，通过暗色模式移动 PWA 管理。项目采用六边形架构，core/ 定义端口与智能路由，每个服务商是 plugins/ 下的适配器，配置集中在 config/providers.yaml。附带的免费额度核查表（2026-10-19 核对）记录了 Oracle A1 缩至 2 OCPU/12GB、Koyeb 被 Mistral 收购后取消免费层、Cerebras 改为 30 天 $5 试用、Gemini 限额两次下调等变化，并给出对应配置调整。

    推荐理由：仓库附有 2026-10 逐家核对的免费额度变化表，读者可据此了解各免费层现状与部署成本。

  24. GitHub · 去对齐工具与仓库29

    juliopez/ia-local-integracion：本地 LLM 设计、集成与自动化学习指南

    GitHub 仓库 juliopez/ia-local-integracion 提供一套本地大语言模型（LLM）解决方案的理论与实践指南，使用 Ollama、Open WebUI、Python 和 Google Workspace，以 Windows 为优先路线。内容含六个理论章节与六个实验，并提供五天（每天 120 分钟）强化路线，覆盖安装、System Prompt 设计、Forms/Sheets/Apps Script 集成、Gmail 发送及优化评估；contexto/ 目录内容整体加入查询，不采用 RAG。

  25. GitHub · 灵魂体仓库59

    OBEY-api-gateway：单二进制 OpenAI 兼容 AI 网关开源

    GitHub 上的 fdanobey/OBEY-api-gateway 是一个 OpenAI 兼容的 AI 网关，提供多供应商路由、自动故障转移、熔断器与限流冷却，支持 OpenAI、Ollama、AWS Bedrock、Groq、vLLM 等供应商，单个 Rust 二进制、无运行时依赖。特性包括两级响应缓存、prompt-cache 感知路由、Codex OAuth 登录与网页搜索桥接、guardrail 管线、Agent 循环检测、虚拟密钥管理、token 与工具定义压缩，可通过 Windows 安装包、Docker、Railway 或源码构建部署。

    推荐理由：单文件 Rust 网关把故障转移、限流冷却、缓存路由和虚拟密钥做进一个仓库，文档细到超时字段，适合自建多供应商路由时参考。

  26. GitHub · 灵魂体仓库58

    音乐制作人开源本地 AI Agent 工作台 Real，Rust 后端核验模型改动的每一轮

    音乐制作人 Azzrenz 在 GitHub 开源了 Windows 本地 AI Agent 工作台 Real（MIT 协议），从 2026 年 5 月底开始开发，六万六千行代码全部由 AI 生成。它以收敛循环推进任务，每轮把上下文交给模型表态，模型发工具调用就执行并带回执，给纯文本则收敛结束。设计上模型只做判断，后端核验事实，改动清单按 mtime 扫描生成、不由模型申报，长命令按进程退出码判定。实测缓存命中 94–98%、单任务 ¥0.06–0.09，同类任务第二轮轮次从 30 降到 16、成本降 33%。后端 Rust（Axum + SQLx + SQLite），桌面壳 Tauri 2 + React 18，内置 DeepSeek 与智谱 GLM，数据默认落 D:\RealData 不云同步。

  27. GitHub · 灵魂体仓库31

    doc2md_app：将 PDF、DOCX、PPTX、XLSX 等文件转换为 Markdown 的本地 Web 工具

    doc2md 是一个开源 Python 工具，可将 PDF、DOCX、PPTX、XLSX/XLS 及 LibreOffice（ODT、ODS、ODP）文件转换为干净的 Markdown，供 LLM 使用——相比直接喂 PDF，.md 文件消耗更少 token 且效果更好。该项目基于 Flask 构建，使用 pdfplumber、mammoth、python-pptx、openpyxl 等库，通过本地 Web 界面拖拽文件即可转换并下载 .md，需 Python 3.10 及以上，采用 MIT 许可证。

  28. GitHub · 灵魂体仓库76

    开源 QQ 本地大模型聊天机器人 qq-ollama-bot

    muguang1224 发布了用 Ollama 本地模型驱动的 QQ 聊天机器人项目 qq-ollama-bot，通过 NapCat 收发消息，不需要云端 API，支持 Windows / Linux / macOS。它用 qwen3.5-4b 聊天、qwen2.5vl:3b 看图，加 YOLO 做目标检测，具备情绪系统、长期记忆、人设进化、语音回复（edge-tts / GPT-SoVITS 声音克隆）、主动聊天和 QQ 空间发说说等功能；并用 Prompt 层加代码正则两层拦截，阻止模型编造「刚刷到视频」等假经历。README 附完整安装步骤、风控与账号安全提示，以及图片缩放实测，原图送模型需 46-200 秒，缩到 256px 后降到 4.4 秒。

    推荐理由：README 讲清了情绪系统、长期记忆和两层防编造的构造方法，还给出图片缩放和显存的实测数据，做法可迁移。

  29. Reddit · r/LocalLLaMA28

    如何用确定性 C# ValidationResolver 消除 Qwen2.5-Coder-14B 的 UI 与工作流幻觉

    一位开发者在单张 24GB NVIDIA A10 上本地运行 qwen2.5-coder:14b，实时生成企业表单且无需手写 HTML 或 SQL。模型被锁定在严格 DSL 中，每次输出必须通过确定性 C# ValidationResolver 校验后才能渲染到画布。原始输出与修复后的输出会自动评分并导出为 SFT/DPO .jsonl 数据对，供后续微调使用。

  31. Hugging Face · 新模型：uncensored75

    BoldingBuilds 发布 GLM-5.3-Flash-Uncensored 的 imatrix GGUF 量化并实测去对齐效果

    BoldingBuilds 放出 OrcaRouter 去 GLM-5.3-Flash-Uncensored（320B 总参数/18B 激活 MoE、288 路由专家、1M 上下文）的 imatrix GGUF 量化，含 IQ3_XXS、IQ2_M、IQ2_S、IQ2_XXS 四档，并修正共享专家与 attention 量化配方使 IQ2_S 等通过全部 48 项一致性测试。量化权重上实测 JailbreakBench 有害拒绝率 0.040（OrcaRouter FP8 为 0.120，base 为 0.930），HumanEval pass@1 0.927；作者指出空输出会计为服从，提醒评测时必须同时报告空输出数，文件已适配 mainline llama.cpp 与 LM Studio 模板。

  32. GitHub · 去对齐工具与仓库34

    metis-agent：用 Gemma 4 E2B 驱动经认证的 metis 运行时

    metis-agent 以本地小模型 Gemma 4 E2B 作为叙述者，由经认证的 metis 运行时管理设备状态、流程、概率与安全，模型将语句映射为类型化 intent 并在出现意外时向用户求证。系统采用双智能体共享一个内核（每个目录域一个 domain agent、每台设备一个 orchestrator），通过人工把关的目录更新而非重训练变聪明。仓库以 Apache License 2.0 开源，包含 Go 部署运行时（llama.cpp in-process over cgo）、Python 开发栈与论文草稿。

  33. GitHub · 灵魂体仓库30

    Jayzmatos22/GerenciadorDeEventos：基于 Spring Boot 4 的学术活动管理项目，支持 AI 辅助登记

    GitHub 项目 GerenciadorDeEventos 是一个用 Java 21 + Spring Boot 4.1.1 + React 19 构建的学术活动管理 Web 应用，支持活动报名、候补队列、签到和 PDF 证书。其特色是 AI 辅助登记：组织者粘贴自由文本，系统通过 Spring AI 2.0.1 提取结构化字段并需人工确认。开发环境用本地 Ollama 跑 llama3.1，也提供 Groq、OpenRouter、OpenAI 等 profile，数据库为 PostgreSQL 16。

  34. GitHub · 灵魂体仓库48

    local-ai-workstation：一条命令把 Apple Silicon Mac 变成本地私有 AI 工作站

    该 GitHub 项目提供一键搭建脚本，将 64 GB+ 内存的 Apple Silicon Mac 变成完全本地、私密的 AI 工作站，无需 API key、无云端推理、数据不出本机。推荐分支 v6-simplified-mlx 基于 oMLX 引擎，通过带记忆感知调度器的持久任务队列换入换出大模型，答案经"草稿 → 独立评审 → 修订"循环生成，覆盖聊天、编程 Agent、图像、语音、音乐和视频，可从 Telegram、CLI、浏览器及 OpenAI/Anthropic 兼容 API 访问。项目另有 v1 至 v5 分支，从 OpenClaw 起步逐步演进到 MLX 原生栈。

  36. Hugging Face · 新模型：abliterated60

    KaedeTai 发布 occamy-1.0-abliterated 的 MLX 4-bit 量化版并移植 MTP 草稿头

    KaedeTai 将 SC117 制作的 abliterated 版 Occamy-1.0 从 BF16 GGUF 反向转回 HF 布局并量化为 MLX 4-bit，约 20 GB。仓库装回 Accio-Lab 原版的 vision tower，并从 KaedeTai/Ornith-1.5-35B-A3B-BigBang-MTP-zh-mlx-4bit 原样移植 MTP 草稿头；该头在 Occamy 上草稿接受率达 65.6%（每周期 2.13 个 token），高于其原本干的 Ornith 主干的 64.9%。作者用逐张量逆变换脚本还原 llama.cpp 转换改动，42 个对照张量中 40 个与未去对齐基座逐位一致，其余两个正是消融所改的矩阵。

    推荐理由：作者给出了逐张量校验和同机对照的 TMMLU+ 分数，可以核对这套 GGUF 转 MLX 加移植 MTP 头的转换质量与速度收益。

  38. Reddit · r/LocalLLaMA70

    Strata 调参实战：RTX 4090 跑 Qwen3.8-Flash-Next IQ3_S 达 2076 PP 与 95-105 tok/s 解码

    作者在 RTX 4090 24 GB + 48 GB RAM 的 Windows 机器上对 Strata 0.1.43 运行 Qwen3.8-Flash-Next IQ3_S 量化包做了系统性网格调参，附完整 JSON 配置。三个关键参数 --adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2 合计把 160k 上下文下的解码速度提升 45%；同时给出负面结果，--expert-cache 按 MiB 而非槽位设置（填满显存时 −72%）、--ple-io ram 在 48 GB 下 −90%、--no-prefill-borrow −46%。

    推荐理由：作者用自建 A/B 测量流程在 RTX 4090 上逐项测了 Strata 各参数的真实增益与坑位，附完整可用配置。

  39. GitHub · 3D 生成新仓库49

    Videobook：本地优先的生成媒体笔记本工作室

    Videobook 是一个本地优先的生成媒体笔记本工作室，通过 npm 以 videobook 命令安装（需 Node.js 22+），支持 MCP 服务器和 Web UI。书籍以类型化 cell（prompt、character、scene、image、video）组成有向图，所有变更记录为不可变的 DoltLite 修订。视频生成默认单条 20 秒竖版视频，图像用 Nano Banana 2.1（2K）、视频用 Seedance 2.5（720p 含音频），还支持 Vidu Q4 图生视频（3–16 秒、540p 至 4k），规划使用 OPENAI_API_KEY，生成使用 KIE_API_KEY，每个付费阶段需明确批准。

  40. GitHub · 3D 生成新仓库32

    ImageMetaAI 开源：本地 AI 为 Shutterstock 与 Adobe Stock 生成图片元数据

    ImageMetaAI 是一款基于 C# 和 WPF 的 Windows 桌面应用，使用本地 Ollama 模型分析图片并生成图库元数据。视觉模型 qwen2.5vl:7b 生成图片描述，元数据模型 qwen3:14b 生成标题、关键词和分类，结果可人工编辑后导出为 Shutterstock 和 Adobe Stock 专用 CSV。图片全程本地处理不修改原文件，仅位置识别可选调用 OpenStreetMap Nominatim。