跳到正文
#本地部署
10月14日周三
  1. GitHub · 3D 生成新仓库17

    rag-from-scratch：从零搭建 RAG 的 GitHub 开源项目

    rag-from-scratch 是一个 GitHub 开源项目，通过 RAG（检索增强生成）技术让 AI 利用外部资料生成更高质量的回答，帮助用户为模型补充最新或私有信息。项目提供文档检索、In-Context Learning 和配套视频教程，安装包支持 Windows、macOS 和 Linux，最低需 4 GB 内存与 500 MB 磁盘空间，无需编程基础即可使用。

  3. GitHub · 去对齐工具与仓库51

    DAT300 课程组在 Raspberry Pi 集群上用 llama.cpp 实测分布式推理并开源优化版

    44sunsetsf 公开 DAT300 第 7 组项目，在 Raspberry Pi 集群上用 llama.cpp 跑 Llama-3.2-3B-Instruct Q4_0，对比流水线并行与张量并行并定位瓶颈：单台 decode 受内存带宽限制（1.85 tok/s），2 台 TP 每个 token 同步 56 次，原版在 4/8 台时全经主控中转，模拟 8 台时每 token 有 4164 次串行网络延迟。其 fork 的 dat300 分支实现任意 2/4/8/16 台直接 allreduce，模拟 8 台时串行延迟次数少 19 倍；rpc-server 用 -t 3 后 2 台 TP 从 2.31 提到 2.93 tok/s，输出层改 Q4_0 再快 9% 至 3.19，困惑度仅差 0.6%。

  4. GitHub · 灵魂体仓库47

    Wisp v0.1.0：常驻菜单栏的轻量桌面伴侣，集划词翻译、截图 OCR 与剪贴板于一体

    GitHub 开源项目 Wisp 发布 v0.1.0，把划词翻译、截图 OCR 和剪贴板历史收进常驻菜单栏/托盘的轻量面板，支持 macOS（Apple Silicon）、Windows x64 和 Linux x64，采用 MIT 协议。AI 翻译与 OCR 通过用户自接的模型完成，支持 OpenAI、Anthropic、Gemini、DeepSeek、通义、Kimi 及本机 Ollama，API Key 仅存于系统凭据存储。实测 Apple Silicon 上空闲 CPU 约 0.01%、macOS 安装包约 7.6 MB，无账号、无遥测。

  5. Reddit · r/LocalLLaMA38

    本地部署 Qwen3.8FN 智能体比云端 API 更便宜：实测成本对比

    一位开发者在 NVIDIA Tesla P40（24 GB）上本地运行 Qwen3.8FN Q4 智能体 Drax，10 轮对话含缓存 electricity 成本为 C$0.0068-C$0.014，低于除 GPT-6 Luna 和 Claude Haiku 5.5 之外的云模型，谷段电价下为全场最低。该智能体支持约 130k 上下文、prompt cache 利用率超 90%，可整天运行至任务完成，虽然速度慢但完成质量更高。

  6. Reddit · r/LocalLLaMA52

    独立开发者推出手机端本地 LLM Agent 应用 SteerClaw Mobile

    独立开发者推出 SteerClaw Mobile，一个在手机上完整运行 agent loop 的本地 LLM Agent 应用，模型跑在用户自己的本地服务器（作者用 RTX 4090 上的 Qwen 3.8）。App 本身不收集任何数据，数据仅在需要时从手机直连用户配置的 MCP 服务器和搜索服务。作者列举的用例包括日常查询、研究、有声书、分析 AWS 日志和获取 Posthog 业务指标，现已上架 Apple TestFlight 与 Google Play。

  7. GitHub · 去对齐工具与仓库66

    RunAnywhere 开源跨平台端侧 AI SDK，单核心覆盖 LLM、语音与图像生成

    RunAnywhereAI 开源 runanywhere-sdks，一套 C++ 核心加八个 SDK（Swift、Kotlin、Flutter、React Native、Web、Electron、Python、wally CLI），在手机、浏览器、桌面和服务器上本地运行 LLM、VLM、语音、RAG、嵌入和 Stable Diffusion 图像生成，默认离线。

    推荐理由：用一套 C++ 核心和八种语言 SDK 把 LLM、语音、视觉与图像生成统一到本地推理，还给出 Snapdragon NPU 上的实测吞吐数据。

  9. Reddit · r/LocalLLaMA58

    Ninfer Extended：单张 RTX 5090 上多模型 prefill 与 decode 吞吐实测

    /u/giveen 发布 NInfer 的扩展 fork ninfer-ext，在单张 RTX 5090 上实测多款模型的 prefill 与 decode 吞吐。测试覆盖 Gemma 4 26B-A4B (QAT int4)、Gemma 4 31B IT M1、Qwen3.6-35B-A3B（含 nvfp4）、Qwen3.8-27B（含 nvfp4）和 Qwen3.8-Flash-Next nvfp4，给出 1/2/4/8 并发下数据，prefill 最高达 21,897 tokens/s（Qwen3.6-35B-A3B nvfp4，C=8），并对比 plain 与 MTP 投机解码模式。

    推荐理由：作者用自家 fork 在单张 RTX 5090 上给出多个模型不同并发与量化档的 prefill 和 decode 数据，可直接比对选型。

  11. Reddit · r/LocalLLaMA71

    M5 Ultra 256GB 搭配 M3 Ultra 512GB 做预填充/解码分离，GLM-5.3-Flash 首token延迟从约40秒降到约18.5秒

    Reddit 用户 /u/Usual_Tackle5892 不等 512GB 版 M5 Ultra，改用 M5 Ultra 256GB 做 prefill、M3 Ultra 512GB 经 Thunderbolt 5 RDMA 接收缓存做 decode。17.5k token 提示下，GLM-5.3-Flash 4-bit 总耗时从约 40 秒降到约 18.5 秒，缓存交接仅 38 ms 传输 358 MB，M3 上解码 36.8 tok/s 且输出与 M5 一致。作者用 MLX JACCL 后端与 mlx-vlm 0.7.6 搭建，并逐组件分析出 M5 预填充近半时间花在无法用矩阵单元的内核上，限制是 prefill 节点需装下完整模型，仅适用于 256GB 内可容纳的模型。

    推荐理由：作者用真实负载实测拆分前后数据，并逐组件剖析预填充耗时构成，方法可迁移到自己的多机推理调优。

  12. Reddit · r/LocalLLaMA22

    本地 LLM 硬件升级求助：二手 3090、2x 改装 3080 20GB 还是全新 32GB R9700

    一位 PhD 学生在 r/LocalLLaMA 征求 GPU 升级建议，现用 RTX 3060 12GB 跑 Qwen3 14B，想升级到 27B 级模型做智能体编排、会议转录和 Home Assistant 等本地服务。三个选项：二手 3090（€1100–1400，24GB）、2x 改装 3080 20GB（约 €650–900，共 40GB）、全新 R9700（约 €2000，32GB），并询问量化等级对 tool-calling 及 ROCm 在 Proxmox 下的实际表现。

  13. Hugging Face · 新模型：abliterated48

    Qwen3.8-Flash-Next GSQ-RCO-abliterated IQ3_S 的 Strata pack 发布

    minpei 发布 Qwen3.8-Flash-Next-GSQ-RCO-abliterated IQ3_S 的 Strata pack，包含 dense 权重与张量索引，绑定 GGUF revision eec4e10a，dense.bin（1.5 GB）仍在上传，可用 tools/iq_pack.py 9 秒自建。在 RTX 3060 12 GB + GTX 1080 Ti 11 GB、64 GB RAM 参考配置下，上下文 131,072 tokens，解码速度 21.9–24.6 tok/s。该模型已 abliterated（移除拒绝方向），无内置护栏，需自行提供内容审核。

  14. Hugging Face · 新模型：uncensored74

    AtomicChat 发布 MiniCPM-V 4.7 35B-A3B 无拒绝 GGUF 版

    AtomicChat 将 OpenBMB MiniCPM-V 4.7 35B-A3B 的一个拒绝方向从原权重中投影消除，提供三种内置 GGUF 量化版本和一个 106 MB LoRA 适配器。在 held-out 提示上，英文拒绝率从 96.3% 降至 0%，俄语从 70% 降至 0%，MMLU 仅变化 0.25 分；20.1 GB 版本与原模型 top-1 一致率 94.5%。方法基于 Arditi et al. 2024 的单方向拒绝机制研究。

    推荐理由：发布附上完整的消融方法与held-out测试数据，拒绝率、MMLU、KLD等前后对比都可复核，适合想自己动手去对齐的人参考。

  15. GitHub · 3D 生成新仓库50

    HyperGen：开源本地视频生成桌面应用（Beta）

    开源桌面应用 HyperGen 发布，可调用本地 LTX 模型或 LTX API、fal.ai、Replicate、Runway、Luma、Google Veo 等 API 生成视频，支持文生视频、图生视频、音频生视频、Retake 编辑及文生图，默认本地 LTX 2.5 Fast，支持 LoRA。本地生成要求 NVIDIA GPU ≥15 GiB VRAM 或 Apple Silicon 且 ≥32 GiB 内存，2.5 Fast 核心包约需 72 GB 磁盘；项目源自 Lightricks 维护的 LTX Desktop，目前为 Beta。

  16. GitHub · 灵魂体仓库33

    claude-vps-setup-prompt：用 Claude Code 提示词一键加固 Hetzner Ubuntu 24.04 VPS

    GitHub 项目 claude-vps-setup-prompt 提供面向 Hetzner Ubuntu 24.04 VPS 的 Claude Code 引导式设置提示词。它逐步完成 SSH 加固（关闭密码登录、改用 SSH 密钥）、启用 fail2ban、开启 UFW 防火墙，并可选安装 Tailscale 实现私有远程访问。项目在 Windows 上下载使用，适合新购服务器和个人建站场景。

  17. GitHub · 灵魂体仓库53

    Nexus-OSINT：本地优先的开源 OSINT 调查工作台发布

    Dor Rachmani 发布开源工具 Nexus-OSINT，将 RSS、Google News、Reddit、GDELT 等开源情报采集聚合在本地运行，数据存为单个 SQLite 文件，支持 SQLite FTS5 全文搜索、近重复合并与去重。可选接入 Gemini、OpenAI、Anthropic、Grok 或 Ollama、LM Studio 等本地模型做摘要、翻译、实体抽取和 0-100 相关度打分；按案件组织调查，提供 Focus 阅读队列、实体档案、关系图谱、每日邮件简报、Evidence Vault 取证截图和 PDF/HTML/CSV/JSON/Obsidian 导出，出站连接可审计，内置助手 Sherlock 仅允许白名单本地操作且输出按纯文本渲染以防 prompt injection。

  18. Hugging Face · 新模型：uncensored68

    Launch80 发布 Swift-1.5-Qwen3.8-27B 全 INT4 无对齐烘焙版

    Launch80 在 Hugging Face 发布 Swift-1.5-Qwen3.8-27B-Uncensored-Int4-baked，将上游 ajgazin 的拒绝方向消融权重整体量化为 GPTQ INT4，lm_head 与 MTP draft 也压到 INT4，单卡 Intel Arc Pro B65 32 GB 可用原版 vLLM 服务 262,144 token 上下文。

    推荐理由：原文给出拒绝率实测、困惑度与逐张量相对误差对比，读者可据此核验这个 INT4 去对齐版本的量化质量与解码速度。

  19. Hugging Face · 新模型：abliterated28

    TokForge 发布 Qwen3.5-4B-Claude-4.6-Opus-abliterated 的骁龙 NPU 加速包

    TokForge 为 Qwen3.5-4B-Claude-4.6-Opus-abliterated 模型发布 NPU catalog pair 资源包，让骁龙 8 Elite Gen 5 与 8 Gen 3 手机在 TokForge 应用内用 Hexagon NPU 读取长提示词，CPU 负责生成回复。资源包按芯片分为两个文件夹，分别约 3.67 GB 和 3.65 GB，含 49 个 QNN context binary 及 MNN 配置，须搭配指定 commit 的 MNN 转换模型使用，NPU 部分加载约需 6.3 GB 内存。

  20. Reddit · r/LocalLLaMA46

    用 4 张 6000 Blackwell MaxQ 为公司 40 人提供本地 AI 服务

    一位 Reddit 用户分享如何用一台 4U 服务器为 40 名员工（其中 10 名开发者）提供本地 AI 服务，总成本约 55k€。服务器配备 4 张 6000 Blackwell MaxQ、384GB DDR5 和 AMD EPYC 9275F 24 核 CPU，运行 Proxmox 并以 LXC 容器部署。主模型为 DeepSeek V4 Flash（vLLM、TP4、1M 上下文），备用模型 Qwen 3.8 27B Q8（265K 上下文），另配 n8n 自动化、OpenWebUI、ComfyUI 及 BGE-M3 嵌入/重排。

  21. Reddit · r/LocalLLaMA42

    PSA：3090 FE 跑大语言模型会导致 VRAM 过热

    3090 Founders Edition 的 VRAM 散热较差，实测在 Nvidia 默认风扇/功耗曲线下，token 生成开始数秒内 VRAM 温度即达 112C，超过 96C 的持续运行额定值。测试用 qwen3.8-27b 5.1bpw 并开启 MTP（三 token/前向、70% 接受率），结论是将功耗压到 270W 并手动设 100% 风扇可防过热，代价是吞吐量损失 30%；undervolting 无效，因 Nvidia 只在 300W 以上才应用 clock offset。

  22. Reddit · r/LocalLLaMA62

    webAI 发布基于 Granite 4.2 3B 的 3.66B 形式逻辑模型 TwIL-LM3-Pro

    webAI 发布 TwIL-LM3-Pro，一个基于 IBM Granite 4.2 3B、专为形式逻辑后训练的 3.66B 模型，做蕴含检查、规则归纳和 Lean 证明批评。模型卡显示 Logic composite 55.4（对比 Granite base 43.1、Qwen3-8B 53.4），BBH logic 95.4%，gpt-oss-120b 仍在规则归纳、蕴含和 Lean 形式化上领先。作者提到其 CPU-only Xeon（15 GiB 内存、无 GPU）上约 10.5 tok/s，比同硬件 Qwen3.8-27B 快 98 倍；Q4_K_M GGUF 为 2.09 GiB，支持 Ollama、LM Studio 和 llama.cpp，温度设为 0 并预留 2048+ token 预算。

  24. GitHub · 灵魂体仓库42

    foremankit：让 Claude Code 把杂活交给更便宜的模型的开源工具包

    GitHub 上的 foremankit 是一个非官方的 Claude Code 扩展插件，把样板代码、测试、pandas/SQL 脚本、大日志摘要等低价值工作交给更便宜或本地模型，由 Claude（Sonnet/Opus）做规划和验证，Opus 顾问子代理处理架构决策，Haiku 子代理负责委派，工作者包括 DeepSeek、Gemini、Groq、OpenRouter、Mistral 和本机 llama.cpp/Ollama。支持 Python 3.10+ 与 Windows/Linux/macOS，提供幂等安装脚本，会话超过 8 MB 提醒开新会话，本地编排下在 60/75/85% 上下文窗口时告警。

10月13日周二
  1. Reddit · r/LocalLLaMA42

    Lipwise：内置 LLM 处理的智能语音听写应用发布

    开发者发布语音听写应用 Lipwise，覆盖 Windows、macOS 和 Linux，语音识别通过 transcribe.cpp (ggml) 完全本地运行，并提供 Parakeet、Whisper 等 69 个模型可选。转写文本会经本地 Qwen3.5 4B 或 9B 模型处理，支持纠错、口语标点、改写指令，也可对接 Claude、OpenAI 或 Ollama 等兼容 API。应用基于 Rust 和 Tauri，安装包约 5 MB，MIT 许可、无账号无遥测。

  2. Reddit · r/LocalLLaMA62

    Basalt：针对 Blackwell 优化的 Qwen 3.8 Flash Next 推理引擎，支持动态视觉加载

    作者发布 Basalt，一个面向 Qwen 3.8 Flash Next 的推理引擎，从 Strata fork 并针对 Blackwell 深度调优，仓库在 github.com/jesdga95/basalt。新增 --vision dynamic 模式让图像编码器平时驻留 RAM、空闲时几乎不占显存，图像到达时借用 expert cache 槽位上传编码器（约 30 ms）编码后再回填（约 60 ms），不发图即零开销且不影响文本性能；编码器用 Basalt 自带 kernel，速度最高达 llama.cpp 的 3 倍，并给出移植用的 commit（9bfb90a、a704c65、efd23d9）。

    推荐理由：作者给出动态视觉编码器的具体显存与耗时数字，其他引擎可按提供的 commit 直接移植这套做法。

  4. Hugging Face · 新模型：uncensored40

    TokForge 发布 Qwen3.5-4B-uncensored NPU catalog pair 加速包

    TokForge 发布面向 Qwen3.5 4B Abliterated（huihui-ai 去审查版）的 NPU prompt pack，在 Snapdragon 8 Elite Gen 5（Hexagon V81，3.67 GB）与 Snapdragon 8 Gen 3（V75，3.65 GB）上让手机 NPU 分 128-token 块读取长提示词，CPU 生成回复，占用约 6.3 GB 内存。该包从 darkmaniac7/Qwen3.5-4B-uncensored-MNN commit 9416259dd5ed 的 int4 权重导出，经 QAIRT 2.40.0.251030 编译为各 49 个 QNN context binary，仅支持上述两款芯片，License 为 Apache-2.0。

  5. Reddit · r/SillyTavernAI35

    Gemini 4 Argon 现身 Vertex API 与 Google AI Studio

    Reddit 用户发现 gemini-4-argon 已可通过 Vertex API 使用，随后确认也登陆 Google AI Studio 和 Google Ultra 订阅。Gemini Pro 订阅用户可获得约 10 美元 API 额度，新 Google Cloud 账号另有 300 美元试用额度；当前促销价为输入 $2 / 输出 $10 per mill tokens，正式价格为其两倍。模型也已提交至 OpenRouter。

  7. Hugging Face · 新模型：abliterated24

    hotdogs/Ternary-Bonsai-2-27B-Abliterated-Hemmingway-1-MTP 上架 Hugging Face，附 llama.cpp 等多平台使用指南

    hotdogs/Ternary-Bonsai-2-27B-Abliterated-Hemmingway-1-MTP 模型已在 Hugging Face 发布，默认量化版本为 Q2_0。文档给出 llama.cpp 的 macOS、Linux、Windows 安装方式及本地 OpenAI 兼容服务器启动命令，并说明在 Ollama、Docker Model Runner、Pi、Lemonade、Hermes Agent、OpenClaw 等工具中加载该模型的具体配置步骤。

  9. Reddit · r/LocalLLaMA32

    Qwen3.8-Flash-Next 125B-A6B NVFP4 在 Strata 分支上完成 Three.js 跑马挑战

    Reddit 用户用 sergqwer 的 Strata 分支（strata-nvfp4）在单张 RTX 5090 32GB 上运行自行转换为 NVFP4 的 Qwen3.8-Flash-Next 125B-A6B hybrid MoE，完成 Three.js 低多边形 3D 马循环动画挑战。纯智能体工作时长 23m 10s，共 87 步、124,443 输出 token，cache 命中率 99.0%，解码中位 116 t/s，262,144 上下文下 33 分钟内零压缩。

  10. Hugging Face · 新模型：uncensored50

    Ternary Bonsai 2 27B Uncensored Heretic v2：MLX 2-bit DFlash2 推测解码包发布

    Hugging Face 上发布的 Ternary Bonsai 2 27B Uncensored Heretic v2 是一个自包含 MLX 2-bit 包，为原版 Heretic v2 添加 DFlash2 推测解码，保留 FP16 视觉塔（8,595,478,392 字节）和 3.85 GB BF16 drafter，不重量化不重训。在 Apple M1 Max 上，temperature 0 的代码和数学任务速度为普通解码的 1.07-1.23x，工具调用 1.16x，13 个提示中位数 0.90x，需约 4 GiB 额外内存。通用聊天、长文档和采样建议改用普通解码的 serve.py。

  11. Hugging Face · 新模型：uncensored43

    Ternary Bonsai 2 27B Uncensored Heretic v2：带 DFlash2 投机解码的 MLX 2-bit Compact 打包发布

    Hugging Face 上发布 Ternary Bonsai 2 27B Uncensored Heretic v2 的 Compact MLX 2-bit 打包，内置 BF16 DFlash2 草稿模型（3.85 GB）与自定义运行时，模型权重未被重新量化或再训练。在 Apple M1 Max 上，temperature 0 的贪心解码下代码、数学与工具调用提速 1.07-1.24x，聊天、长文档等场景反而慢至 0.74-0.96x，13 条测试提示的加速中位数为 0.96x，且需额外约 4 GiB 内存。该打包仅支持 Apple Silicon Mac 与 mlx 0.32.2、mlx-vlm 0.7.2，文件夹内也保留原 serve.py 供普通推理使用。

  12. Reddit · r/LocalLLaMA66

    开源桌面 Agent 应用 Dodaios 用本地 Ollama 模型实测运行

    Dodaios（前身 Personal Jarvis）维护者发布实录视频，在 RTX 5070 Ti 16 GB 上用 Ollama 分别以 qwen3.5:9b 和 qwen3.8 运行两个 Agent，写三份帖子草稿和回一封邮件，实际耗时分别为 71 秒和 116 秒。该应用 Apache 2.0 开源，支持 Windows、macOS 和 Linux，无账号无云端中转，含 Agentic IDE、本地 Whisper 语音、本地 wiki 记忆和 40+ 插件市场；本地模型自设角色和定时例程的工具调用均失败，9b 从未调用工具，较大模型重复调用列出例程的工具但未调用保存，8 分钟后回合结束；作者寻求 16 GB 下工具调用可靠的本地模型建议。

    推荐理由：作者实测了两个本地小模型跑桌面 Agent 的真实耗时与失败点，指出了 16 GB 显卡下工具调用的具体局限。

  13. Reddit · r/LocalLLaMA54

    伦敦全科医生实测单张 RTX 4090 跑实时临床助手 OpenConsult 的响应提速

    伦敦一位全科医生开发了全本地运行的临床助手 OpenConsult，在单张 RTX 4090 上实测如何把自动提问的响应压到 3 秒内。MedGemma 27B (Q4_K_M) 每轮需 18 秒，Gemma 4 26B-A4B QAT 降至 5 秒且临床评分相当；vLLM 比.Ollama 和 llama.cpp 快至 3.5 秒，但占用 94% 显存；把一轮的两次调用合并发送后 vLLM 降到 2.8 秒。模型输出约 170 tokens/秒，另测了 Qwen3.6-35B-A3B、Nemotron 3.5 Lightning 和 gpt-oss-20b，Gemma 4 仍最快。项目以 AGPL-3.0 开源，作者在征求进一步提速与 CPU offload 建议。

  14. Reddit · r/LocalLLaMA46

    SonicBoom v0.0.1 发布：笔记本 RTX 3050 上解码达 52 tok/s，超过 llama.cpp

    开发者发布 C++/CUDA 编写的原生张量运行时 SonicBoom v0.0.1，在笔记本 RTX 3050 8 GB 上以相同 GGUF 量化内核实现 Gemma 4 E4B-it 解码 51.65 tok/s，超过 llama.cpp 的 45.20 tok/s，提升来自图编译器（激活量化复用、算子融合与 CUDA Graph 重放）。当前仅支持 Q3_K/Q4_K/Q5_K 量化、Gemma 4 E4B 与 greedy 采样，prefill 约为 llama.cpp 一半，采用 GPL-3.0 协议，后续路线图包括 MLIR GPU codegen 与投机解码。