跳到正文
#本地部署
10月19日周一
  1. GitHub · 灵魂体仓库39

    肥鱼 FatFish v1.2.3 使用说明书：命令行里的 AI 助手

    FatFish（肥鱼）v1.2.3 是一个运行在 Windows 命令行的 AI 助手，需 Python 3.8+ 和 DeepSeek API Key（必填），可选 Tavily Key 实现联网。它能读写文件、跑命令和代码、看图片、联网搜索，默认只弹一个对话窗口，写文件、删文件、跑代码等有副作用的操作前会请求用户批准，后台任务通过 /jobs 查看。

  2. GitHub · 灵魂体仓库20

    Weather-AI-Agent：结合 Ollama 工具调用与 OpenWeatherMap 的 AI 天气助手开源项目

    GitHub 用户 Mubarak Sayyad 开源了 Weather-AI-Agent，一个基于 Python 的 AI 天气助手。项目用 Ollama 的 tool-calling 让 LLM 自行决定调用 OpenWeatherMap API 获取实时温度、湿度、风速等数据，并以自然语言回答天气问题，同时支持通过 google-genai 调用 Google Gemini 云端模型。前端由 Flask 提供，API 密钥通过 .env 环境变量管理。

  3. GitHub · 灵魂体仓库37

    SURVEILLANT-system：Alexandria University 毕业设计的多摄像头 AI 监控系统

    GitHub 上的 SURVEILLANT-system 是一个多摄像头 AI 监控智能系统（Alexandria University 毕业设计），可跨摄像头追踪行人并统一身份。系统采用 YOLOv8 分割加 ByteTrack 追踪、OSNet 加 FAISS 跨摄像头重识别、InsightFace 人脸搜索，并用 Ollama 上运行的 Qwen2.5-VL 生成人物描述，配合 all-MiniLM-L6-v2 实现语义搜索。还包含暴力检测告警、音频分析、基于 FastAPI 和 React + TypeScript 的 Web 指挥中心。

  4. GitHub · 灵魂体仓库60

    Artel 发布：AI 智能体在隔离副本中写代码的桌面应用

    Artel 是一款开源桌面应用（MIT 协议，支持 Windows 和 Linux），AI 智能体在项目的独立 git worktree 副本中写代码，用户像校对一样逐行审阅修改，接受后合并为一个 commit。支持单人智能体或由规划者带队的多智能体团队（最多三个并行，各占一份副本），流程为智能体先做问卷、写规格并找出验证命令，先运行测试确认能失败再写代码，验证通过才算完成；已在 DeepSeek V3.1、DeepSeek Flash、GLM-5.3 Flash 等真实模型上验证。

    推荐理由：README 详细写明了隔离 worktree、先跑测试再写代码的流程和团队智能体的合并机制，方法层面可直接参考。

10月18日周日
  1. GitHub · 3D 生成新仓库54

    Reddirector 开源 Pentagon 本地 AI 工作台

    Reddirector 在 GitHub 开源了 Pentagon，一个本地优先的个人 AI 工作台，自带 NVIDIA API key 即可调用 NVIDIA NIM 上 80 多个模型，支持文档 RAG、联网搜索、图像、视频和语音。后端为 FastAPI + LangGraph，密钥用 Fernet 加密存储；嵌入提供方失效时集合会用本地模型 all-MiniLM-L6-v2 重新编码，使检索不依赖原 API。项目包含 101 个后端测试，并支持 Electron 桌面端与 Capacitor 移动端，采用 MIT 许可证。

  3. GitHub · 3D 生成新仓库28

    Tidilo 开源：基于 Gemini Nano 的 Android 端侧 AI 书签与知识管理器

    Android 开源应用 Tidilo 发布，通过系统 AICore 服务调用 Gemini Nano，在本地完成网页摘要、分类和关键词提取，全程无需 API 密钥且不上传浏览数据。它采用两层分类体系（7 大类、11 子类）并提取 2-10 个实体关键词，要求 Android 14 及以上，支持 Pixel 8/9/10/11 系列等已激活 AICore 的设备，基于 Kotlin 与 Jetpack Compose 构建，遵循 Apache License 2.0。

  4. GitHub · 去对齐工具与仓库59

    Aparté 发布：纯浏览器端加密 AI 聊天应用与 Rust CLI

    maxgfr 发布 Aparté，一个完全在浏览器运行的私密 AI 聊天应用，支持 Anthropic、OpenAI、Gemini、Mistral、OpenRouter 及百余种 OpenAI 兼容服务，也可接 Ollama、LM Studio、Jan、WebLLM 和 Chrome 内置 Gemini Nano。对话、文档与照片以 AES-256-GCM 在设备端加密，仅密文同步到 GitHub、S3 兼容存储等自有目的地，无账号无服务器；Rust CLI 可从终端打开同一 vault，支持 MCP、skills、沙箱代码执行与本地知识库，格式 aparte/1 以 TypeScript 和 Rust 双实现并共享测试向量。

    推荐理由：仓库文档写明了加密方案、同步格式与威胁模型边界，包括共享 origin 的限制和已记录的泄露点，便于自行部署前评估。

  5. GitHub · 去对齐工具与仓库53

    NanumPlayer：基于 mpv 的 Windows 播放器，用 Whisper 加 Ollama 实时生成 AI 字幕

    kimmingul 发布 NanumPlayer，一款基于 mpv 的 Windows 视频播放器，用 whisper.cpp 做语音识别、接 Ollama 本地或云端模型翻译，实时生成字幕轨道。支持本地文件、Blu-ray/DVD、YouTube 和网页视频，目标语言默认跟随 Windows 显示语言、可选 33 种语言；还提供字幕搜索导入、无播放生成 SRT、可编辑的逐作品术语表、GPU 画质预设与 RTX Video Super Resolution 放大，默认不保留播放记录和翻译缓存，采用 GPL-2.0-or-later 许可。

  6. GitHub · 去对齐工具与仓库48

    WhisperDesk：Windows 语音问答工具，系统音频一键转写并交给本地或云端 LLM

    WhisperDesk 的 Voice Answer 是一款 Windows 应用，按一次快捷键（如 Ctrl+Alt+R）即可录制系统音频，经 faster-whisper 本地转写或 ElevenLabs Scribe / Deepgram 等云端 STT，再交给 Ollama 本地模型或 DeepSeek/Kimi/Gemini 云端 LLM 生成答案，可完全离线运行。推荐 CPU 配置为 faster-whisper base（int8）加 Llama 3.2 3B（Q4，约 8 GB 内存），支持隐藏窗口、防屏幕共享捕获和手机端显示。

  7. GitHub · 灵魂体仓库63

    开源 VS Code 编码智能体扩展 champ 1.7.0 发布，支持本地 LLM 与多智能体编排

    开源 VS Code 扩展 champ 1.7.0 发布，在编辑器内集成自主编码智能体，支持完全离线运行本地 LLM、多智能体编排和 RAG 代码库索引。后端统一接口接入 Claude、OpenAI、Gemini、Ollama、llama.cpp、vLLM 等 7 类 provider，含 19 个带审批门控的工具、Smart Router 按任务类型自动选模型、防幻觉守护与哈希链审计日志，项目以 TypeScript 构建并配有 1900+ 测试，MIT 许可。

    推荐理由：README 对架构、工具审批、RAG 索引和安全机制写得相当细，想自建本地 LLM 编码智能体的读者可以照着配置直接上手。

  8. GitHub · 灵魂体仓库54

    llm-quota-hub：零依赖本地面板统一管理各家 LLM 额度与登录

    zachshi-ai 发布 llm-quota-hub，一个零依赖的本地 Web 应用（Node 18+，node server.js 即可运行），把 MiniMax、Kimi、DeepSeek、智谱 GLM、STEPX Neo 等平台的模型额度与余额收拢到一个面板，支持四种额度形态自动渲染，并提供本机联动登录，OAuth 或 API Key 结果可直接供命令行和智能体调用。密钥用 AES-256-GCM 加密落盘、接口只回显指纹，cli.js 可查额度或直接调用模型且不输出明文；作者同时说明本机加密无法防御已获得 root 权限的攻击者。

  9. GitHub · 灵魂体仓库53

    VideoToNo v1.4.6 发布：视频一键转带时间轴的 Markdown 笔记并支持 Agent Skill

    开源工具 VideoToNo 发布 v1.4.6，把 B 站、抖音、YouTube 链接或本地视频转成带时间轴的 Markdown 笔记，优先读平台字幕，无字幕时用 faster-whisper 本地转写。新版支持导出 .srt 字幕、直接传 .srt/.vtt 生成笔记、B 站扫码凭据加密存本机，并提供 Agent Skill 与 MCP 接口，agent 可走 transcribe_video 只取转录稿而不需要 API Key。工具本地优先运行，Windows 便携版免安装，采用 MIT License 开源。

  11. Hugging Face · 新模型：uncensored67

    GLM-5.3 Uncensored Maya 量化版发布：753B MoE 压缩至约 2.5 bit 并移除拒绝行为

    nofacedfl 在 Hugging Face 发布 GLM-5.3 Uncensored Maya 量化包，将 Z.AI 的 753B MoE 模型用 GPTQ 压到约 2.5 bit，配合 Project Maya 的 GLM-5.3 移植版引擎运行。在 7 张 GPU（5× RTX 4090 48 GB + 2× A100 40 GB）上达 43–57 tokens/s，支持 512K 上下文，JailbreakBench 拒绝率从原版 39/40 降到 2/40，其中量化后为 6/40，再通过 78 层×3 方向的拒绝向量在运行时投影移除降至 2/40；对 FP8 的 KL 为 0.204、top-1 一致率 88.4%。

    推荐理由：原文给出完整的去对齐实现路径和 JailbreakBench 拒绝率前后对比，还附量化精度损失数据，可复现可核查。

  12. GitHub · 去对齐工具与仓库43

    wyat：本地运行的 800M 决策模型 teilomillet/wyat-1-800m 发布

    开源项目 wyat 发布 wyat-1 800M 模型，在应用给定的候选选项中本地选择一个并返回其 ID，训练数据为法语和英语决策，推理完全离线。支持 PyTorch（CPU、CUDA、Apple MPS）和 MLX（Apple Silicon），可通过 Python、JSONL 和 HTTP 调用，还支持有序打分（Request.score）和带概率的是/否判断（Request.noul）。代码采用 Apache 2.0 许可，800M 适配器与决策头仅限非商业使用。

  13. GitHub · 灵魂体仓库21

    Hemanjali9 开源 RAG 知识助手项目：基于 PDF 文档的智能问答系统

    GitHub 上的 RAG-knowledge-assistant-project 是一个基于检索增强生成（RAG）的 PDF 文档问答系统，用户用自然语言提问即可获得基于上传文档的答案。项目采用 LlamaIndex 构建 RAG pipeline，用 ChromaDB 存储向量嵌入，通过 Hugging Face embedding 模型做语义检索，并由 Groq 提供的 LLM 生成有据可依的回答，前端为 Streamlit 聊天界面。答案仅基于检索到的上下文生成，文档中找不到答案时系统会明确告知，用户还可查看被检索的文档片段。

  14. Reddit · r/LocalLLaMA69

    Blockway 发布 Agens Volundr 32B v1，修复 Preview 版循环问题并开源 MIT 协议 Agens Engine

    Blockway 团队发布 Agens Volundr 32B v1，针对社区对 Preview 版的反馈做了修复：SWE-bench 任务重复循环从 36/50 降到 0/50，SWE-bench Verified 50 题子集从 22 提到 27/50，τ²-bench 从 89 到 92/120，SGLang 构建新增 session continuation 使后续轮次快 2.9 倍。

    推荐理由：官方逐条列出 Preview 版被社区指出的问题及 v1 修复数据，还给出 16 GB 构建的实测速度与质量下降幅度，便于自行评估取舍。

  15. GitHub · 灵魂体仓库38

    J.A.R.V.I.S：模块化开源情报（OSINT）与 AI 助手平台

    J.A.R.V.I.S 是一个开源的模块化 OSINT 与 AI 助手平台，整合自动化网络侦察、Agent 模式多轮对话、llama3.2-vision 多模态视觉分析、DeepFace 跨平台人脸比对、实时目标监控与 PDF/JSON 档案导出。搜索时它并行抓取 15+ 社交媒体平台、开发者生态、企业注册与数据泄露库，生成交织验证的结构化情报档案。所有 AI 分析基于 Ollama 本地运行，使用 qwen3.5:9b 处理文本、llama3.2-vision 处理多模态，数据存入本地 SQLite/PostgreSQL，不出本地网络。

  16. GitHub · 灵魂体仓库41

    MobitSolidity/marfin-llm：CPU 本地双语金融 LLM 的主系统提示词与治理文档仓库

    GitHub 仓库 MobitSolidity/marfin-llm 提供面向 CPU 本地运行、波斯语–英语双语金融 LLM 的主系统提示词（SYSTEM_PROMPT.md v2.0）及配套治理文档，涵盖 RAG、MCP/tool calling、TradingView 集成、券商连接与模拟/实盘交易门控。仓库按阶段推进，当前处于 Phase 8，包含决策日志 D-0001–D-0123、Phase 4 失败归因脚本、Phase 6 红队评测（51/51 mutants killed）以及选定 Q4_K_M 量化的 Ollama Modelfile 等部署与安全组件。

  17. GitHub · 灵魂体仓库23

    Abdullah6926/LLM-Stack-Report-Bundle：一份可自行构建的 24 页现代 LLM 技术栈报告

    GitHub 仓库 LLM-Stack-Report-Bundle 从单个 Markdown 源生成 24 页 A4 格式的 PDF 和 DOCX 现代大模型技术栈实地指南，内容涵盖云端 LLM API、本地推理/Ollama、量化、RAG、MCP（spec revision 2026-07-28）、agent loop、架构、成本、安全与运维。构建需 Python 3.11+ 及 WeasyPrint 等依赖，支持离线重建；当前文档使用明确标注的纯色占位图，用户可放入有署名和许可的真实图片自动替换。仓库还附离线示例脚本与计算器，官方 OpenAI/MCP SDK 示例已固定版本但因无网络、API key、Ollama 和 GPU 而未实际运行。

  18. GitHub · 灵魂体仓库21

    OmniLLM：一处接入大模型，所有设备都能用

    GitHub 开源项目 OmniLLM（Apache-2.0，Go 单文件程序，代码开发中）支持在一台中心节点（Mac / PC / 服务器）登录或配置模型，其他设备即可直接使用。中心节点与设备经中转服务器端到端加密通信，API Key 只留在中心节点，且仅中心节点与大模型交互以避免封号。需至少一个官方 API Key 或本地模型（如 Ollama）；ChatGPT Plus、Claude Pro 等网页订阅无法使用云端模型。

  20. Reddit · r/LocalLLaMA31

    Ling 3.1 Flash（560B MoE）通过 llama.cpp RPC 分布加载到 4 台 DGX Spark

    Reddit 用户 sudoing 将 560B MoE 模型 Ling 3.1 Flash（每 token 激活 25B 参数）通过 llama.cpp RPC 分布加载到 4 台 DGX Spark 上运行，使用 Atomic Chat 首发的 Q4 GGUF 量化版本。因当时 vLLM 尚无官方 FP4 构建而选择此方案，暂无性能数据，他计划与 124B 的 Ling 3.0 Flash 对比回答质量和等待时间。

  21. GitHub · 3D 生成新仓库36

    alorbach 开源 ai-model-relay：Alorbach AI 订阅网关的 Windows 本地中继（原 Codex Local Bridge）

    GitHub 仓库 alorbach/ai-model-relay（原 Codex Local Bridge）是一个 Windows 托盘应用，基于 Electron 和本地 Node HTTP 桥，默认绑定 127.0.0.1，为 Alorbach AI 订阅网关提供安全本地中继。它可将浏览器任务路由到 Codex CLI、本地 ASR、Grok/xAI API（默认 grok-4.6）、Claude API、可配置 CLI 工具及可选 OpenAI 视频生成，chat 与媒体分析 max_tokens 默认 8192 / 4096。项目采用 GPL-2.0-or-later 许可，v* 标签会构建 Windows 安装包和便携 ZIP。

  22. GitHub · 3D 生成新仓库26

    vmgr v1.3.0 发布：跨平台视频管理工具引入模块化架构与字幕生成

    开源跨平台视频管理工具 vmgr（Video Manager Ultimate Bash 版）发布 v1.3.0，主脚本从 6,590 行精简至 465 行，拆分为 12 个独立模块，并新增基于 OpenAI Whisper 的字幕生成功能，支持 GPU 加速、并行任务与 speaker diarization。该版本保留文件重命名、SHA-256 查重、目录扁平化等原有功能，附带 200 项自动化测试套件，支持 Linux、macOS、WSL 和 Git Bash。

  23. Reddit · r/LocalLLaMA33

    网友用 5070 Ti + 3070 组建 Chimera 双卡本地 LLM 方案

    一位 Reddit 用户将 $750 购入的 5070 Ti 与闲置的 3070 通过 PCIe riser 组成混合双卡，用 Ollama/llama.cpp 拆分运行 Qwen 3.6 35B-A3B（MoE，约 3B 激活参数），在 16k 上下文下达到约 82 tok/s。目前约 23% 的层溢出到系统内存，3070 尚有约 4GB 显存未利用，作者计划调整拆分比例并加装外置 enclosure。

  24. GitHub · 灵魂体仓库50

    InferFabric 在 8 张 Ascend NPU 上完成 OpenPangu V2 92B 原生 TP8/EP8 推理

    InferFabric（前身为 Iron Pangu）是一个 Rust 编写的华为 Ascend 推理编译器与运行时，通过 DSL 描述模型并用原生内核执行，全程不参与任何 Python 或 PyTorch 引擎。2026-10-16 达成两个里程碑：92B 模型以 107 行 DSL 定义并编译为 2,109 个 primitive 操作，在 8 张 Ascend NPU（TP8/EP8）上端到端验证，三个完整回答的 33/33 生成 token 与固定参考匹配；activation、路由数据和 KV 状态全程驻留 NPU，24 项 case/rank 审计零 activation 回传。内存复用使每 rank 启动 HBM 增长从 5.79 GB 降至 3.53 GB，约 39%。

  25. Reddit · r/LocalLLaMA59

    DeepSeek v4.1 Flash 1017 量化版发布，M5 Max 上解码可达 20tps

    Reddit 用户 /u/returnity 为 DeepSeek v4.1 Flash 1017（ds4）制作并发布了量化版本，需其 PR 才能加载新的 vision tower。量化沿用 antirez 原版 DS4.1 Q2 配方：2-bit 路由专家加 8-bit 及以上精度处理其余部分，imatrix 基于 1017 构建，并保留原版 FP8 engram 表。模型 wired backbone 超过 150GB，可在 128GB 内存系统上从 SSD 流式加载，M5 Max 上解码速度最高 20tps；约 200GB 的 engram 表按需从 SSD 分页调入。该版本中约 40% 路由专家张量、30% engram 和约 50% vision tower 专家张量有改动。

    推荐理由：作者给出了量化配方、模型体积与 M5 Max 上的解码速度等实测细节，本地部署用户可参考其 SSD 流式加载方案。

  26. Reddit · r/LocalLLaMA55

    网友用单张 RX 9060 XT 16GB 本地跑 Qwen 3.8 27B 262k 上下文

    Reddit 用户 /u/Maglcite 分享了一套低成本本地 LLM 部署：仅用一张 RX 9060 XT 16GB 和 24GB DDR5，以 unsloth IQ4XS 量化加 q4 KV cache（keys 用 q8）、MTP 与 ngram 预测，跑 Qwen 3.8 27B 达 262k 上下文。实测 20k 上下文生成 42.7 tps、预填充 658 tps，200k 时为 35/500 tps；使用 achyudh 的 llama.cpp fork，并让 Grok bot 通过 SSH 修复了缺失 PCIe atomics 的 bug。

  28. GitHub · 3D 生成新仓库66

    DuckDB_Dbt 开源：基于 dbt 语义层的本地 Text-to-SQL 工具

    The-Pack-Man 在 GitHub 发布 DuckDB_Dbt，用自然语言提问即可在本地 DuckDB + Ollama（qwen2.5-coder:7b）上生成 SQL、执行并解释，dbt 建模并通过手写 semantic_manifest.yaml 注入业务规则，SQL 走只读连接，失败自动重试（默认2次）。作者用32题golden集做消融评测：qwen2.5-coder 7B 在 temperature 0 下，仅schema 时总体执行准确率 56.2%（business_rule 类仅 15.4%），加语义 manifest 后总体 90.6%（business_rule 92.3%），manifest 提升 +34.4 个百分点，修复12题、破坏1题。

    推荐理由：作者用32题golden集做了加与不加semantic manifest的消融，还列出了残余失败案例和自述局限，结论可复核。

  29. GitHub · 3D 生成新仓库36

    Media Workbench 0.2.0-alpha.10 发布：本地 Stable Diffusion 1.5 图像生成与局部重绘 Windows 应用

    开源实验性项目 Media Workbench 发布 0.2.0-alpha.10 预览版，这是一款基于 WinUI 3、C# 14、.NET 10 与 Rust 核心的 Windows x64 本地图像工具，支持从 Hugging Face 安装隔离的 Stable Diffusion 1.5 环境进行文生图。新版支持局部重绘：只重绘涂抹区域、其余像素不变，图片最长边最高 4096 像素，并提供 2×/4× 离线放大和可搜索 Library。图像生成需 NVIDIA GPU 至少 6 GB 显存和约 5 GiB 下载，视频生成仍在计划中。

  31. Hugging Face · 新模型：uncensored47

    Qwen3.8-Flash-Next-Uncensored NVFP4 量化版发布，支持 2× GB10 部署与 1M 上下文

    Hugging Face 上发布 Qwen3.8-Flash-Next-Uncensored-NVFP4 的 GB10 构建镜像（Apache-2.0），可在 2× DGX Spark（GB10，TP=2）上用 vLLM 部署，支持 1M 上下文（YaRN ×4，max_position_embeddings 1048576），KV 池 3.76M tokens。实测对比 dev461 构建：prefill 8k–131k 提升 9–12.5%（约 3.7k tok/s），1M token TTFT 从 411s 降至 365s，KV 容量 ×1.95，质量 97.75% top-1 一致、NLL +0.019%。

  32. GitHub · 灵魂体仓库50

    Rishi 开源库：给本地与云端模型统一 Chat API，对话历史可跨后端接力

    vedicreader 开源的 Rishi 库为本地与托管模型提供统一的 Chat API，对话以可移植的 Python 历史保存，可在 LiteRT、Ollama、MLX、llama.cpp、Claude Code、Copilot 等后端间无缝续接。安装基础包即含 LiteRT 与托管 API，也可通过 rishi[llama]、rishi[mlx]、rishi[ollama] 等额外装本地运行时。它支持流式输出、图像与音频输入，示例演示了同一段对话横跨七个后端仍能正确传递暗语。

  33. GitHub · 灵魂体仓库66

    Alia v0.2.0 发布：Linux 全本地 coding-agent 启动器

    Alia 是一个仅支持 Linux 的全本地 coding-agent 启动器，检测 NVIDIA GPU、显存和内存后自动选择硬件配置、启动 llama-server 并打开 Qwen Code 终端或 Web Shell。v0.2.0 在 RTX 3070 8GB 上实测 Qwen3.6 35B-A3B IQ3_XXS 4K 上下文生成速度 49.9 tok/s，提供多档预设配置、可选 MCP 浏览器与搜索服务器、bubblewrap 沙箱和自动硬件配置选择，README 附带完整基准方法与原始数据。

    推荐理由：README 附带在 RTX 3070 上的多配置实测数据和基准方法说明，读者可以据此评估本地跑 coding agent 的速度与内存需求。

  34. GitHub · 灵魂体仓库18

    MNN Chat Android 应用仓库 ETQWFD/HNN-CN-ET 发布，双 ABI 打包多模态本地大模型客户端

    GitHub 仓库 ETQWFD/HNN-CN-ET 提供 MNN Chat Android 应用，通用 APK 同时包含 armeabi-v7a 与 arm64-v8a 原生库。修改点包括 32 位语音识别（sherpa-mnn，基于 alibaba/MNN 3.6.0 源码编译）、应用内自更新、日志页与模型下载健壮性增强。MNN-LLM 在 Android CPU 上 prefill 速度较 llama.cpp 快 8.6 倍、较 fastllm 快 20.5 倍，完全本地运行不上传数据，已在 OnePlus 13 和 Xiaomi 14 Ultra 上测试。

  35. Reddit · r/LocalLLaMA66

    Basalt 为 Qwen3.8 Flash-Next 带来 NVFP4 原生支持与更快 prefill，单张 5090 可跑

    作者在 Basalt 中为 Qwen3.8 Flash-Next 实现原生 NVFP4 支持并加速 prefill，新的 .basalt 包保留原版 NVIDIA experts、dense 层存为 Q6_K。单张 5090（400w）+128GB DDR5 单流下 struct 304 tok/s、prose 183 tok/s，加 5060 Ti 协同后达 479/239 tok/s；64K prompt prefill 达 8,582 tok/s（首 token 7.6 秒）。

    推荐理由：作者给出了 NVFP4 量化后的 PPL、KLD 和 top-1 一致性数据，以及与 Infernix 的同机对比，方便自行复现判断。

  36. GitHub · 3D 生成新仓库28

    laurentvv/haproxy-dataset-generator：基于 LangGraph 和 Ollama 的 HAProxy 3.2 RAG Agentic 助手

    GitHub 新仓库 laurentvv/haproxy-dataset-generator 发布了一个 100% 本地运行的 HAProxy 3.2 文档 RAG Agentic 问答助手，基于 LangGraph 多智能体架构和 Ollama，使用 qwen3-embedding:8b 与 qwen3.5:9b 模型。系统抓取 168 个文档章节，采用 Parent/Child 分块（101 parents → 915 children）并结合 ChromaDB 向量检索与 BM25 混合检索（RRF 融合提升 14% 质量）。在 92 题基准测试中，其质量得分为 0.914/1.0、成功率 92.4%，较标准 RAG（0.868/1.0、88%）分别提升 5.3% 和 4.4%，首次构建约需 1h10。