新闻、仓库与研究，按时间排列。
pham-canh 发布了 opencode-harness-kit，一套面向 OpenCode 的编码 harness 工具，通过 JSON profile 把模型相关配置变成数据而非代码，默认 fleet-safe 配置以十条 lane（各配独立模型、上下文和 effort 等级）覆盖十个任务，含 guard、prune、router、telemetry 四个插件模块。
推荐理由：作者用真实安装的测量数据支撑每个配置决策，并公开了 A/B 里对自家工具不利的数字，这种写法本身可以借鉴。
Hangar 发布，一个自托管模型与数据集仓库，兼容 Hugging Face Hub API、git、Ollama 和 LM Studio，可作私有 Hugging Face 替代或离网镜像。镜像保留上游 Repo ID 和 Commit SHA，原有代码无需改动；支持 docker、Compose、Kubernetes Helm 等安装，源码以 Elastic License 2.0 开放，演示地址 https://demo.hangar.page/ 。
推荐理由：原文完整给出了这个自托管模型仓库的兼容客户端列表、镜像机制和部署方式，适合评估私有化托管 Hugging Face 模型与数据集的可行性。
GitHub 开源项目 cookbook-rag 提供了一套基于本地 LLM 的 RAG 系统，可上传 PDF 食谱并通过自然语言检索，返回 AI 生成的答案。系统默认使用 Ollama 运行 qwen3:4b 模型和 nomic-embed-text 嵌入模型，配合 ChromaDB 向量数据库与 FastAPI 提供 /add-document 和 /search 接口。文本切分采用 LangChain 的 RecursiveCharacterTextSplitter（约 1800 字符、200 重叠），可通过 MODEL_NAME 等环境变量切换模型，应用端口为 8080。
abenzerps 基于 TokenRhythm/NeoHorse-1-9B 发布 GSQ-RCO 混合精度 GGUF 量化版本，采用 RCO 保留全部 48 个关键 SSM 参数为 BF16，并用 GSQ 按 Hessian 灵敏度校准逐层优化精度。提供 IQ2_XS 到 IQ4_XS 共 5 档文件，推荐 IQ3_M（3.75 bpw、4.20 GB）。配合 4-bit KV cache 可在 8GB 显存的消费级 GPU 上以约 6 GB VRAM 运行 131k 上下文，遵循 Apache-2.0 License。
一项针对本地 LLM 记忆提取的 120 例基准测试（60 组对照对、96 例英文主测试）显示：Hy-Memory 30B-A3B 召回率 100%（52/52），但 44 个空输出用例全部错误并产生 76 条冗余提议；Qwen3.5 4B 和 9B 更克制，空用例正确率分别为 95.5% 和 90.9%，冗余提议仅 3 条和 5 条；LFM2.5 24B-A2B 召回 76.9%，受指令示例污染和引用格式问题困扰，后验映射可修复 9/18 个无效引用字段。所有模型经 llama.cpp 在同一台 Ubuntu 机器上运行，测试不涉及速度。
/u/UltramanQuar 在 r/LocalLLaMA 实测 Zagitta 的 gpu-unlock 内核模块，称 NVIDIA 出厂的 3090 tensor 计算以 fp32 累加半速运行（驱动显示 FMLA32 = 1/2），加载模块后冷启动显示 FMLA32 = full。
推荐理由：作者实测了 gpu-unlock 模块对 3090 的 BF16 提速，并给出真实推理收益远低于 TFLOPS 峰值的具体数据。
mradermacher 在 Hugging Face 上提供 LFM2.5-24B-A2B-uncensored2 的 GGUF 量化模型（如 Q2_K）。该模型可通过 llama.cpp 本地服务器或命令行直接运行，并支持 Ollama、LM Studio、Jan、Docker、Pi、Hermes、OpenClaw、Lemonade 等多种工具加载使用。
开源应用 Nomi 在 Mac 上提供课堂实时语音转录与翻译，译文显示在原文下方，支持中文、英语、日语等 9 种语言，可离线运行。它还能收集课堂真实提问并作答、检索历史讲座记录、生成 90 分钟讲座的要点总结，并导入 PDF 和幻灯片。应用采用 SwiftUI 与 Rust 构建，基于 MIT 协议免费开源，需 Apple silicon（M1 或更新）和 macOS 26 或更高版本。
metadist 在 GitHub 发布 Synaplan，一个 Apache-2.0 协议的自托管团队 AI 平台，整合聊天、文件知识库、网站挂件、WhatsApp 与邮件等渠道。支持 OpenAI、Anthropic、Gemini、Groq、Mistral、xAI、HuggingFace 及本地 Ollama 等多家模型并可按任务切换；AI planner 将请求拆解为任务图并按步骤分配模型以降低成本，每条回答显示实际花费。README 提供与 Open WebUI、LibreChat、Dify 的对比表，标准安装约 4 GB，支持 Docker、离线内网 TLS、Linux 服务器与 Kubernetes 等多种部署方式。
开源工具 Lucid 将语音或键盘输入转化为结构化笔记和图表，语言模型通过 LM Studio 在本地运行（使用 qwen/qwen3-8b 之外的 qwen/qwen3.8-27b 模型）。它提供图表模式、命令模式、历史记录和内置 MCP 服务器（可接入 Claude Code），支持导出排版 PDF 和 Markdown，提供 macOS、Windows 和 Linux 版本，遵循 MIT 协议，作者自建评测集最新一轮取得 98/99 分。
medvoice-research 在 GitHub 开源 medvoice-service，提供基于 WhisperX 的生产级音频处理 REST API，支持转录、对齐、说话人分离，并用 Temporal 工作流实现异步任务。服务集成 PHI 检测、SOAP 笔记、实体抽取等医疗处理，通过 LM Studio 调用本地 LLM，配套 Streamlit Web UI，支持 Docker 部署，模型需 HF_TOKEN 下载，可用模型包括 large-v3-turbo 与 distil-large-v3 等。
GitHub 上的 Dome-Layer/dome-document-intelligence 可从 PDF、图片或表格中自动检测文档类型并提取字段，提供逐字段置信度评分、16 条治理规则校验与仅存元数据和哈希的审计日志。该工具属 DOME 方法的 Orchestrate 与 Model 阶段，Claude API（默认模型 claude-sonnet-4-6）模式已可用，Ollama 本地模式和 Azure OpenAI 模式尚未实现，计划支持 Llama 3.2 Vision 和 Qwen2-VL。后端为 FastAPI、前端为 Next.js，评估用四层 harness 测量精确率/召回率/F1 与置信度校准（ECE）。
ptath/llm-passthrough v0.4.1（beta，MIT 协议）是一个用于 OpenRouter 等区域受限 LLM API 的反向代理工具，基于 nginx:alpine 官方镜像，每个容器约 10 MB RAM。应用只需修改 Base URL 即可使用，API 密钥原样透传不存储，SSE 流式不缓冲，超时 600 秒。安装脚本可自动检测 Docker、生成 SECRET_PREFIX，并适配 Pangolin、Caddy、Nginx Proxy Manager、Traefik 等反向代理，支持在单台 VPS 上代理多个 API。
mradermacher 在 Hugging Face 上提供 Sage-A1.5-Heretic-Abliterated-Uncensored-GGUF 量化模型，可按 Q4_K_S 等量化版本下载。页面给出 llama.cpp 本地运行（含 OpenAI 兼容服务器）、Ollama、Docker、LM Studio、Jan 等多种部署方式的具体命令。
一位医疗行业用户因隐私限制不能用 Gemini、Claude、Codex，在 r/LocalLLaMA 询问 2026 年 10 月本地生成幻灯片的最佳方案，要求输入数据与生成过程全程本地。其列举两种做法：让本地 LLM 生成 HTML 幻灯片，布局与 JS 交互更灵活但分发麻烦；或用 python-pptx 生成 PPTX，传统直接但效果呆板。
一位拥有 24GB GPU 的 Reddit 用户求推荐本地 NSFW 模型。他目前的主力是 ArliAI_Mistral-Small-22B-ArliAI-RPMax-v1.1，认为其速度快、描写出色、极少重复，且 99% 的情况下不拒绝极端内容；此前他还用过 TheBloke_Noromaid-20B-v0.1.1-GPTQ。
开源 Web 应用 Ollama Model Checker 可检测 GPU VRAM、RAM 和 CPU 状态，输入任意 HuggingFace 模型 ID 即可分析兼容性并推荐合适的量化级别（Q2_K 至 Q8_0），还能计算支持 GQA 的 KV cache 需求、调整上下文长度。仅 GGUF 格式模型可一键部署到 Ollama，safetensors 仓库只显示大小与内存估算。应用支持 Docker 部署，要求 Python 3.8+ 和 Ollama 0.5.5 或更新版本，采用 MIT 许可证。
ProfessorZhi/llmlab 是面向共享 Dell GPU 工作站的单节点、多 Linux 用户 LLM 实验室管理后台，让 Web 与 llmlab CLI 使用同一受信身份与 Gateway 调用事实，覆盖模型登记、共享、调用、计量、评测与审计。2026-10-20 开发基线为 DEV_READY，main 分支 GitHub Actions 已通过，本地测试含 Python 3977 项与 Node 558 项；但真实 PAM、Gateway、三用户端到端与生产部署仍为 NO-GO。正式源码仅此仓库，旧 llm-lab 与 llm-lab-portal 已归档。
GitHub 项目 NoID Privacy Workstation 发布，这是一个基于 Fedora 44 / GNOME 50 的隐私加固工作站 ISO，包含 41 个功能模块，覆盖内核、网络、身份、固件、服务和浏览器等加固基线，无项目遥测。系统为 AI 智能体工作流设计：VSCodium 预置隐私默认设置，Claude、Codex CLI 及 Gemini 全局指令路径按用户选择性安装，模型访问为 opt-in，本地推理支持 RamaLama / Ollama / LM Studio。蓝牙、定位、摄像头、麦克风默认关闭，提供 GPG 签名 ISO 供下载验证。
论文报道了在北海道大学医院封闭网络内部署的临床支持智能体平台 LLENS，使用 8 块 NVIDIA H200 GPU 与开放权重模型 Kimi K2.6（约 1 万亿参数），自 2026 年 9 月 14 日起在医院网络运行。Kimi K2.6 从 3 个候选中选出，在 2026 年日本医师执照考试模拟中得 480/500 分；在 180 道基于医院文档的问题上，交互式工具访问准确率 97.2%，高于固定检索的 81.3%（差距 15.9 个百分点，95% CI 10.9-21.3）。
推荐理由：在医院封闭网络内部署开源大模型智能体的完整实测，对比了三种检索方式的准确率，方法可迁移到其他内网场景。
一位 Reddit 用户在 r/SillyTavernAI 求助：其在 RTX 3060 笔记本（6GB VRAM）上本地运行 gemma-4-E4B-it-ultra-uncensored-heretic-Q8_0，设置 16384 上下文与 KV cache q4，但部分角色叙事质量差、场景描述含糊。他询问该模型是否仍是好选择、有无更好方案，并希望获得配置改进建议。
Reddit 用户在 3950x + 96GB DDR4 + RX 7900xtx 与 W6800（共 56GB 显存）上实测 DeepSeek V4.1-1017，使用约 350GB 的 iq2 量化权重加 Q6 ngrams。峰值 19t/s、平均解码 9t/s、prefill 约 150t/s，性能因 I/O 波动明显。作者认为其智能程度超过 iq4-xs 量化的 Qwen3.8-Flash-Next，但思考过多，仅适合聊天用途。
GitHub 新仓库 AmanShankarDev01/college-project 发布了一个离线优先的多模态 RAG 助手，基于 Spring Boot 3（Spring AI）、React 18 和 Qdrant 向量数据库构建。它可用 Ollama 本地运行 phi3、llama3.1 等模型，也可切换 Anthropic Claude、OpenAI GPT-4o、OpenRouter 或 Groq Cloud。助手能从文档提取文本与插图，克隆解析 GitHub、GitLab、Bitbucket 仓库，并以可交互引用标注为 AI 回答提供证据。
gibboda 在 GitHub 发布 apple-silicon-mlx-native，一套可复现的工具包，用于在 Apple Silicon 上安装、重建、验证和运行纯 MLX 原生机器学习环境，核心组件为 mlx、mlx-lm、mlx-audio，图像与视频工具 mflux、mlx-video 为可选安装，不依赖 Ollama、llama.cpp 或 PyTorch/MPS。
GitHub 上的 z440-ollama-benchmarking 项目发布面向本地运行 Ollama 模型的交互式基准测试结果看板。看板提供可排序、可筛选的模型对比表、基于 `ollama ps` 实测内存的 VRAM 可行性指示、生成速度与内存占用图表，以及质量分级热力图和指标术语表。通过主仓库运行 Publish-Website.ps1 -Push 即可重新生成 data.js 并推送最新结果。
chatless 是一个基于 Tauri 2.0 与 Next.js 的桌面 AI 聊天客户端，支持接入 OpenAI、Anthropic、DeepSeek 等云端服务或 Ollama、LM Studio 本地模型，数据完全存储在本地。它支持 PDF、Word、Markdown 文档解析、本地 RAG 知识库、MCP 协议集成、Prompt 管理及 WebDAV 提示词同步，并可从 GitHub Releases 下载 Windows、macOS、Linux 安装包。项目采用 MIT 许可证开源。
Reddit r/LocalLLaMA 上有用户发帖询问大家尝试过哪些利用 GPU 的 RT cores 改善大模型推理的方法。发帖者称在硬件价格持续上涨的背景下，希望更充分地利用现有芯片，欢迎分享想法或实验结果。
ahostbr 的 LiteTUI 是一个面向本地大语言模型的 Textual TUI 聊天与 Agent 客户端，支持流式输出、工具调用、视觉输入、每 Agent 记忆与压缩。
一名普通 web 开发者借助大语言模型迭代优化，在不知其具体原理的情况下将 Kokoro TTS 提速 50-100 倍。训练在一块 4070ti super 上耗时约一天完成，灵感来自 Sahil 展示的 Kokoro 知识蒸馏方法。
基于 huihui-ai 的 abliterated Qwen3.6-35B-A3B 模型、面向 Jetson AGX Orin 64GB 的 Orinfer E8P Q4A8 量化版在 Hugging Face 发布，权重共 35,951,822,704 参数、约 4.209 bits/权重，上下文 262,144 tokens，需 Orinfer v0.2.1 运行。验证显示单次请求 65.83 tokens/s，10/11 自动评分任务通过，权重采用 Apache-2.0 许可。
hartmanjd 在 GitHub 开源 llm-hardware-benchmark 仓库，用于在不同硬件和设置下对本地大语言模型进行基准测试。评测指标涵盖速度（tokens/sec）、内存占用和成本三项。
GitHub 仓库 thackerhelik/finetuningcourse 提供端到端的三阶段 LLM 后训练流程（Domain Adaptation → SFT → DPO），将 TinyLlama-1.1B 适配到药理学领域，并通过 Ollama 本地部署。仓库包含 data、experiments/metformin、notebooks 目录及 export_to_ollama.py 导出脚本，目前尚无 star 和 fork。
NikitaCherepov 在 GitHub 开源了多平台 AI Agent 系统 Chatter（AGPL v3.0），Agent 跑在服务器上，通过 Telegram bot 与 Electron 桌面端连接同一账号，可一键分享给朋友或家人。系统包含 backend-api、desktop-app、Telegram bot、admin-panel、chatter-manager、webapp-notes 和可选 voice-service，各组件以 Docker Compose 编排；模型定价自动从 OpenRouter 拉取，内置 Pinecone 向量记忆、语音唤醒与 TTS、智能家居、邮件、网页浏览、多角色聊天和 Runbook 等功能，支持按用户设预算限额。
推荐理由：原文完整给出了组件结构、安装命令与安全机制细节，读者可以直接评估这套自托管 AI Agent 平台是否值得自建。
Bloks 3 正式发布，这是一款运行在本机的个人 AI Agent 桌面应用，以聊天界面呈现，每个 Agent 底层是 Claude Code、Codex、Gemini CLI 等真实引擎会话或你持有密钥的任意 API。3.0 新增多工作区、Bloks Team 成员协作、按引擎和 Agent 的用量统计与月度限额、卡片化回答、多 Agent 房间协作、审批与规则引擎、可读可撤销的 Markdown 记忆、例程与 Watcher 等能力；数据全部以明文文件存于本机，无后端存储，iPhone 应用仅作为桌面端的远程窗口，配套 Apple Watch 审批。应用免费，源码以 FSL-1.1-MIT 许可公开于 https://github.com/hamedgitty/bloks ，Android 版即将推出。
推荐理由：原文完整给出了 Bloks 3 的工作区、权限、花费限额与数据落盘结构，读者可以据此评估这套本地 Agent 方案是否值得自部署。
开源工具 LokalBot 在 macOS 之外发布了 Linux 和 Windows alpha 版，支持会议转写、本地模型笔记、听写、跨应用自动补全和工作上下文的智能体访问。工具默认本地运行，也可接入自有推理设施或其他服务商；移植版用 Rust + GPUI 构建，作者称用智能体集群三天完成。Linux/Windows 默认模型栈为 Qwen3-ASR-0.6B（转写）、Qwen3.5 4B（笔记与聊天）、LFM2.5 1.2B（自动补全）、EmbeddingGemma 2（语义搜索）、pyannote + TitaNet（说话人分离），模型可在设置中更换。
Reddit 用户实测 PolyStrata 后给出 10/10 好评：在 24GB（8+16）内存池上运行 Q3 量化的 CyberTiel，速度达 Ornith1.5 9B 的 2 倍，每秒 50-90 tokens，且能完成 Ornith 无法处理的任务。缺点是 CyberTiel 未被官方支持，需将 GGUF 文件命名为 TielCoderQ3.gguf 才能加载，导致界面仍显示 TielCoder；手动编辑 models.json 和创建 run.sh 后可用，与 Pi Agent 同步良好，但 Pi 缺少 reasoning budget 参数。
/u/Unstable_Llama 将三天前发布的 MemTensor MemT-1.0-Nano 移植到自己 fork 的 exllamav3（exl3-qlora）上，可原生配合 tabbyAPI 运行。模型能在对话中持续学习并通过 /commit 命令把重要事实写入记忆模块、清除上下文后仍能回答记忆相关问题；作者演示了该流程并附量化版本链接（https://huggingface.co/MemTensor/MemT-1.0-Nano）。
推荐理由：作者在 exllamav3 fork 上实测了 MemT 的持续记忆能力，给出了 /commit 命令的实操流程和量化版本地址。
开源 .NET 推理引擎 TensorSharp 在 10× NVIDIA A40 上运行 Muse Spark 816B（42B 激活参数，Unsloth UD-IQ3_XXS 量化，约 316 GiB 权重），并与 llama.cpp 对比。张量并行下 TensorSharp 达 22.6 tok/s 解码、4 并发 45.7 tok/s，层切分下 4K prefill 达 1346.8 tok/s，比 llama.cpp 快 2.07×；层切分 prefill 吞吐比张量并行高 4.6×。质量对比中 Top-1 一致率约 98.8%，功能检查层切分 13/14、张量并行 14/14 通过。
一位 Reddit r/LocalLLaMA 用户在 Ryzen 5800X 平台上测试多 GPU 推理性能，R9700 走 CPU 直连 x16、RX 7800 XT 走芯片组 4x 链路。结果显示无论在 Strata QFN 还是 llamacpp Q27B 下，任何多卡配置都不如 R9700 单卡快，与部分网友报告的多卡提速现象不符。
/u/SamSausages 在 4x Intel B65 上用 vLLM 0.30.0 实测 Qwen3.8-Flash-Next（W4A16），把 prefill chunk 从默认 1024 调到 8192/16384 后，32K prompt 预填达 5,142 tok/s，261K 首 token 时间从 190.2 s 降到 97.6 s。代价是 KV cache 池从 587,416 tokens 缩到 337,952，多会话下最长停顿从 0.61 s 增至 2.89 s，但作者称聊天和后台 agent 场景中停顿不明显。完整数据见 https://b65.thekaiser.us/by-model/qwen38-flash-next/prefill/
推荐理由：作者用同一套基线实测了 vLLM 不同 prefill chunk 大小的速度、TTFT 和 KV cache 代价，数据可直接迁移到多卡 XPU 部署调参。