新闻、仓库与研究，按时间排列。
HAYAT 35B-A3B Uncensored (GGUF) 上架 Hugging Face，是 Windows 本地优先 AI 助手 HAYAT 的主模型，权重与 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 完全一致，基于 Qwen3.6-35B-A3B，HAYAT 仅添加含系统指令与采样设置的 Modelfile。
Sagarkun 发布 Qwen-Image-2.1 Uncensored 的多格式量化版本，基于 Qwen/Qwen-Image-2.1 原始权重，提供 GGUF、Safetensors 和 MLX 格式，其中 Q4_K_M GGUF 仅 4.60 GB 且被推荐为体积与质量的最佳平衡。该版本无内置安全检查或内容过滤，可直接生成成人及敏感图像；文本编码器可卸载至系统内存以节省 9–17 GB VRAM，需搭配 ComfyUI 与 ComfyUI-GGUF 使用，采用 Qwen Research License。
sanasol2008 基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重制作了 Sushi 格式 3bpw 实验性量化包，路由专家采用 EXL3 K3 编码，未额外做 abliteration 或微调。完整下载约 79.22 GiB，在 Apple M3 Max 48 GiB 上冷解码 11.88 tok/s、热解码 12.88 tok/s，慢于 2bpw 版本；校准误差相对 2bpw（相对 Frobenius 误差 0.029 对 0.064）更低，支持 262144 上下文配置上限。
一位 r/LocalLLaMA 用户测试了 Supra-Mini-v6-1M 等微型模型，发现 1M 参数级别模型以 "Once upon a time" 为提示词的输出语法混乱、语句不通，达不到“基本通顺英语对话”的要求。该用户希望找到 10M 以下参数、适合 CPU 运行的最小 LLM，并在帖中询问何种微型模型和最小参数量能获得更好效果。
fgilde 在 GitHub 开源 Nextended，一套包含 19 个 .NET 库的工具套件，前身为 nExt，现已支持 .NET 8、9 和 10。套件涵盖扩展方法、自定义类型（Money、Date、BaseId）、缓存、EF Core 扩展、ASP.NET Core 响应过滤、Roslyn 源生成等。还提供多个 .NET Aspire 托管集成，包括 Supabase、n8n、Grafana、LocalAI 及带 MCP 端点的 WebDataStudio 数据库工具。
Qwen3.8-27B-abliterated 的 NVFP4 GGUF 量化版本（27B 参数）已在 Hugging Face 上架，支持 image-text-to-text 多模态输入。文档给出 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker 等多种本地部署与 OpenAI 兼容 API 调用方式。
一位开发者在 r/LocalLLaMA 分享了自研本地 AI 一体化应用 Hutash：它类似 ComfyUI 但无需复杂节点，内置自研引擎，提供 Openart AI 风格的免费工作室体验、Pinokio 式应用商店，并自定义 .hutash 模型包格式，字幕、播客等垂直应用可共享模型资源，还支持 CLI 和 MCP 以实现自动化与智能体调用。团队仅两三人且缺乏反馈回路，现已发布数个版本但不知该往哪个方向聚焦，怀疑自己是否过度工程化。
abenzerps 发布 XHToken/Spark-X2.6-4B 的混合精度 GSQ-RCO GGUF 量化版，面向 llama.cpp 本地推理。RCO 将 36 个 sigmoid 注意力门控和 9 个全局注意力投影保留为 BF16，GSQ 依 Hessian 灵敏度校准优化每层精度，推荐 IQ3_M（2.28 GB）。4-bit KV cache 下 131k 上下文约需 3.5–4 GB 显存，支持 llama.cpp 与 Ollama，采用 Apache-2.0 许可。
giovi321 在 GitHub 发布个人自托管医疗记录工具 Asclepius，用 OCR 加 LLM 把 PDF、扫描件、DICOM 影像整理成可搜索的病历，支持化验指标跨语言归一化、时间线视图和 RAG 问答。可对接 Ollama、vLLM、Claude 或 OpenAI，单 Docker 容器部署，另提供仅暴露医生分享面的 sibling 容器，分享采用一次性链接加 6 位 OTP、带水印防下载查看器，并记录完整审计日志。项目采用 MIT 许可，作者提醒个人使用场景下登录无速率限制、聊天功能存在 prompt injection 风险，公网暴露需加 OIDC 或 VPN。
hurui200320 在 GitHub 公开的 llm-ops 仓库用于管理 NAS 上的本地 LLM 部署，模型按模型族与变体目录存放 GGUF 文件和 sha256 校验文件。维护脚本以公共容器镜像 ghcr.io/hurui200320/llm-ops-toolbox:latest 发布，内置 check_updates、verify_checksums 和 download_hf 命令。另有 fetch-templates.sh 脚本可单独同步聊天模板，避免为更新模板重新下载 30GB 模型；访问 gated 仓库需设置 HF_TOKEN。
开源项目 llm-gateway 是一个位于客户端应用与 Google Gemini 之间的 FastAPI 网关，负责客户端认证、请求校验、按 key 限流、缓存与 SQLite 用量记录。客户端 API key 以 SHA-256 哈希存储，缓存 TTL 为 5 分钟，Gemini 请求设置 15 秒超时，对 408、429、500、502、503、504 等临时失败最多重试一次。项目还提供 Streamlit 仪表盘和 Docker 支持，作者定位为单机测试原型。
一位 LocalLLaMA 用户在 r/LocalLLaMA 询问 KV cache 量化的实际影响：其通过 strata 运行 qwen flash next 3.8 iq3xxs，KV cache 用 q8、262k 上下文，想扩到 300-400k 但显存不够，担心 q4 cache 质量下降。评论区多推荐 8k4v 方案，发帖人表示将尝试，否则维持 q8。
huihui-ai 基于 deepseek-ai/DeepSeek-V4.1-Flash-1017 发布 abliterated 去审查版本，完全用 llama.cpp 的 GGUF 完成 abliteration，未依赖 Transformers。仅 abliterate 第 11 至 28 层（0 起始索引）的 18 个 attn_output_b 张量，专家系统未改动；UD 系列来自 unsloth 的 GGUF。模型安全过滤大幅降低，建议用于研究或受控环境，支持 262144 上下文长度。
GitHub 开源项目 RAG-JAVA-OLLAMA 提供了一个本地检索增强生成（RAG）API，基于 Java 21、Spring Boot 和 Ollama 构建。项目支持文档索引、语义搜索以及带来源引用的 AI 问答功能。
开源项目 AI Image Studio 提供自托管、GPU 加速的图像生成 Web 应用，集成文生图、图像编辑、多图融合、Real-ESRGAN 超分（2x/3x/4x）与 outpainting，后端为 FastAPI，前端为 Vue 3 + TypeScript。运行时可选 7 个生成模型（如 Qwen-Image-2.1、ERNIE-Image Turbo (INT8)、FLUX.2 [klein] 4B、SANA-Sprint 1.6B），面向单张消费级 GPU（如 RTX 3080 20 GB），配备单工作线程任务队列、SSE 实时进度、生成历史与作品画廊，模型本地加载、无外部 API。
ffroliva 发布开源工具 gflow-cli，提供 Python CLI 和 MCP server，通过 Playwright 有头浏览器自动化操作 Google Flow，从终端批量驱动 Veo（t2v、i2v、r2v、extend）和 Imagen（t2i）生成。支持 Character 可复用角色、--tool 创意提示词改写、多场景 movie 清单，输出可路由到 S3、MinIO 或 Google Cloud Storage；项目为 alpha 状态，与 Google 无官方关联，仅 Veo 视频生成消耗账户 Flow 额度，纯 HTTP 传输因 reCAPTCHA 和 401 限制尚不可行。
推荐理由：通过真实浏览器自动化把 Veo 和 Imagen 变成可脚本化的命令行工作流，还给出了账号风险与费用消耗的坦诚说明。
GitHub 上的 knowledge-management-wiki-starter 发布 v1.1.0-rc.3 公开预览版，采用 MIT 许可。它用本地 Markdown 保存原始材料（Raw）与确认后的知识页（Wiki），通过问题卡（Seed）追踪未解决问题，需搭配支持项目规则的 Codex 使用，Obsidian 可选。重要写入需经审批台确认，真实文件默认由 .gitignore 忽略。
niuwoai 发布自托管 AI 编码智能体 WillDeep（willdeep-cli，Apache 2.0），支持 OpenAI 兼容与 Anthropic 线格式端点，模型可留在本地机房。核心特性包括每行改动精确到哪个 Agent 和工具调用的 Diff 归属、子 Agent 任务由 Runtime 执行退出码裁决、五道命令审批闸门加 OS 级围栏、常驻 Daemon 使任务在关终端后继续运行，提供终端 TUI、浏览器和手机三种界面。靶场数据显示 glm-5 在 16 个样本上 Verified Success 100%，但线上派工快照样本很少，累计 11 次子 Agent 运行中 Verified Success 仅 0%（0/2）。
推荐理由：开源的自托管编码 Agent，核心卖点是改动可逐行追责和小模型任务用退出码裁决，适合关注私有化部署的读者参考其审计与闸门设计。
guregodevo 发布 janis，一个用 Go 编写的开源权重模型本地推理模块，定位为 MLX 版 Ollama：Apple Silicon 上跑 MLX 后端，其他平台用纯 Go CPU 后端。janis serve 提供 OpenAI 兼容端点（http://127.0.0.1:8090/v1），支持流式 chat completions、tool calls、运行时切换已加载模型，权重从 huggingface.co/mlx-community 拉取，支持 Qwen3、Qwen3.5、Gemma 系列，另含 whisper、bge、reranker 和约束解码等组件。它也是终端编码 agent Memdoor 的底层模块。
推荐理由：作者用单个 Go 模块把 MLX 推理和 OpenAI 兼容服务封装到一起，说明了本地部署的工程取舍与用法。
/u/Inside-Pen-8395 在 24GB M5 MacBook Air 上以 Splash 1.4.0 的约 800 行 fork 运行 Qwen3.8-Flash-Next Q2 量化，24,576 个专家槽位中约 6,800 个驻留 ~8.8 GB 内存，其余从 SSD 按需流式读取，支持 256K 上下文，解码平均 48.8 t/s（stock 为 28.8）。
推荐理由：作者实测了 Qwen3.8-Flash-Next 在 24GB 内存下的 SSD 专家流式方案，给出解码速度、预填充和 LiveCodeBench 对照数据。
l666A 基于 Qwen/Qwen-Image-2.1 上游权重发布 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成，Q4_K_M（4.60 GB）为推荐的 GGUF 量化方案。该版本不含内置安全检查器，可直接生成成人、NSFW 及敏感图像，支持 ComfyUI 与 ComfyUI-GGUF，文本编码器卸载到系统内存可节省 9–17 GB 显存。
Reddit 用户 /u/Individual_Page9676 让云端 Agent 通过 Tailscale + LM Studio 调用本地 Mac 上的 Qwen3.6-35B-A3B，构建了一套验证式数据管线：模型自编 800 道数学题后在新会话中盲解，分歧交由 Qwopus 3.5 122B 仲裁，Agent 用 Python 暴力核算，最终得到 793 道可用题。盲解者在仲裁分歧中 56 次正确、作者 12 次，说明出题写官方答案比解题更易出错；第三轮复验中 793 个答案有 774 个被直接确认，甚至抓出 Agent 自己暴力核算写错的一道题。
一位 r/LocalLLaMA 网友因 32GB VRAM 显卡价格大涨而重新考虑购买方案：B70 从 1.3-1.4K 涨到 2K，R9700 从 1.7-1.8K 涨到 2.3K。他原计划升级 i9-14900F + 4070S 的主机并通过 RPC/ethernet 与另一台 5070ti 主机协同，现考虑退而求其次选 24GB 的 A4500 或 B60，或配置更复杂的 V100，并征求建议。
一位用户通过 API 测试了 DeepSeek 4.1 Flash，询问本地部署并达到与托管方案相同质量、约 40 tok/s 速度和完整上下文所需的最低预算。用途为代码、逆向工程与安全分析，且希望硬件独立于整机，同硬件下也可尝试 mimo 2.6 或 glm 5.3。
这是 NVIDIA Jetson Orin 边缘设备上的 Physical AI 实践课程大纲，2026/10/10 至 2026/11/8 在京畿道城南市分堂的汉字 AX LAB 授课，共 10 次课。课程在本地环境实现视觉与 LLM（基于 Gemma 的轻量大语言模型）融合的视听多模系统，不依赖云端。评分含出勤 10%、实作 10%、作业 10%、笔试 30%、项目 40%，共 3 个项目，作业与项目须提交至 GitHub Repository 并附 README.md。
Swedish Embedded AB 开源 brain，用单个 Rust 程序在现有硬件上下载、运行、微调、量化模型，并通过 OpenAI 兼容 API 提供服务，无需 Python、PyTorch 或独立推理运行时。支持 Qwen3、GLM、YOLOv8、FLUX.2 Klein、Qwen3-TTS 等文本、视觉、语音和世界模型，内置 wgpu、vulkan、cuda、cpu 四个后端，可跑在 NVIDIA/AMD/Intel GPU、CPU、Intel NPU 和浏览器中；每个导入模型与参考实现逐步对比测试，训练用有限差分数值校验，后端间做一致性检查，许可证为 Apache-2.0。
推荐理由：一个 Rust 程序覆盖下载、推理、微调、量化和 OpenAI 兼容服务，不依赖 Python 或 PyTorch，并给出后端一致性等自检测试。
GitHub 项目 gb100test 在 NVIDIA GB10 / Blackwell GPU 上整合三类服务：通过 vLLM OpenAI 兼容 API 运行 Gemma 4 26B NVFP4、Llama 3.1（默认 8B Instruct NVFP4，上下文 64K）和 Qwen3.5-9B；用 Diffusers 提供支持 SDXL 与 FLUX.2-dev GGUF 的图像生成服务。项目还包含深度 QA 压测、图像生成性能测试及覆盖 10+ 类别的 100 个违禁主题安全边界测试脚本。
Warith Harchaoui 发布 best-engine-ai-helper，一个纯 Python 工具，可检测本机内存（Apple Silicon 统一内存、NVIDIA/AMD VRAM 或系统内存），从内置模型目录中选出得分最高且装得下的本地 LLM 或 VLM，并通过 Ollama 拉取。选型综合结构化输出能力、内存适配、任务基准和带宽估算的吞吐四要素，pull 与 validate 会用 Ralph Loop 文本缺陷检测和 Ralph Eyeball Loop 视觉缺陷检测两道质量门验证模型，通过后才写入环境文件；实测吞吐数据存入 measurements.yaml，在 Apple M2 Max 上将 gemma3:12b 的估算误差从 64-118% 降到 17-25%。
推荐理由：原文给出了选型四要素与实测校准数据，读者可以据此理解本地模型自动选型工具的取舍逻辑。
FreeLLMAPI 是一个统一免费 LLM 网关，聚合 34 个免费 Provider、635 个模型端点，月流量 7.4B tokens，提供 OpenAI 兼容的 /v1 端点，支持智能路由、Failover 和加密 Key。该 GitHub 仓库提供一行命令安装脚本，可在 Proxmox 无特权 LXC 中以 Node 22 原生运行（无 Docker），Web UI 与 API 监听 3001 端口，systemd 服务设置 Restart=always 且容器 onboot: 1。脚本幂等，重跑自动走 git pull 更新路径，支持 reboot 自启验证与 --debug 完整日志排错。
Ternair 是一个纯 Python/PyTorch 的三值权重推理实现，pip install 即可加载 microsoft/bitnet-b1.58-2B-4T 并启动 OpenAI 兼容 HTTP 服务，无需 C++ 构建。2B-4T 模型文件从约 5 GB 压缩到 1.1 GB（packed 存储 1.6 bits/value），CI 验证与 HuggingFace 参考实现输出一致性 Pearson 0.9958、top-1 一致率 85.7%；缺点是 CPU 推理速度约为 FP16 基线的 0.09×，WikiText-2 上 PPL 反而低于 FP16 基线（13.30 vs 23.37）。
MoonLite-Br 发布 llmf（llmfree）0.5.1，一个仅依赖标准库的 Python 库和 CLI，可一行代码调用无需 API key 的 OpenAI 兼容公开端点，失败时自动在多提供商间回退。支持 fast/best/code/vision/reasoning 等模型别名、流式输出、OpenAI 形状接口、llmf serve 本地服务，以及 doctor 健康探测（约 24h 缓存）；0.5.0 新增 ch-at、rewind-ai 提供商和仅手动指定的 nottrack。该项目 MIT 许可，README 提醒端点非官方免费、可能随时失效，勿发送敏感数据，桌面端和 Termux 均可运行。
推荐理由：README 写清了多提供商回退机制、别名路由与 CLI 用法，读者可以直接pip装上试，也能了解免费端点不稳的风险提示。
GitHub 项目 phase 发布，可在本机直接测量本地 LLM 推理的每 token 能耗，分别报告 SoC 芯片功耗与 sys 整板 DC 输入，并扣除空闲基线，三平台后端均无需 sudo。首组数据在 Apple M5 Pro 24 GB 上测得：decode 每 token 能耗是 prefill 的 20 到 35 倍，仅计芯片封装会低估真实成本 2 倍以上。项目附 18 篇研究笔记，涵盖量化格式能耗、投机解码、批处理与长上下文等发现，Apache-2.0 许可，原始 JSON 在 results/ 目录。
推荐理由：工具把 prefill 与 decode 能耗分开实测，并给出芯片级与整板级两组数据，解释了为什么各家边缘模型能耗数字对不上。
RagLeap 开源了其自托管引擎 ragleap-core，以 46 个角色化 AI Employee 在 WhatsApp、Telegram、Discord 和语音电话上基于自有文档运行业务，MIT 协议、自带 API key、无厂商锁定。支持 off/semi/full 三档审批门控自主模式、无网络沙箱工具、Neo4j 知识图谱、混合检索、19 家 LLM 提供商或本地 Ollama，一条命令安装。作者同时明确列出未实测部分，如 Windows 安装器仅在一台机器上运行过、语音 Whisper/TTS 全链路尚未端到端实测。
推荐理由：原文逐项标注了已验证与未实测的功能边界，还给出审批门控和沙箱设计，适合想自托管业务 Agent 的人参考取舍。
Reddit r/LocalLLaMA 用户分享在 2 x CMP 170HX 上运行 Qwen 3.8 Flash Next 的配置方案，称兼顾质量与性能，并致谢社区支持。作者未在帖中给出具体 benchmark 数据，配置细节需查看原帖。
一位用户在 r/LocalLLaMA 求助如何在 M4 Pro 48GB Mac 上以最佳方式本地运行 Qwen3.8 27B，希望在 tokens/s、首 token 延迟、上下文长度与留出其他任务资源之间取得平衡，并要求速度不低于 10 tps。帖子提到社区对 MTP、MLX 和量化方案看法不一。
/u/MaxDev0 将 sybil-solutions 的 GLM-5.3 低内存卸载方案移植到更轻量的 Qwen3.8-Flash-Next（125B），通过 NVMe SSD 直接卸载，在 16GB 显存加 8GB 系统内存的 RTX 4090 上实现约 20 tok/s 解码。8k 短上下文为 28–33 tok/s（散文）、19–22 tok/s（代码），prefill 约 1,080 tok/s；262k 满窗口下 20.0 tok/s 解码、约 1,627 tok/s prefill；RTX 3080 Laptop（16GB 显存、32GB 内存）100k 上下文约 18–21 tok/s，峰值显存 15.5GB。现有方案（如 Strata）需把 24k 专家全部驻留约 48–64GB 内存。
推荐理由：作者把 GLM 的高效 NVMe 卸载方案移植到 Qwen3.8-Flash-Next，给出多档显存和上下文下的实测速度数据，可复现。
一位从未写过代码的 Reddit 用户在 r/LocalLLaMA 记录了用 Claude Code 兼任顾问、系统管理员和导师，七周内搭起一台约 3,450 美元的 Strix Halo 迷你主机（Ryzen AI Max+ 395，128 GB 统一内存，2 TB NVMe）的全过程。最终 Qwen3.8-Flash-Next 180B-A6B 写入 46-53 tok/s、prompt 处理约 771 tok/s，Qwen3.6-35B-A3B 达 76.5 tok/s，推理栈完全离线运行，夜间由编码 Agent 和浏览器 QA Agent 无人值守开发替代一款 40 年老程序的原型。
推荐理由：零基础作者用 Claude Code 当系统管理员从零搭起本地推理机，给出完整硬件选型、内核坑和逐项优化前后数据，可迁移到类似自建场景。
GitHub 新仓库 mmximxim/modelscope-studio 是一个手机端优先的 AI 生图应用，基于 Vue 3 PWA 前端加本地 Node 服务端，调用魔搭 API-Inference 实现文生图、图生图与对话模型。应用内置 12 个精选模型（2026-10 验证可用），支持 1:1 至 16:9 画幅、标准 1K / 高清 1.5K 清晰度，提示词助手基于 DeepSeek-V4.1-Flash 优化提示词。同一前端可作 PWA 使用或打包成 Android APK（minSdk 26，targetSdk 35）离线壳，令牌只存本机服务端，生成图片仅落盘本机不上传第三方。
GitHub 上线开源项目 happica，一个基于 Apple Silicon 的本地 AI 媒体工作室，用 ComfyUI 负责生成、FastAPI 运行流水线和任务队列、React Web UI 运行在 localhost:5173。支持图片、故事视频、带歌词的歌曲、MV、音效、配音，以及通过 PhotoMaker 复用角色面孔。
Ollama 0.40.11 起支持文本转语音，首个语音模型是 Gradium 的 Phonon 系列，目前可用 macOS，Windows 和 Linux 支持即将推出。在 M5 Max MacBook Pro 上，Ollama 借助 MLX 加速，吞吐比次快的 Gradium ptts 运行时快 35%，词错率与 Hugging Face Transformers 参考实现持平；Phonon 采用 Apache 2.0 许可，40M 版本为 CC BY-NC 4.0 限非商用，支持英语、法语、德语、西班牙语、葡萄牙语，并提供 OpenAI 兼容的 /v1/audio/speech 接口和流式播放。
推荐理由：官方给出了与 Gradium 自家运行时的吞吐对比和词错率对照数据，读者可以据此判断在 Apple Silicon 上本地跑语音模型的真实表现。