新闻、仓库与研究，按时间排列。
iAcloud 发布 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 RBLN 预编译版本，使用 optimum-rbln 0.11.2 针对 16 块 Rebellions RBLN-CA25 NPU 编译，支持 262,144 上下文长度和 batch-1 解码，编译耗时 990.9 秒，产物约 55.8 GiB。该版本为编译验证版而非推理基准，运行时加载、生成与长上下文精度尚未测试，需 RBLN NPU 和 RBLN SDK，采用 Apache-2.0 许可。
一位用户在 Ubuntu 24.04 上运行双 GPU（RTX 4070 与 V100 SXM2）时，V100 在负载下随机"掉出总线"，重启后恢复正常。两卡均限功率 150W，V100 经 PCIE 适配器运行在 PCIE 3.0 x4，日志显示 Xid 79 错误，发帖者尚不清楚原因并求助。
Beast-jr 在 GitHub 发布 llm-gateway，一个介于应用与 LLM API 之间的 FastAPI 服务，优先使用 Groq、以 Gemini 作为回退。它提供 Redis 精确缓存、pgvector 语义缓存、带每日 token 预算的 API key、熔断回退，以及展示缓存命中率、省钱金额和加速比的 /stats 端点。测试无需 .env、数据库、Redis 或 API key，完整 README 将于 Day 14 发布。
dis-craft 在 GitHub 发布 LLM-observatory，一个本地优先的研究工作台，用于在边缘硬件上对量化语言模型做性能与可靠性分析，通过 FastAPI 后端对接本地 Ollama。功能包括模型注册表、CPU/RAM/GPU 遥测、支持多种负载配置的性能基准（报告 TTFT、p95 延迟、吞吐等）、内置质量评估器，以及可选接入 Promptfoo、LM Evaluation Harness、llama-bench 和 Nsight Systems，结果存入本地 SQLite 并可导出 JSON。项目为研究原型，未在所有 Windows/Ollama/NVIDIA 配置上验证，文档详细说明了各指标的测量边界，强调设备级 GPU 读数不能自动归因于模型本身。
推荐理由：这个本地工作台把量化模型的性能与质量对比流程标准化，并明确写出每项指标的测量边界，适合需要可复现边缘端实验的人。
Podman AI Lab 是 Podman Desktop 的开源扩展，用于在本地运行 LLM，提供精选开源模型下载、容器化推理服务、Playground 实验环境和含聊天机器人、代码生成、文本摘要等用例的 Recipes Catalog。支持 GGUF、PyTorch、TensorFlow 格式，要求 Podman Desktop 1.8.0+ 与 Podman 4.9.0+，每个模型约需 4GiB 内存和 4 CPU，建议 Podman 机器至少 12GB 内存，同时运行模型不超过 3 个。
NVIDIA 的 Nemotron Bolt 3.5 74B A9B 可能于今日发布，另有一个 E4B 4GB 版本定于 10 月 23 日推出。目前似乎只放出 2-bit QAT 版本，但将以完全开源方式发布。
inxanedev 在 GitHub 开源 comfyui-lan-image-server，可将同一 Wi-Fi 下的手机、平板或电脑变成 ComfyUI 的浏览器遥控面板，无需安装应用或联网。支持 KSampler 采样实时预览与步数计数、远程修改 prompt、negative、尺寸、steps、CFG、sampler、scheduler 和 seed，提供会话图库、预设保存、PNG 元数据回读设置、Clear Images 与 Shutdown PC 等功能。安装需将仓库克隆到 custom_nodes 并以 --listen 0.0.0.0 启动 ComfyUI，配合 --preview-method latent2rgb 或 taesd 启用实时预览；面板无鉴权，仅建议在可信局域网使用。
推荐理由：作者开源了一个把局域网内手机或平板变成 ComfyUI 遥控面板的自定义节点，README 给出完整安装命令、节点接线和参数说明，可直接照做部署。
GitHub 上的 termux-llm-proxy-redirect（LLM Redirector）可在 Android 设备上通过 Termux 运行本地中间人代理，转发 LLM 调用并剥离多余请求头，还支持通过编辑 config.json 自行修改 provider、reasoning effort 和 sampler 设置。用户在 janitorai 等前端将 Proxy URL 指向本地地址即可使用，需注意 HTTPS 与 HTTP 的区别；针对连接失败和 reasoning 报错，工具提供了换模型或将 reasoning_effort 设为 "minimal" 等排障方案。
NeuroBrix 是一个开源推理引擎，用统一的 .nbx 容器格式和 CLI 运行 LLM、VLM、语音识别、TTS、图像与视频生成及超分模型，当前版本 0.5.4 支持 NVIDIA GPU（CUDA）和 CPU，引擎与工具链采用 Apache License 2.0。容器内含计算图、权重与拓扑，默认走 PyTorch 分支，--triton 走自研 Triton 内核，可自动规划组件在单卡、多卡或主机内存上的放置；Hub 截至 2026-10-12 列出 10 类共 45 个公开模型，Apple Silicon 支持计划在 0.5.5 推出。
推荐理由：原文给出了 .nbx 容器结构、双计算分支和硬件适配细节，读者可以据此评估这个统一推理引擎是否适合自己的本地部署场景。
Aktar 是一款本地优先的桌面应用（Windows、Linux），通过 LM Studio 运行本地大模型，将视频字幕翻译为土耳其语，并支持对视频和文档集合提问，答案附带时间戳引用。所有处理均在本地完成，数据不上传网络；支持 SRT、ASS、SSA、VTT 字幕格式，无字幕视频可用 faster-whisper 本地转写。
Reddit r/LocalLLaMA 上有讨论猜测 Qwen4 是否适合搭配 Intel Optane 使用。文中提到 qwen3.8 flash next 针对小显存大内存场景优化，Strata 则优化了向 SSD 的 offloading，并探讨 Optane 能否成为受 DDR4 高价困扰的 homelab 的解决方案。
Reddit r/LocalLLaMA 帖子称 Microsoft AI 开发了 MAI Code 1.1 Flash 的本地版本，这是一款针对编码优化的 MoE 模型，总参数 137B、激活参数 6.8B。帖子未披露发布时间与开源细节。
开源项目 mixaicinemastudio 上线 GitHub，提供 AI 电影制作流程：分场景写剧本、生成演员与分镜首尾帧、用 LTX-2.3 图生视频渲染镜头并拼接长片。项目基于 Python 3.12 与 React 19，运行在用户自己的 ComfyUI 和 Ollama 上，无云服务、无需 Docker，图像生成使用 Z-Image Turbo 和 Qwen-Image-Edit 2511。
一位 LocalLLaMA 用户在 3 代 Threadripper 主板（仅 3 个 PCIe 插槽）上已运行 3 张 3090，各走 PCIe 4.0 x16，QFN 在 Strata 上约 100 t/s，现想加装第 4 张 3090。他在 c-payne SlimSAS x8/x8 bifurcation 卡与更换主板或整套平台之间犹豫，并担心 x8 带宽会否拖慢 Strata 性能。
一位 Reddit 用户在 r/LocalLLaMA 询问 Strata 在无 NVLink 的异构多 GPU 上是否值得使用。其配置为 Titan RTX 与 RTX 3090（均 24GB），单张 3090 运行 qwen3.8-27b 在 300k 上下文下达到 32 tok/s，Titan RTX 基本闲置；另有约 48GB 空闲系统内存。他想知道多 GPU 是否会大幅降低 prefill 速度，还是单卡加系统内存更快。
cognitio-org 的 mgm-pi 仓库记录了在 MacBook Pro（M4 Pro，48 GB 统一内存）上用 LM Studio 与 MLX 后端运行本地大语言模型的方案，模型为 qwen/qwen3.6-35b-a3b（Qwen 3.6 35B MoE，3B 激活，4-bit MLX，20 GB，256K 上下文），实测 73-82 tok/s、首 token 约 0.3 秒。仓库还包含基于 pi 的 kernal 编程智能体，支持连接 LM Studio、LiteLLM 路由与 OpenRouter、预算追踪、语音输入，并通过 kernal local 将本地模型共享到 Outfitter 账户。
一位 r/LocalLLaMA 用户计划用多张 RTX 6000 Blackwell 组建 TP4 推理，并询问能否通过主板 Thunderbolt/USB 4 接口外接 Razer eGPU v2 扩展坞，挂一张 5070ti 专门跑 sidecar 模型兼作显示输出，避免无头运行。帖中提到读过一个相关讨论后有所顾虑，向社区求证可行性。
一位 r/LocalLLaMA 网友分享了自己放在鸡舍旁小屋的本地 AI PC：从单张解锁至 64GB 的 CMP 170HX 扩展到 4 张共 256GB VRAM，搭配 32 核 Threadripper、TRX40 主板和 256GB DDR4 内存，并加装 3050 用于视频/RDP。因噪音和散热问题从衣柜迁入带空调的独立小屋，目前用两张 170HX 跑 QFN、第三张跑 Qwen3.8-27B，正在下载 GLM 5.3 Flash EXL3 4.65 bpw 测试 4 卡运行，并期待 Qwen4 的表现。
GitHub 上的 JOE-TRON-LLMA 是一个面向本地模型推理的张量执行核心，主打裸机指针级 KV-cache 张量管理、SIMD 寄存器优化和零中间运行时的原生编译部署。它作为 Fire-Gem 与 Robo Rook Universe（RRU）架构的高性能智能核心，采用 MIT License 开源，并配套 20 页工程文档与 gcc 编译示例。
LiquidAI 的 LFM2.5-24B-A2B 在 Pi Agent 中表现可靠，作者用它替换 Ornith 1.5-35B 后运行良好。在 AMD W7900 上经 llama.cpp（ROCm）实测持续约 95 tps，Q8 量化加 128k 上下文占用 30GB 显存，机械性长任务稳定通过。
一位电气工程学生在 r/LocalLLaMA 征询本地 LLM 硬件升级建议：现有 i7-7800X + X299 + 双 RTX 3090，跑 Strata IQ3_S 约 100 tokens/s，另有五张 3090 待处理。他在升级 i9-10940X（约 $300）、组建 96GB VRAM 第二台机器、或以约 $1,300/张卖掉 Zotac 卡之间权衡。
simple_llm 是一个自托管、OpenAI 兼容的 LLM 服务，打包为 Arch Linux Docker 镜像，后端为 llama.cpp 的 llama-server，可在单 GPU 上运行小型本地模型，替换托管 LLM API。支持 CUDA（主）与 Vulkan 两种后端，候选模型为 ≤13B 的 Q8_0 量化版本，如 unsloth/Qwen3.5-9B-GGUF 和 unsloth/gemma-4-12b-it-GGUF，许可证为 GPLv2。
Reddit 用户 /u/NickReese 分享了三台 4x ASRock Radeon AI PRO R9700（32GB）本地推理机的搭建与实测，单机含税运费约 $10,733.91，采用 $127.17 的二手 EPYC 7452 替代 Threadripper，三台共 384GB VRAM，用于其枪械行业信息业务 USA Arms 的数据抽取。推理栈为 vLLM-Radiance 1.0.387（vLLM 0.30.0、ROCm 7.14），每台跑两个 TP=2 引擎运行 Qwen3.8-27B-FP8，FP8 KV cache 加 MTP 8 draft tokens；16 用户 MT-Bench 聚合 484 tok/s，32K 上下文预填充 6,696 tok/s。
推荐理由：作者给出三台 4x R9700 本地推理机的完整 BOM、vLLM 实测吞吐和 FP8 与 MXFP4 的准确率对比，数据可直接用于自建参考。
一位 Reddit 用户分享其运行两年的全本地 SillyTavern 方案：一台 9950x3d/64GB/5090 的 PC 在 Ubuntu 上用 Koboldcpp 跑 Glistening-Gem-31B-v2.1 6_K，GPU 全层加载、106496 上下文、Q8_0k 上下文量化；另一台 6700k/16GB/2080ti 机器用 SD Forge 跑 Anima 模型。后端在 SillyTavern 与 Marinara Engine 间切换，并通过 Tailscale 连接 iPad Mini，同时征求 TTS 推荐。
JMingo 发布的 gemma-4-26B-A4B-it-qat-uncensored-GGUF 现已可在 Hugging Face 获取，提供 Q4_0 量化版本。该模型可通过 llama.cpp 的 llama serve / llama cli 直接运行，也支持 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等多种本地部署方式，并可接入 Pi、Hermes、OpenClaw 等 Agent 工具。
Strata 部署较新，作者经大量测试分享多项微调参数：--pcie-frac 设为 0.2、--pool-workers 带来 +10% decode、--trim-stage-weights 提升 +8%、--pipeline-windows 设为 6 提升近 15%，双 RTX3060 下通过 "gpu": [1,0] 强制让 PCIe 快的 GPU 做推理再获 +15%。累计后 Qwen Flash Next IQ3_S 从 35 decode 峰值提升到空上下文 60 tps 平均代码生成，满上下文仍比基线快 15%-20%。
Reddit r/LocalLLaMA 用户讨论用 Qwen3.8-Flash-Next（125B 总参数、每 token 激活 6B、128k 上下文）经 Strata 跑在 12GB VRAM + 64GB RAM 上，作为 ESP32 语音助手本地大脑，实测 44-65 tok/s，提供 OpenAI 兼容端点。该模型为预览版、刻意欠训练，基准分数来自 FP8 而非适配 12GB 的 Q2/IQ3 量化，且需 64GB 系统内存。发帖者询问是否有人实测过 125B 级 MoE 语音助手的端到端延迟。
GitHub 项目 oney-erge/YBM 发布，这是一个运行在本地机器上的 AI Agent，可通过网页、Telegram 和 WhatsApp 访问，把消息变成直接回复或可追溯任务，支持文件、终端、Chrome、VS Code、桌面控制、定时任务、MCP 服务器和编码 Agent 等工具。每个任务按 Plan、Approve、Execute、Verify、Receipt 五阶段执行，可随时中止；终端、文件写入、浏览器和桌面控制等高风险能力默认关闭，审批精确、限时且一次性使用，任务保留审计记录。可用 Ollama、LM Studio、LocalDeploy 等本地模型或 API key，Windows 测试最充分，桌面控制在 Windows 才可用；目前为 alpha 软件，MIT 许可。
推荐理由：开源本地 Agent 项目 YBM，用 Plan 到 Receipt 五阶段流程让每步高风险操作可审批、可追溯，适合想在自己电脑上放手跑任务的人。
网友在双 R9700 + 64GB DDR5 新装 PC 上，用 Deadcode 的 Radiance 推理引擎跑 Q4 量化的 Qwen-3.8 Flash-Next，实测解码 176 t/s、预填充 6,450 t/s。吞吐数据来自 BetterBench 基准测试。
一位 r/LocalLLaMA 用户想从 API 和 Janitor AI、Character.ai 转向完全本地运行，征求适合自己配置的 AI waifu 模型建议。其配置为 i5-10400F、16GB DDR4 3200 内存和 RTX 3060 Ti 8G 显存。帖子尚未给出具体的模型推荐。
Reddit r/LocalLLaMA 用户用单张 R9700 本地运行 Qwen3.6-35B-A3B-UD-Q6_K，配合 claude cli 和 220k 上下文测试 AWS AIDLC 2.11 工作流，5 个活跃日累计 46 个会话、输入 20.7M token、输出 3.2M token、缓存读取 1.4B token。按 Opus 5.5 标准 API 费率估算等效成本 $426.80，其中缓存读取按未缓存输入价理论上要 $5,600，作者据此评估本地部署的经济性。
Reddit 用户 /u/ironicstatistic 发帖感谢 Basalt 作者，Basalt 是面向 Blackwell 硬件的 Strata 分支。作者用 5060 Ti 16GB 加 32GB 内存在 128k 上下文下跑出 75 tok/sec 生成和 1200 prefill（q2 量化模型），代价是 KV cache 需用 q4 且系统仅剩约 5GB 内存可用；还请 deepseek4 帮忙加了 build flag 来分配更多内存。作者称 Basalt 作者曾主动联系解答问题，项目地址为 https://github.com/jesdga95/basalt。
推荐理由：作者给出了 16GB 显存加 32GB 内存的实测吞吐和 KV 量化取舍，低配 Blackwell 用户可据此预估自己的可行配置。
Reddit 用户 _swax_ 发布了一个开源配音项目，可为未翻译成英语的影视内容配音并保留每位演员的原声。工具链完全本地运行，包括 OmniVoice、IndexTTS、Chatterbox 和 Whisper，需 6 GB 以上 NVIDIA 显卡；克隆仓库后可让本地或非本地模型指挥配音流程，仓库内含全部脚本与指引，且模型会被指示改进自身脚本，作者欢迎社区提交改进。
Reddit r/LocalLLaMA 用户认为 GPU 价格合理，RTX 5090 是强推理机：可跑 Qwen3.8-27b，低量化下可跑 Qwen3.8-Flash-Next，速度达 200-300 tokens/sec，远超云 AI 约 50 tokens/sec。用户称开发者借此可 24/7 并行运行编码智能体，替代每月超 200 美元的 Claude 订阅。
IsValorum 发布 huihui-ai/Huihui-Qwen3.8-27B-Coder390-EfficientThink-abliterated 的 VAL-APEX-I MiniPlus V3 GGUF 量化版，文件 14.16 GB、whole-file BPW 4.15、含 866 个审计张量，原生 256K 上下文。该模型经 Coder390 SFT+RLOO 训练并做 abliterated 去审查，社区 NanoBench v0.4.0 评测中在 Oh My Pi (OMP 18.7)、Hermes Agent (v0.21.5)、DeepSeek Harness (0.2.0-rc.2) 三套测试上分别得分 96.7、95.4、90.4，Agentic 任务均为 100/100。
一位用户在 r/LocalLLaMA 询问 CPU 架构与内存带宽对 Strata Coder 本地编码性能的影响，计划用同一块 RTX 3090 对比 EPYC 7532（8通道 DDR4-2666，约171 GB/s）与 Ryzen 9 9950X3D（双通道 DDR5-6000，96 GB/s）两台机器，测试对象为 Qwen3.8-Flash-Next Coder（GSQ-RCO IQ1_M），关注 prompt 处理与生成速度、expert-cache 命中率及 IQ1_M 与完整 Flash-Next IQ3_S 的性能差异。
Dillon Hudson 在 GitHub 主页展示其面向实际运营需求的内部软件、AI 系统与工作流自动化项目，包括本地部署 Qwen3 14B 结合 RAG 的项目追踪助手、覆盖 400,000+ 项目文件的本地桌面搜索工具、每周节省 12+ 小时人工处理的结构化布线项目追踪系统，以及基于 OpenAI API 的改写与求职信生成演示。技术方向涵盖本地 LLM 部署、RAG、多智能体编排、Microsoft Power Platform 自动化与 Python 桌面应用开发。
BOB Gemini Free 是 ABCsteps.com 推出的 Go 编写多协议 AI 网关引擎，一个本地网关同时暴露 OpenAI、Anthropic 和 Google Gemini 三种协议适配路由，默认 web 路由无需 BOB 计费账号，可选路由使用用户自己的 Gemini Developer API key。当前 macOS universal v0.2.0-preview.10 为受控 beta，经 owner 控制的 Keychain 签名分发；工具调用为模拟实现（prompt/Markdown 提取），token 计数为估算值，不支持原生 Google function calling。
TheSlopMachine 在 GitHub 发布 llm-router，一个 OpenAI 兼容的单二进制模型路由网关，Go 后端加 Svelte 面板、SQLite 存储，运行时无 JavaScript 依赖。它统一多供应商与多账号端点、避开限速并通过自动代理绕过区域封锁，同时支持 OpenAI 和 Anthropic 兼容格式，可经 Lua 插件目录接入免费供应商。安装可从 releases 下载或源码 make install，经 .env 或环境变量配置后默认在 8080 端口启动面板与 /v1 监听。仓库地址：https://github.com/TheSlopMachine/llm-router
推荐理由：仓库页面直接给出安装、配置和接入步骤，读者可按说明把多模型路由网关跑起来并复用 Lua 插件接免费供应商。
PiotrBednarski-EngineerOfHumanGoods 发布的 ai-platforma-demo 演示了一个多部门共用的 AI 助手平台：统一入口按部门配置文档、工具与模型策略，支持 mock / Claude / OpenAI / Ollama 作为后端，发送前自动脱敏并记录日志。线上版本运行真实 Claude，月预算 3 美元；项目由 Claude Code 构建并有专门 agent 检查安全、代码质量、UX 等，每个修复附带测试，含 AES-256-GCM 加密与 RODO 合规文档。