新闻、仓库与研究，按时间排列。
SafeRoute 是一个用 Python 和 FastAPI 构建的轻量级 LLM 网关，位于客户端应用与上游模型提供商（如 Ollama、Mock）之间，统一 chat completions 接口并提供认证、限流、超时管理与错误处理。项目分阶段实现了 HMAC-SHA256 客户端 API 密钥认证、Redis 精确匹配与语义缓存、固定窗口限流、可配置 guardrails、SQLite 用量追踪与 CSV 导出，以及 Prometheus 指标和流式缓存重放，并支持 Docker Compose 部署。
Reddit 用户 /u/Electrical_Ninja3805 公开一份 briefing 文件，让 Claude Code 等强模型写规格与任务卡，由本地 8-bit Ornith 1.5-9B 执行命令、构建、git 等机械性工作，以降低 Claude token 开销。文件涵盖小模型能力预期、精确到文件行范围与预期输出的任务写法、每任务新会话等运行规则，以及用 git 和日志而非模型自述做验证。实测中 9B 完成 75-commit 的双仓库合并且回归测试全过，但耗时约一天，远慢于 Claude 单独约一小时。
推荐理由：作者给出一份可直接复用的 briefing 文件，并附 75-commit 合并实测与耗时对比，读者可据此评估本地小模型跑编码任务的取舍。
Kirill777Vais 发布的 Qwen3-4B-Claude-Sonnet-4-Reasoning-Distill-Heretic-Abliterated-Heretic-Abliterated-i1-GGUF 模型现已在 Hugging Face 开源。该模型提供 Q4_K_M 量化版本，可通过 Transformers、llama.cpp、Ollama、Docker、LM Studio、Pi、Hermes Agent、OpenClaw 等多种工具加载运行，llama.cpp 还支持启动 OpenAI 兼容的本地服务器。
一位 Reddit r/LocalLLaMA 用户询问本地组装最低预算方案，以 Q4 量化运行约 500B 参数模型并达到约 20T/s 速度。其现有配置为 2 张 3090 提供 48GB VRAM 加 48GB DDR4 内存，但主板最多支持 128GB 内存，正在考虑是否改用 EPYC 平台。
一位 Reddit r/LocalLLaMA 用户在单张 RTX 5090（32GB VRAM、256GB 系统内存）上为逆向工程、红队、编程、恶意软件分析、渗透测试与漏洞利用开发挑选去审查模型，收到的推荐方向各异，包括 Strata + QFN（uncensored flag）、Cyber-Tiel-Coder-35B-A3B-GGUF、Basalt + Qwen3.8-Flash-Next-Uncensored 和 beellamacpp + Qwen 3.8 27B Q5_K_M，目前仍在纠结该选哪一条路线。
Unsloth 发布 MiniMax-M3.1-Flash 的量化 GGUF，2-bit 版在体积缩小 45% 的同时保留 91.5% top 1 精度，可在 150GB 内存上本地运行。1-bit 版约 89.9%，4-bit UD-Q4_K_XL 达 98.0%；作者称其为同尺寸最强开源模型之一，并提供 Hugging Face 权重链接与本地运行指南。
推荐理由：给出了各量化档位的具体精度数字和内存门槛，读者可直接对照自己的硬件条件选择合适的版本。
GitHub 开源项目 TRL_AI_Agent 发布 Windows、Linux 和 Android 版桌面 AI 智能体：由本地 Ollama qwen3:1.7b 等小型 maestro 模型判断请求难度，按免费、廉价、昂贵的顺序挑选模型，失败自动切换。支持 OpenRouter、Gemini、OpenAI、Anthropic，可通过 Claude 订阅免 API key 使用，内置 Coding/Research/File 技能、多应用 Connectors、council 双模型审查模式与「仅免费模型」消费护栏，聊天界面以阿拉伯语从右向左显示。
Reddit 用户分享 2 台 M5U 256GB（80 核）通过 Thunderbolt 5 组成集群的推理数据：GLM 5.3 flash q6 集群 prefill 4.9k、decode 50 tok/s；Qwen Flash Next q6 集群 prefill 8k、decode 200 tok/s。作者此前用 Qwen 3.8 27B q4 仅达 prefill 1.4k、decode 100-120 tok/s，现因速度改用 Qwen Flash Next，并征求优化建议。
anbow1 开源了针对本地大语言模型的编码评测仓库 llm-code-eval，含 base、hard、practical、tools、scene 五套测试，覆盖 Three.js/TypeScript、Python、日常改码、工具调用和大型图形任务。实测显示 RTX 5090 上六个设置在 base 套件得 100%，Qwen3.8-27B GSQ-RCO IQ3_XXS MTP 在 RTX 4080 上以 99.2% 排总榜第一；DeepSeek-V4.1-Flash 全部运行得 100%，192 GB 内存把速度从 11 提到 24-26 tok/s；GLM-5.3-Flash 在 h_p3_line_diff 上 7 次中 6 次超时。
推荐理由：原文给出五套本地模型编码测试的实测数据，按最高分与多轮均值双排序，读者可据此判断量化档位和推理档位对结果的影响。
ggaabe 在 GitHub 开源 studio-foreman，一个运行于 Mac Studio 的 GPU 驻留监管器 gpud 原型，用于本地模型场景下确保决策用大脑模型在大型媒体任务后总能恢复驻留。监管核心已在仿真中验证，含 204 项测试（无外网调用）；基于 mlx-serve 适配器的部署实测显示，5 秒 1280x704 视频渲染 70 到 82 秒，大脑恢复仅 2 到 8 秒，支持 lease 死人开关、SAFE 模式、毒化保护与基于 Beta 后验的规划器。
开源项目 harinezumigel-llm-stack 提供一个 Python CLI，在带 NVIDIA GPU 的 Docker 容器中管理 vLLM 后端和宿主机 LiteLLM 代理，客户端通过 OpenAI 兼容 API 访问。CLI 支持 model_groups 按组启停工作负载（如 RAG 三模型与 Qwen3-Coder-Next-AWQ 编码模型），要求 Python 3.10+、NVIDIA Container Toolkit，且模型文件需预先下载到 /opt/models。
JunWan666 发布 AstrBot for Android，通过集成 PRoot Ubuntu 环境的约 720 MiB 完整 APK，在 ARM64 Android 8.0+ 设备上免 Root 本地部署和管理 AstrBot 与 NapCat。应用提供双服务启停、内置 WebUI 后台、QQ 登录、人设库（内置 12 款原创预设）、实时日志、备份恢复及独立在线更新，代码采用 MIT 协议开源。
推荐理由：把 AstrBot 与 NapCat 的部署运维塞进单个安卓 APK，人设库、备份回退和在线更新都做完，想在手机上本地跑 AI 伴侣的读者可以拿来直接用。
GitHub 上的 NgodeAI-CLI 是一款生产级智能体编码 CLI，基于约 80k 行 Rust 原生核心与 TypeScript/Bun 运行时，可自主读写文件、执行命令、编辑 AST 并运行并行子智能体。它兼容 60+ AI 提供商，包括 Anthropic（Claude 3.7 / 3.5）、OpenAI（GPT-4o、o1、o3-mini）、Gemini 2.0 / 2.5、DeepSeek（V3、R1）及 Ollama 本地模型，支持交互式 TUI、Headless/管道模式，密钥与会话日志均保存在本机 ~/.ngodeai/ 目录下。
AsaadAlSharif 的 local-llm-benchmarks 仓库发布 Qwen3.8 Flash-Next 的本地基准与 PrimeAgent 功能测试结果。Q2_0、IQ3_S、Coder IQ1_M 三个量化版本在 llm-bench.io 分别测得 226.6、190.3、172.3 tok/s 及 83.4、88.4、80.8/100 质量分，Coder 版 CSV 解析 546/546 独立检查通过。硬件为 RTX 5090 与 Ryzen 9 9950X，官方 Strata 提交已发布 PR #4166，因排除 Google/Gemini 相关榜单，HumanEval+ 生成在 164 题中的第 145 题停止且未计分。
作者发布 Glimmerveil Anchor 2.0，可将角色卡、SillyTavern 聊天记录、ChatGPT、CAI、Kindroid、Discord 或纯文本记录重建为本地文件，全程不上传数据，支持自备 GGUF 模型。唤醒前可查看完整审阅文件夹，提供副本召回测试与面向小核心的可选稳定化，Apache-2.0 协议，支持 Windows 和 Linux。
huihui-ai 基于 Qwen/Qwen3.8-27B 发布去审查（abliterated）版本 Huihui-Qwen3.8-27B-abliterated-GGUF，仅消融第 22 至 52 层（0 起始索引），MTP 与视觉部分未改动。多个系列（Underdog-Saluki、Swift、Ternary、GSQ-RCO、UD 等）陆续追加，部分量化将 token_embd、output、ffn_down 等待消融权重转为 Q8_0 并命名为 Q2_K_L 至 Q6_K_L。模型可通过最新版 ollama 运行 huihui_ai/Qwen3.8-abliterated，llama.cpp 支持上下文长度 262144，官方提示输出可能含敏感内容，建议用于研究测试场景。
一位 r/LocalLLaMA 用户计划搭建本地大模型环境，候选配置为 Ryzen 9900X + RTX 3090 + 64GB RAM，或降级 CPU 换取更多 RAM。主要用途是长上下文窗口下的 agentic coding，并希望运行接近 GPT-6 Luna low 或 Haiku 5.5 low 的模型，同时避免配置过慢或不可靠。
一位 LocalLLaMA 用户询问能否用 abliterated/uncensored 本地模型对自家智能家居硬件进行 OTA 固件刷写（如 ESPHome 等开源项目），并指出云端模型拒绝提供帮助。作者曾用 cloudcutter 利用已知漏洞刷机，希望刷写没有已知漏洞的设备，这些设备支持 UART 刷写，并询问用本地模型完成此类安全任务是否现实。
/u/abarth23 发布了一个免费、无广告、客户端本地运行的网页版 LLM 显存计算器，主打把 KV cache 纳入估算。该工具支持 FP16、8-bit、4-bit/EXL2/GGUF 权重计算，按目标上下文长度与缓存精度（FP16 或 FP8/Q4 cache）动态估算 KV cache，加上约 1-1.5 GB 的 CUDA 运行时与系统开销，并推荐如单张 4090 24GB、双 3090 或卸载到系统内存的方案。作者称在线计算器普遍只按参数量乘量化精度，32k-128k 上下文的 KV cache 额外占 6-14 GB 显存。
推荐理由：针对常见显存计算器只算权重忽略 KV cache 的痛点，按上下文长度和缓存精度补全估算并给出 GPU 配置建议。
Spark-X2.6-4B-Uncensored-GGUF 上架 Hugging Face，提供 Q4_K_M 量化版本，可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或直接在终端运行推理。该模型还支持通过 Ollama、Docker Model Runner、Lemonade 以及 Pi、Hermes、OpenClaw 等 Agent 工具加载使用。
多智能体协作平台与工作流引擎 Clouisle 上线 GitHub 仓库，支持编排生产级 AI agent 团队。平台提供 19 种节点类型的可视化工作流、混合检索（Qdrant 向量 + BM25）与 reranking 知识库，以及多租户、RBAC、SSO 和 TOTP 2FA 等企业级安全能力，注册 23 个 LLM provider，并在 Bubblewrap 用户与挂载命名空间中隔离沙箱执行。
一位 Reddit r/LocalLLaMA 用户询问用双 3080 12GB 运行 iq4 flash next 是否可行。双卡合计 24GB 显存、带宽与双 3090 相同，价格 900-1000 欧元，但比 3090 少 24GB VRAM；作者猜测速度可能只慢 15-20%，并指出双 3090 仍依赖 RAM，希望有经验者分享。
GitHub 开源项目 llm-qwen 基于 Qwen2.5-1.5B-Instruct 模型，用 FastAPI 搭建后端、Angular 搭建前端，实现本地 AI 聊天机器人。模型需通过 huggingface_hub 从 HuggingFace 下载，后端经 Uvicorn 运行在 127.0.0.1:8000。项目支持流式实时回复、临时会话记忆和清除对话。
GitHub 开源 mobile-llm-engine，一款 iOS 优先的本地大模型推理引擎，内置基于 Qwen3 继续训练的 0.6B 中文助手模型（Q5_K_M 量化、551MB），专注日历等工具调用任务，数据不出设备。实测 40 题工具调用中 tool_call 发射率和 schema 校验通过率均为 100%，但日期参数正确率 0/15，幻觉问题修复中。目前仅支持 Apple Silicon Mac，运行内存约 1GB，可开放试用。
BigMoeOnEdge 是一个开源引擎，通过从闪存流式读取专家权重，让超过设备内存的 MoE 模型在本地运行，基于 llama.cpp 公共 API，支持 Android、iOS、macOS、Windows 和 Linux，并内置 OpenAI 兼容服务器。--auto 规划器会测量机器的内存、存储速度和各计算单元后自动设置缓存与常驻权重；实测包括 12 GB 手机上跑 91 GB 的 DeepSeek V4 Flash 284B（0.94 tok/s）、Qwen3.6-35B-A3B 达 4.8-5.0 tok/s，16 GB Apple silicon 笔记本上 Qwen3.6-35B-A3B 达 18-24 tok/s。
推荐理由：仓库给出了各设备的实测解码速度表和与全内存加载输出一致性的测试说明，便于判断流式加载 MoE 的实际可用程度。
NekomyaDev 开源了 Nudge，一门面向 AI Agent 的类型化编程语言，提供原生字节码 VM 和独立编译器，可编译到 Python 和 TypeScript。语言层内置 LLM schema 一等类型、10 种编译期检查的显式效果、预算硬约束、par race 并发原语和确定性 NTF v1 trace 回放，可在 CI 中以 $0 做回归测试，还支持单二进制打包（约 2.09MB）、WASM 离线回放、MCP 集成、Computer Use 与 PII 脱敏，采用 Apache-2.0 许可证。
推荐理由：把 schema 校验、效果声明、预算上限和 $0 trace 回放做进语言层，对受够胶水代码的 Agent 开发者是一套可试的新思路。
Counsel 发布 0.1 公开预览，这是一个免费、可自托管的法律工作区，支持合同审查、法律检索、起草、工作流和客户协作。项目采用 Apache 2.0 协议开源，无按席位收费、无遥测，默认 AI_PROVIDER=evidence 不调用模型，也可配置 Ollama、OpenAI 兼容端点或 OpenAI。其证据模式使用确定性条款锚点和 BM25 风格段落排序，并导出含 SHA-256 校验的可迁移 matter 归档；项目方声明未经独立审计、不宣称与 Legora 等价。
TokenBar 是一款开源的 macOS 菜单栏应用，默认读取本地日志，聚合 Claude Code、Codex、Gemini CLI、Cursor 等 17 个编码 Agent 的 token 用量和报告或估算成本，可按项目、Agent、模型、会话下钻，数据只存本机 SQLite，无遥测。提供 tbar CLI 十七条查询命令，附带 tokenbar-report 技能，用死神、猎人、JOJO 三种动漫人格视角生成 Wrapped 式年度回顾报告，强制视角重合度低于 30%。Cursor 账号同步默认关闭需显式开启，支持自定义 JSONL 或 SQLite 数据源，采用 Apache License 2.0。
一位 Reddit r/LocalLLaMA 用户询问如何在 PolyStrata 中加载不同的微调模型。直接用 --gguf-dir 时必须声明基座模型架构，且显示的是原始模型名（CyberTiel 的 tiel 架构被显示为 TielCoder）；手动改 JSON 和 config 文件虽部分有效，但换用 ./setup.sh 之外的启动脚本会出问题，用户希望找到更干净的自动生成正确名称与配置的方法。
一位 Reddit 用户用 Strata 在 8 GB 显存（RTX 5060 Laptop）加 32 GB 内存的笔记本上运行 Qwen 3.8 Flash Next Q2，实测 PP 最高 930-1,040 t/s、TG 30-45 t/s（131K 上下文），快于其 Qwen 3.6 35B A3B（PP 630-680 t/s、TG 27-35 t/s）。文中给出 --mmap-experts、--kv-resident 20480、--vram-reserve-mib 等关键参数调优方法，并建议 131K 以上上下文时用 --conversation-cache 替代 --parallel 以避免 OOM。
一位用户在 r/LocalLLaMA 征求约 $10K–12K 预算的本地 agentic coding 装机建议，需支持 2–4 个并行子智能体和逆向工程，可选需约 21 GB VRAM 的 Hunyuan3D-2.1 贴图生成。候选方案包括单卡 RTX 5090、二手 4× RTX 3090、5090+2× 3090 混合方案、Mac Studio M5 Ultra 256 GB 及超预算的 PRO 6000，并询问长上下文 prefill 表现与 vLLM 多实例方案是否值得。
一位 Reddit r/LocalLLaMA 用户在 2x 3090 24GB、1x 4070 TI Super 16GB、18 核 CPU 和 130GB DDR4 内存上本地运行 Qwen3.8 FN，实测仅用 4070 TI + NVME 约 8-9 T/s，仅 NVME 约 2 T/s，三块 GPU 加内存全用约 18 T/s，发帖询问不买新硬件如何提速。
一位 r/LocalLLaMA 网友晒出总价 3360 美元的主机配置：Threadripper 3960X、三块 GPU 共 44GB VRAM（2x 16GB 4060 Ti + 1x 12GB 4070）和 256GB DDR4 四通道 3200MHz 内存，此前运行 QWEN 3.8 27B 256K Context 效果满意。他询问该配置跑 Deepseek 4.1 和 GLM 的 token 速度，并表示优先跑大模型而非速度。
Reddit r/LocalLLaMA 用户 boro64 发布 Ternary Nemotron 30B-A3B 的 GGUF 量化模型，这是一款 1.58-bit 三值 30B-A3B MoE 模型，可在 12 GB GPU 上运行 368K 上下文。实测解码速度 172 tok/s、prefill 超 7000 tok/s，同一文件兼容原版 llama.cpp（b11555+、b11796 验证）和 PrismML fork / Bonsai（b10793 验证）。作者称这是继 maple-preview 后第二个支持原版 llama.cpp 的三值 MoE 模型，并征集 CPU-only 和约 10 GB 小显存的测试数据。
TokenLive 通过 Homebrew 提供一键安装，其集 LLM 网关与管理控制台于一体的方案现可经 brew tap tokenlive/tokenlive 后 brew install 安装，并用 brew services 启动。默认管理员登录为 admin/admin，配置文件位于 etc/tokenlive/config.yml，卸载同样提供完整命令。
Rodrigo Henriquez（@SirFassler）在 GitHub 开源 lukk-node，一个仅用 Python 标准库的客户端-服务端守护进程与 CLI，面向在专用 GPU 机器上通过 Ollama 跑本地 LLM 的开发者和玩家。它通过 nvidia-smi 提供实时 GPU 遥测（温度、功耗、负载、VRAM），支持委托式流式推理（NDJSON），并可在 1 秒内清空 VRAM 让 GPU 完全用于游戏；v1.2.0 加入可选 Bearer token 认证，另有 --auto-gaming 模式每 4 秒扫描游戏进程自动驱逐模型。项目采用 MIT 许可证。
推荐理由：作者开源了一个零依赖的 GPU 节点守护进程，把 Ollama 遥测、流式推理和秒级 VRAM 清空整合进一套 CLI，适合本地跑模型兼打游戏的场景。
Hugging Face 社区发布 Feyospace-v1.1-Abliterated-security-MTP-UD-Q4_K_S，这是基于 OBLITERATUS/feyospace-s1-obliterated 的 GGUF 量化版，面向本地网络安全研究、代码分析与工具辅助调查。该构建采用 UD-Q4_K_S 混合精度布局、面向安全的 importance-matrix 校准，并保留 MTP 头以支持投机解码；上游模型约 28B 参数、Qwen3.5 架构、Apache-2.0 许可，最大上下文 262,144 tokens。该卡未提供此量化版的 benchmark 结果，最终张量清单与质量保留情况尚待验证。
一位用户在 N1X 128GB（88GB VRAM）Windows on Arm 设备上，通过 WSL3/Ubuntu-26.04 调优 Qwen3.8-Flash-Next-W4A16-AutoRound-hybrid 模型并取得满意结果。虽然生成速度（tk/s）不算最快，但面向智能体的并发表现好于预期。
aortez/playtime v0.1.0 达成 MVP，提供 Rust daemon、CLI 和 workbench，用于有边界的本地 LLM 实验。当前模型为 gpt-oss:20b，curiosity recipe 限定 10 个会话、每会话 10 个工作轮次、64K 上下文、300,000 生成 token 和 30 分钟控制器时间。生产路径要求 Linux x86-64、systemd 用户管理器、cgroup v2、Docker Engine 与 Ollama，模型工具在容器内以 uid 1000 运行且无外部网络。
GitHub 上的 OmniFree 项目把多家免费层资源整合成个人云，用故障转移路由聚合 Groq、Gemini、Mistral、OpenRouter 等免费 LLM API，并跨 R2、B2、GCS 等免费存储分散文件，还提供数据库、Pi-hole DNS 过滤和计算资源，通过暗色模式移动 PWA 管理。项目采用六边形架构，core/ 定义端口与智能路由，每个服务商是 plugins/ 下的适配器，配置集中在 config/providers.yaml。附带的免费额度核查表（2026-10-19 核对）记录了 Oracle A1 缩至 2 OCPU/12GB、Koyeb 被 Mistral 收购后取消免费层、Cerebras 改为 30 天 $5 试用、Gemini 限额两次下调等变化，并给出对应配置调整。
推荐理由：仓库附有 2026-10 逐家核对的免费额度变化表，读者可据此了解各免费层现状与部署成本。