新闻、仓库与研究，按时间排列。
j-llm 在 Hugging Face 发布 orcarouter/Qwen3.8-27B-Uncensored 的 OptiQ 混合 4/8-bit MLX 量化版，约 19.2 GB，5.13 bits/weight。该量化基于对 uncensored 权重直接测量的逐层 KL 敏感度分配精度，保留 BF16 视觉塔与 MTP head sidecar，262,144 token 上下文；Capability Score 88.86，高于参考版 mlx-community/Qwen3.8-27B-OptiQ-4bit 的 87.98。
推荐理由：原文给出逐层 KL 敏感度测量和 6 项基准对比，读者可评估混合量化相对参考版的质量取舍。
GitHub 上的 llmctl 项目用一条命令管理本地 AI 机器：llama.cpp、halogen 和 gufo 后端跑语言模型并提供 OpenAI/Anthropic 兼容代理供 Claude Code 等客户端使用，语音与图像、视频、音乐和 3D 由 ComfyUI 处理，支持槽位、预设、显存核查与模型下载更新。README 给出大量实测：Qwen3.8 经 MTP 头投机解码从 7.22 提速到 15.48 t/s，70B 级模型配独立草稿模型提速约一倍，halogen-server 在 0.15.1 加 v2 检查点下省 14.6 GiB 内存且 prefill 快 3–7%。
推荐理由：原文给出大量实测数据，包括投机解码、显存占用与各后端速度对比，读者可据此评估这套单机 LLM 管理方案的取舍。
ahmedEid1在GitHub发布Ordnung，一个本地运行的德国信件私人秘书工具，由Claude读取信件内容，确定性规则引擎计算法定期限并给出带引用的推算依据，绝不自动付款或取消。基准测试显示纯模型算期限仅82.1%准确且7.1%危险偏晚，Ordnung管线在三个后续held-out测试集合计97.0%、偏晚率接近零；Ask问答44题全部正确、注入文本零泄露。需要Python 3.11+和付费计划的Claude Code 2.1.0+，支持手机配对、加密备份和作为MCP工具供Claude Desktop调用。
推荐理由：README给出了流水线与纯LLM、规则文本等多条件基准对比，展示了模型读取加确定性规则引擎的架构取舍，方法可迁移。
开源项目 bezaforge-infrastructure 将家用裸金属私有云完全以代码管理：Terraform（bpg/proxmox provider）声明式定义 5 台 VM，Ansible 负责配置，Docker Compose 运行 15+ 容器化服务，并配备 Prometheus、Grafana、Loki 全套可观测性。系统含 Let's Encrypt DNS-01 通配符 TLS、GPU 直通（RX 7900 XT + ROCm）的 Ollama LLM 推理主机，以及 fail2ban、备份和 G Drive 每晚 rclone 镜像等自动化运维。
开源项目 Chuk Chat 推出私有 AI 聊天应用，仅使用 open-weight 模型（DeepSeek、Llama、Mistral、Qwen 等，经 OpenRouter 接入），聊天数据在客户端用 AES-256-GCM 加密后同步，采用零知识架构。支持 Android、iOS、Linux、macOS、Windows 和 Web 全平台，提供工具调用、图像生成、网络搜索等内置功能。订阅价为 €20/月，含 €16 AI credits。
Sean McDonnell 的个人编码 Agent Harness 以 Rust 编写，仓库公开且采用 MIT 许可，当前版本 1.3.0，处于积极维护状态。它支持读写仓库、运行工具、可恢复会话，提供终端与本地 Web 界面，用户可指定 provider:model 路由并配置自定义 OpenAI 兼容端点，也可搭配 Ollama 等本地后端使用。项目通过 `make verify` 完成格式化、lint、测试与合成验收，无需 API key。
aivrar 在 GitHub 发布 portable-hermes-agent，将 NousResearch/hermes-agent（MIT 协议）打包为 Windows 便携桌面 AI Agent，内置 100 个工具、20 多个工具集、Tkinter GUI、工作流引擎和动态工具创建功能，无需安装、Docker 或管理员权限。支持通过 LM Studio 本地跑模型或经 OpenRouter 用云端模型，附带 TTS、Music、ComfyUI 三个可选扩展服务器（分别需 4GB+ / 4GB+ / 6GB+ 显存），提供 UPDATE.bat 与上游 Hermes 两套独立更新通道。
开源项目 agentic-rag-platform 提供多租户 RAG 平台：上传 PDF、DOCX、TXT 或 Markdown 文档后可问答，答案带 [Source N] 引用并以 SSE 流式输出，支持多轮上下文（保留最近 10 条消息）和按问题选择模型。后端用 FastAPI + Qdrant + PostgreSQL 16 + Redis 7 + Celery，经 OpenRouter 兼容 API 接入 OpenAI、Anthropic 等模型，含 60 个 API 操作、结构化 JSON 提取与限流、缓存等运维能力。
GitHub 开源项目 Kidi（卡纳达语"火花"）可在本地设备运行 AI 模型，提供聊天、图片问答、语音转录和翻译，支持 Android 应用、浏览器和命令行三种使用方式。其支持的模型包括 Gemma 4 E2B-it、Whisper Tiny/Base/Small 及 500 语言翻译的 RTG Transformer，提示词全部本地处理，无需联网推理。默认下载约 2.49 GB 模型文件，CLI 原生默认 16,384 token 上下文，暂不支持工具执行、视频输入、CUDA 和 Apple Neural Engine。
jrullan 在 GitHub 发布 Apache-2.0 协议的开源项目 Ducklab（v0.7.0），一个自托管的 Go 引擎加 CLI 和桌面端，让多个 LLM 在固定角色下跑完整开发循环：brief → 需求 → spec → 计划 → 构建 → 审查 → 发布。核心设计是任何模型都不做判定，verdict 一律取自测试命令的 exit code，接受必须从干净 checkout 复现绿色基线，审查者看不到作者身份。项目以本地模型优先（llama.cpp、vLLM）为座席，仓库记录显示 454 次运行、约 2300 次座位分配由本地与 OpenRouter 托管模型混合完成，并提供 MCP server（io.github.jrullan/ducklab）供外部模型操作整个循环。
推荐理由：仓库自带 454 次真实运行记录和各模型座位实测通过率，读者可以据此了解多模型互相制衡、以测试门禁替代模型判断的可复用做法。
brosequist 在 GitHub 发布了一个 n8n 工作流，用大语言模型分拣积压的 Gmail：按批让 LLM 对旧邮件判定保留（打分类标签）或移入垃圾桶，通过自触发循环处理上万封积压邮件，之后每周做一次小规模清理。安全设计上，trash 只移入 Gmail 回收站保留 30 天可恢复，规则对模糊邮件倾向保留，仅处理超过 TRASH_AGE_DAYS（默认 30 天）的邮件才执行删除判定；支持任意 OpenAI 兼容端点（Ollama、llama.cpp、vLLM、LM Studio），通过 LLM Categorized / LLM Reviewed / Needs Review 三个控制标签实现幂等，MIT 协议开源。
推荐理由：原文详述了用 n8n 和本地 LLM 批量清理 Gmail 的完整方案，包括年龄门槛、幂等设计和升级路径，方法可直接迁移复用。
OpenMake 在 GitHub 开源了一个本地优先的自托管 AI 工作区和 Agent 运行时，通过 LiteLLM 网关协调 vLLM、Ollama 或任意 OpenAI 兼容端点上的多个模型。一条安装命令即可在 Linux 和 macOS 上部署 PostgreSQL、Redis、LiteLLM、SearXNG 和 Docker 沙箱全栈，支持按能力分配模型、Agent 任务检查点与审批、23 个内置工具、MCP 服务器目录和深度研究报告导出。技术栈为 Node.js 24、Express 5、Next.js，采用 MIT 许可证。
GitHub 项目 Past-paper-generation 提供原生 macOS 应用与 Python 后端，用本地 Ollama 模型生成非官方 A-Level 练习试卷，法语 NSI 扩展仍在开发中。项目推荐 16 GB 统一内存 Mac 使用 gemma4:12b，8 GB 机型可用 qwen2.5:7b 但需更仔细人工审校。项目处于活跃开发阶段，尚未通过考官资格认证或 App Store 审核。
AWS 发布 aws/aws-graviton-getting-started 技术指南，面向使用 Graviton 处理器 EC2 实例的开发者，涵盖最新一代 Graviton5 及从 Graviton2 起各代架构的迁移、编译与优化方法。内容按语言（Java、Python、Go、Rust 等）、容器、Lambda 及机器学习场景整理，含 PyTorch、llama.cpp、vLLM、DeepSeek-R1 等推理实践。仓库还提供可在 Claude Code、Cursor、Codex 等 20+ 平台使用的 Agent Skills，辅助 x86 到 Graviton 的迁移。
Veasel Code 是一个开源 AI 编码智能体项目，采用 V 原生运行时和 server-first API，当前垂直切片提供带 health/capability 端点的 V 服务器、SQLite 支持的会话与聊天历史、可回放的 SSE 事件流及 OpenTUI 终端客户端。会话可通过 OpenAI-compatible（默认）、Anthropic 或 Gemini API 对话，仓库工具、代码修改与后台执行仍在开发中，产品只报告真实模型回复。代码采用 MIT 许可，启动像素肖像在 CC BY-NC 4.0 下发布，服务器默认绑定 127.0.0.1:4097。
GitHub 开源项目 agent-os 发布 v0.1，一台 shell 是 AI 的主权计算机：开机即与本地运行的模型对话，基于 NixOS 构建，首次启动自动拉取 qwen3.5:9b（约 6.6GB）。记忆以 markdown 文件存于文件系统，可读、可编辑、可 grep；sealed 变体通过 nftables default-DROP 防火墙阻断出站流量（仅放行 nixpkgs cache 和时间同步），断网可用，agent 无 sudo、不在 wheel 组，无云端模型、无遥测。已测试于 Dell Latitude 5440（32GB、CPU 推理），另提供 agentos-open 开发变体和 VM 体验方式。
GitHub 开源项目 family-learning 是一个「一起成长 Family Agent」，为家庭提供本地运行、家长主导的学习成长助手，优先学校作业、课程进度和事务跟进，支持时间管理、学习反馈与计划调整，LLM 可配置。设备可通过局域网直连或认证 HTTPS 公网入口访问。项目采用 MIT 许可证，目前处于家庭试用阶段，消息接入与真实设备正逐项验收。
Reddit 用户 /u/ZestRocket 基于 llmfan46 的 uncensored Heretic 权重，套用 Unsloth 的 UD 配方自行量化出 12/16/24 GB 三个版本，托管在 Hugging Face（codavidgarcia/Qwen3.8-27B-Uncensored-Heretic-MTP-UD-GGUF）。16 GB 的 UD-IQ4_XS 在 RTX 4080 上开 MTP 实测代码 55 tok/s、散文 50 tok/s（关 MTP 仅 29/29），并以 Q8_0 为基准对比了各量化的 KLD 质量。作者还发现 2 个草稿 token 优于 3 个、显存溢出会让速度骤降（开 Chrome 掉到 0.2 tok/s），并附上配方提取与基准测试脚本。
同一新闻，精选展示《Qwen3.8-27B-Uncensored-Heretic GGUF 量化发布，为 12/16/24 GB 显卡保留原生 MTP 头》
GitHub 项目 itzdexy/GraftCode 发布 Graft，一款开源桌面 AI 编码 Agent 与聊天应用，支持 200+ 提供商、OpenAI 兼容端点或本地模型，无订阅无锁定。它可以编辑代码、运行检查、展示 diff、回滚更改，每回合自动设检查点；提供五种权限模式、Docker/Podman 沙箱（仅共享项目文件夹且 .git 和 .graft 只读）、多 Agent 协作图、/mission 长任务、浏览器自测、网站构建与图像生成，并一键集成 Blender、Unity、Roblox Studio、Figma、Ghidra 等及任意 MCP 服务器。
推荐理由：开源桌面 AI 编码 Agent，支持自选模型与本地部署，写明了沙箱、权限模式和安全边界，对评估同类工具的隔离设计有参考价值。
/u/Edenar 在 r/LocalLLaMA 分享了一套本地 Agent 部署：用 $500 购入的 CMP 170HX 经 cmpunlocker 解锁到 64GB 显存，通过 USB4 eGPU dock（pcie2x4）接上 Framework Desktop 128GB。Strix Halo 上跑 qwen 3.8 flash next（约 1600-1800 tok/s pp、60 tok/s tg）作主 Agent，CMP 170HX 并发跑 2 个 qwen 3.8 27b（w8a16 量化、各约 200k 上下文）作子 Agent，实际 4 小时会话聚合 1747 tok/s pp、100 tok/s tg。
推荐理由：作者给出完整硬件配置、量化方案和实测吞吐数据，可当作低功耗多卡本地 Agent 部署的参考样本。
OmniBioAI Studio 是一款 Electron 桌面应用，可一键在本地、HPC 集群或云端启动和管理完整 OmniBioAI stack。v0.8.0-beta 版本完成生态整合并强化安全基础：包括 fail-closed 的 token 撤销检查、HMAC 签名的 IAM 身份缓存、最小权限 Redis 身份、加密 MySQL 备份，以及针对外部 LLM 的敏感数据出站网关。Trusted Tool Catalog 验证、多租户生产验证和 HIPAA 对齐的技术就绪证据被有意推迟到 v0.9.0。
OmniHilbras 是一个自托管、本地优先的 AI 网关，在所有供应商前提供统一的 OpenAI 兼容端点，当前版本 1.78.0，可通过 npm i @hilbras/omnihilbras 安装。网关支持每连接独立的重试、超时、限流和 hedging 预算，密钥以 AES-256-GCM 加密存于本地 vault；实测 400ms hedging 让原本 2550ms 的请求降至 1267–1773ms。项目还给出推理模型测试误报、免费额度 429、OpenCode Zen 分路由、ChatGPT Web 与 DeepSeek Web 等 Web Cookie 接入的实测细节与风险提示，Kiro 则因条款禁止第三方代理而在卡片上标注警告。
Local_AI_Workstation 是一个基于 Electron、React 和 FastAPI 的本地优先 Windows 桌面应用，集成了 Ollama 聊天、文档与知识库、本地图像生成以及 LoRA 和角色工作流。首次安装需要 Node.js 22、64 位 Python 3.13 和 Ollama，通过 setup-windows.ps1 脚本完成配置。运行数据默认存放在 data/ 目录、模型存放在 models/ 目录，仓库提供的是开发源码而非打包安装程序。
KaletoAI 发布 ai-hub（原 llm-gateway，2026-09-08 更名），一个 OpenAI 兼容的反向代理，把 llama.cpp、vLLM、Ollama、together.ai、OpenRouter 等多个后端聚合成单一端点。网关提供自动发现、统一队列调度与故障转移、虚拟别名、调用排队（parking 代替 503）、多用户密钥与配额、/ui 管理控制台、按请求开关思维链、Claude Code 的 /v1/messages 接入，以及 ComfyUI、Meshy.ai、Tripo3D、RunPod Serverless 的图像与 3D 生成。项目地址 https://github.com/KaletoAI/ai-hub。
推荐理由：把多个本地与云端后端聚合成单一 OpenAI 兼容端点，调度、故障转移和媒体生成的做法可以直接搬去自建网关。
开源工具 TokenHound 提供 Windows 11 桌面刘海式 HUD，只读监控 Claude Code、Cursor、OpenAI Codex、GitHub Copilot、Cline 等本地 AI 编码工具的 token 消耗、限额重置窗口与 Agent 活动，采用 WS_EX_NOACTIVATE 不抢窗口焦点，空闲内存约 30–45 MB。凭据只读借用（Credential Manager、DPAPI、SQLite WAL），429 退避状态持久化，并通过本地 MCP 服务器（http://127.0.0.1:37653）以只读工具向 MCP 客户端暴露指标。项目基于 .NET 10 / WPF，MIT 许可，Z.ai GLM 与 Perplexity 支持标记为即将推出。
Mr-J-369 在 GitHub 发布 Fancy-Ai，一个完全离线运行在 Android 设备上的本地 AI 生态，采用 Apache 2.0 协议开源。它通过 llama.cpp 与 LiteRT 本地运行 GGUF 语言模型，Aura 引擎离线生成 Stable Diffusion 1.5、SDXL、FLUX.2 Klein 图像，并集成 Whisper、Zipformer 语音识别与 Kokoro 等 TTS、MiniLM 语义记忆、模拟社交网络角色世界及 PRoot 沙箱 Linux 终端，支持 CPU NEON、Adreno/Mali GPU 和骁龙 Hexagon NPU 加速。
推荐理由：完整给出了一个全离线 Android AI 生态的模块架构与后端选型，想了解本地 LLM、扩散和语音如何在手机上落地可以参考。
blofstedt 在 GitHub 开源 Autora，一个以事件日志为核心产品的 agentic harness，Agent 的浏览器、终端、桌面操作和文件编辑实时流入对话，回放与实时视图走同一条代码路径。默认关闭聊天内审批，命令即决策即执行，靠 Docker 隔离并绑定 127.0.0.1；支持接入 OpenAI、Gemini、Claude、DeepSeek 等多个提供商，附上下文缓存压缩对比数据，一次 30 步任务的请求总 token 从 288,880 降到 136,460。
推荐理由：README给出以事件日志为核心的单一代码路径设计，把实时观看与回放统一，还带上下文缓存压缩的具体开销对比。
/u/Brief-Tap-6616 发布 LlamAmpere 更新，主要面向 12GB Ampere 显卡用户，实测 Qwen3.8 27B 支持 205k-230k ctx（11GB，YaRN 下约 340K），并新增 Staged + Journaled KVaRN 变体，KLD 较论文忠实版和竞争版降低约 40%。
推荐理由：作者给出了具体 KLD 数字、ctx 长度和多张卡的实测吞吐，12GB 显存用户可以据此评估这套方案是否够用。
开源项目 esp32-voice-assistant 在 Waveshare ESP32-S3-AUDIO-Board（XiaoZhi 固件）上搭建本地语音助手，通过 Mac 上的 xiaozhi-esp32-server 调用 Ollama 运行 qwen3:8b，实现本地 STT 与 TTS。项目演示了语音天气查询功能，get_weather 工具基于 Open-Meteo，未指定地点时默认 Nampa, ID；另有一个 local-llm MCP 服务器（ask_local、list_models）让 Claude Code 把小任务交给 Ollama 处理。项目采用 The Unlicense 公共领域许可。
Luce-Org 在 GitHub 开源了 Lucebox 推理引擎，主打异构机器与消费级 GPU 上的投机推理，含 DFlash、PFlash、KVFlash、Megakernel 等自定义 kernel 优化。README 给出大量实测数据，如 Qwen 3.8 27B 在 R9700 上用 DFlash2 达 208.1 tok/s，Laguna XS 2.1 33B 在 RTX 3090 上 256K 预填充从 411 s 降至 67.3 s；支持 ROCm/CUDA 后端、Docker 快速部署和 OpenAI 兼容 API，附 Claude Code、Codex 等客户端启动脚本。项目以 Apache 2.0 许可发布。
推荐理由：仓库为每种模型和硬件组合都给出了实测推理数据并附权重链接，想在自己消费级 GPU 上做投机推理部署的话可以直接对照复现。
hanzoai/ai 是 Hanzo 云的 AI 子系统，用纯 Go 编写，提供 /v1 推理接口、按请求路由与计费，并承载 RAG 与模型中心。它托管 zen、enso、enso-ultra 和 zen5 等模型，支持 sk-* API key、hanzo.id OAuth JWT 或自有 provider key 三种鉴权方式。"model":"auto"（别名 zen-router）可将请求按代码、推理、数学等任务类别路由，账单按实际服务的模型计算，可通过 ROUTER_ENABLED=true 或 conf/models.yaml 启用。项目采用 Apache-2.0 许可，可用 docker run ghcr.io/hanzoai/ai:vX.Y.Z 自行部署，托管实例为 api.hanzo.ai。
GitHub 用户 yuhanbae 发布了 llm-compute 仓库，描述为基于 llama.cpp 的面向 pi 的无审查 LLM 推理算力。仓库目前 0 stars、0 watchers、0 forks，无 Releases、Packages 和 Contributors 信息，仅包含 .github/workflows 目录。
PUCPR 人工智能本科课程项目 SkillGraph 是面向虚构企业 NexaTech 的技能与学习管理助手，结合 RAG（Dify + Weaviate）、LM Studio 本地 LLM、DuckDB 结构化查询与 Streamlit 对话界面。系统通过 guardrails 屏蔽敏感数据、prompt injection 和破坏性 SQL，并使用 FLAML + O*NET 31.0 实现学习路径推荐。项目为学术原型，数据为合成数据，不支持真实认证与 HR 决策。
codavidgarcia 发布 Qwen3.8-27B-Uncensored-Heretic 的 UD GGUF 量化，采用 Unsloth 逐张量配方，MTP 头（blk.64）在各档保持 q6_K/q8_0，使模型连同原生 MTP 完整装入 12/16/24 GB 显卡。实测 16 GB UD-IQ4_XS 的 KLD 比可容纳 MTP 的同类量化低 2.4 倍，RTX 4080 上开启 MTP 后代码生成 55 tok/s，约为关闭时的 1.9 倍；拒绝率数据来自 llmfan46 的 Heretic v2（3/100 拒绝），本仓库未复测。
推荐理由：作者对每档量化都实测了 KLD、top-1 命中率和解码速度，并与同权重其他量化逐项对比，数据可直接用于选型。
GitHub 上的 MonkeyCode Nexus 项目将浏览器变成一体化 AI 开发环境，提供持久化的云端工作区。它内置智能路由，可按任务类型把请求分配给 GPT-4、GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro 以及 Llama 3.1、Mistral 等开源模型。平台支持响应式 UI、实时协作与代码审查，开发环境经沙箱隔离，数据传输加密。
OmniScribe 是一个 MIT 开源工具，可将扫描 PDF 和照片转为可搜索、可复制的 sandwich PDF，默认本地运行，无需注册或厂商 API key，视觉模型可自选。它通过 Surya 版面检测加 VLM OCR 的混合流程生成带隐藏文本层的输出，支持导出 Markdown、JSON、DOCX 等 RAG 友好格式。7B 级 Q4 模型在 8 GB GPU 上单页处理需数秒到数十秒，也可接入 Ollama 或其他 OpenAI 兼容服务。
一位 Reddit r/LocalLLaMA 用户求助：其双 Xeon（AVX1）+ DDR3 + 3060、P100、3050 的异构系统上，Strata 引擎的 GLM 5.3 Flash 各个 fork（含 GSQ-CRO 量化与 unsloth Q4）均无法运行，希望有人帮忙或推动 Strata 官方支持 GLM 5.3 Flash。
mjasnikovs 发布 pi-task，为本地模型提供确定性规格编排，把请求拆成 refine、research、grill、compose、critique 固定阶段，每阶段状态持久化到 .pi-tasks/TASK_NNNN.md，崩溃或取消后可用 /task-resume 恢复。工具提供 /task、/task-plan、/task-auto 等命令，附带 pi-worker、搜索、抓取和文档查询四个并行子 Agent 工具，研究阶段在隔离子会话中运行以保持主上下文干净，并有循环检测器和失败分类器处理小模型的卡死与重复输出。需 pi（Earendil coding agent）≥ 0.87，用 Bun + TypeScript 构建，4770 个测试通过，AGPL-3.0 许可。
开源项目 whiteboardy 是一款原生桌面应用，可生成限时练习题、按预写隐藏评分标准打分，支持系统设计和编码两种模式。它默认通过 Ollama 完全本地运行，也可接入 Anthropic、OpenAI、Google 的托管模型，7-9B 及以上模型可用，推荐 qwen3.5:9b。项目目前为 Beta，评分校准未经跨模型验证，会话格式尚不稳定，采用 Apache-2.0 许可证。
mradermacher 在 Hugging Face 上提供 Ostrich-27B-261008-Qwen3.8-Abliterated-i1-GGUF 模型，支持 Q2_K 等量化格式。用户可通过 llama.cpp 本地部署，兼容 LM Studio、Ollama、Pi、Docker Model Runner、Lemonade 等工具，并提供 OpenAI 兼容的本地服务器。