新闻、仓库与研究，按时间排列。
GitHub 新仓库 Black Dice Engine 是一个本地优先的 AI Game Master 引擎，可将 Windows 游戏 PC 变成桌游 RPG 指挥中心，提供 GM 实时叙事、玩家手机角色卡、确定性骰子与游戏状态追踪、战役记忆和本地场景生成。项目通过本地模型适配器对接 Ollama、KoboldCPP 等推理运行时，并经 ComfyUI 路由本地图像生成，数据与私有素材保留在仓库之外。目前处于早期原型阶段，已含 Node/TypeScript 游戏服务器、GM 仪表盘和玩家伴侣端外壳。
一位 r/LocalLLaMA 用户拥有 140TB 存储和搭载 640GB A100 GPU 的服务器，在 Hugging Face 被接管后打算下载最重要的模型，已计划包括 GLM5.3 (Flash)(abliterated) 和 DS4 Flash 等，并询问还需保存哪些模型和量化版本以备将来使用，也想涉足图像和视频模型。
一位 r/LocalLLaMA 用户拥有 140TB 存储和搭载 640GB A100 GPU 的服务器，在 Hugging Face 被接管后打算下载最重要的模型，已计划包括 GLM5.3 (Flash)(abliterated) 和 DS4 Flash 等，并询问还需保存哪些模型和量化版本以备将来使用，也想涉足图像和视频模型。
用户在 Epyc 7402P、256GB DDR4 ECC 3200 八通道内存平台上测试了四张 R9700 运行 Strata 和 DeepSeek Flash-V4.1-1017 IQ2_XS，发现受 R9700 内存带宽偏慢影响 prefill 环节最耗时，且系统内存占用偏低。Radiance 曾将 Flash Next 在 R9700 上的 prefill 和 tok/s 性能提升 3-4x，Niko 表示该优化将很快进入 Strata。
一位 r/LocalLLaMA 用户在运行 Swift 1.5 Qwen Flash Next 的 GSQ RCO IQ3XXS 量化版本，但因模型偶尔拒答，想再准备一个 Abliterated 版本，仅在少数场景下使用。由于存储空间只剩不到 1TB，他询问能否只下载两个版本之间变化的权重并合并，避免完整双份下载。
Reddit r/LocalLLaMA 用户咨询：以 550 美元购入 Dell PowerEdge R820（4x Intel E5-4640 CPU、768GB ECC RAM、2x 146GB HDD）并加装 GPU，用于大模型推理是否划算。考虑到 DeepSeek MoE 模型激活参数已降至 8b/16b，他想验证这种单机大内存方案是否可行。
tom1030507 在 GitHub 发布 OpenNotebookLM，一个自托管的 Google NotebookLM 替代品，支持导入 PDF、Word、网页和 YouTube 字幕并基于来源给出带引用的回答。文档、嵌入向量与对话存于本地 SQLite，混合检索用 sqlite-vec 加 FTS5/BM25 并以 RRF 融合，支持 CJK 分词；LLM 可接 Claude、OpenAI 兼容 API 或本地 Ollama/llama.cpp/vLLM，未配置 provider 时返回 model_used 为 fallback 的抽取式回答。
推荐理由：README写清了混合检索、嵌入模型内存占用实测和未配LLM时的抽取式回退，读者可据此判断这个自托管 NotebookLM 替代品的实际能力边界。
GitHub 上的 HAYAT 是一个运行在用户自己电脑上的 Windows 本地优先 AI 助手，基于 Ollama 运行 HAYAT-35B-A3B（Qwen3.6-35B-A3B，约 3B 激活参数）模型，无需云端账号和付费 API。它支持语音对话、网络研究、摄像头与屏幕识别、Windows 应用控制、图像视频生成和长期记忆，外发操作需用户批准，另有 2.5-4.3 GB 的 HAYAT-Open-4B 轻量模型可选。
ps5lm_ha 是一个 Home Assistant 集成，可在越狱 PS5 的 GPU 上通过 llama.cpp 按需运行本地 LLM 推理，并提供 OpenAI 兼容 API，Qwen 3.5 9B Q6_K 约 45 tok/s。它会通过 Remote Play 唤醒主机、登录并启动 PS5LM（模型加载约 2 分钟），完成后送回待机模式，支持模型切换与以开关和服务形式接入自动化，无需云端和额外 Python 包。
作者发布 tether-sdk（GitHub igormcsouza/tether），一个默认零工具加载、面向小模型与小上下文窗口的 headless Agent 框架，通过单一 act(cmd, stdin) 命令通道、SQLite WAL 状态存储与 FTS5 BM25 检索、bwrap/unshare 内核沙箱和显式 done 终止门来降低 token 开销。在自主制作 YouTube Short 的基准中，同一 claude-sonnet-5-5 在 Tether 内消耗 5,318 tokens（48.7s），而 Claude Code CLI 消耗 211,355 tokens（97.4s）；本地 8B 模型 gemma4:e4b 仅用 3,073 tokens（53.1s）。
推荐理由：作者用同一 claude-sonnet-5-5 对比 Claude Code，同一模型 token 从 211,355 降到 5,318，且附了本地小模型实测与失败原因。
GitHub 上的开源项目 visa-rag-llm 是一个本地优先的加拿大移民（IRCC）问答助手，基于 Ollama 的 llama3.2:3b 模型与 ChromaDB 检索，答案以 canada.ca 官方页面为准，资金证明、CLB 分数换算等硬性规则由规则引擎以代码计算。当前为可用的本地 MVP（非生产就绪），63 题评测基线通过 52 题，并提供输入/输出护栏、JWT 认证与 PII 脱敏等安全机制。
manu69x 发布 Trans v0.1.0-alpha，一个本地优先的 LLM 辅助文学 CAT 翻译工作台，支持将英文小说或文章结构化为章节与分段，构建受控术语表和翻译记忆，逐块翻译并人工审核批准。推理仅通过用户自控的 OpenAI 兼容网关（llama.cpp、vLLM、LM Studio 等），无云服务、无遥测；支持 PDF 导入与 OCR 回退、BookNLP 实体抽取、术语约束翻译、分段质量评估，可导出 DOCX、EPUB、PDF/HTML 及 XLIFF/TMX/CSV。技术栈为 Next.js + FastAPI + PostgreSQL/pgvector + Celery + MinIO，Docker Compose 部署，MIT 许可，当前处于 alpha 阶段，已用于真实英译意文学工作。
推荐理由：原文给出了完整的架构、端口和配置清单，读者可以据此评估这套本地文学翻译工作台是否适配自己的部署环境。
roloVibes 在 GitHub 开源 Halo Harness（v3.2.1.0），一个 Claude Code 兼容的多模型 Agent harness 与编排平台，支持 OpenRouter、Databricks、Anthropic、OpenAI、Ollama、Hugging Face 等端点，并用 /model 在会话中切换模型。它直接读取 ~/.claude 现有设置、skills、commands 和 MCP 服务器，配套浏览器控制台 halo studio 可实时观看各 Agent 的思考、工具调用与成本，还提供 Fleet 跨机器协作和 Orchestra 多 Agent 并行写同一文件的能力，MIT 许可。
推荐理由：开源的 Claude Code 兼容 harness，可复用现有 ~/.claude 配置并在多提供商间切换模型，适合想保留工作流又自由选模型的开发者。
开源项目 Buddy 发布 Android 应用，通过悬浮窗让 Claude Code、Codex、OpenCode、Antigravity 或 Grok 直接操作手机，支持读屏、点按、输入语音等任务，无需 PC、adb、root 或 API key。智能体运行在应用内的 Alpine Linux（proot）中，通过 127.0.0.1 的本地 MCP 服务器调用无障碍服务的手机工具；发送、支付、删除等操作须用户审批，且从不输入密码。要求 64 位 Android 11+，可在 Google Play（封闭测试）下载或获取 APK，版本 2.2，采用 Apache-2.0 许可。
推荐理由：原文讲清了让 Claude Code 等智能体在 Android 上直接操作屏幕的架构与权限做法，含本地 MCP 和审批兜底等可迁移细节。
Reddit 用户发布针对 Jetson AGX Orin 64GB 优化的 Strata v0.1.45 分支，主要运行 Qwen3.6-35B-A3B。在 llama.cpp 中启用采样 MTP-2 后，短提示测试解码速度达到约 40-41 tok/s，高于 MTP-3 时的约 21 tok/s 和早期 Strata 的约 30 tok/s。该分支还包含统一 INT8 KV cache、prefix checkpoints 和可选 KV 预分配，作者称结果来自自用环境并寻求反馈。
开发者发布 Vocs，一款在 macOS 上用 whisper.cpp（large-v3-turbo）完全本地运行 Whisper 的听写应用，可将文本粘贴到任意应用。音频按静音边界分块边说边解码，短片段按实际长度开窗解码约提速 8 倍；还做了 [BLANK_AUDIO] 等音效标签剥离、重复循环检测重试、Rust 后处理（标点、大小写、口语命令、自定义词典）及约 120 MB 本地语法模型。转写路径无网络请求，macOS 13+，MIT 协议，基于 Tauri 和 Rust，源码在 GitHub。
推荐理由：开发者给出了流式分块解码和短片段约 8 倍加速等具体实现细节，本地语音听写方案有可参考的工程做法。
一位刚接触 SillyTavern 的新手发帖求指导：不想付费订阅 AI，想知道有没有免费 API 模型可接入 SillyTavern，以及自己的配置（RAM 16GB、RTX 3060 12GB、i5-12400F）能跑什么本地模型。他还担心运行本地 AI 会损耗电脑，希望有经验的用户分享免费模型的搭建经验。
3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化版，目标模型采用 affine 2-bit/group-128 重建，搭配 Inco AI 的 BF16 DFlash2 草稿模型，完整下载 74.048 GB。在 M1 Max 64 GiB 实测中，代码与数学 warm 解码达 37.62 和 33.69 tokens/s，约为基线的 1.70× 和 1.56×，文本仅 1.048×；固定 50 题 GSM8K 子集全部答对且与原生参考一致，进程峰值内存 42.12 GiB。
推荐理由：作者实测了 M1 Max 上代码与数学解码的加速倍数和内存峰值，并给出 32/48/64 GiB 的可行性判断，便于评估本地部署。
Hugging Face 用户 3hs4n 发布 Qwen3.8-Flash-Next-Uncensored 的 MLX 优化量化转换包，基于 360 GB BF16 源检查点，专家投影采用 affine 2-bit/group128，其余投影为 8-bit/group64，文件约 72.8 GB。验证含 50 题 GSM8K 子集、烟雾测试（15/18 通过）及文本生成约 23.5 tokens/s 的计时结果；模型采用原生 qwen4_exp 多模态实现，可配合 run_qwen38_unsloth.py 以 16384 上下文运行。
YukiUmetsu 的 ai-content-generation 仓库发布 ContentGen 规范：一个本地优先、研究驱动的内容生产工作室，目标平台为 Apple Silicon M4、24 GB 统一内存，后端 Rust/Axum/SQLite、前端 React/TypeScript。新增可选的 YouTube 细分监控功能，使用 YouTube Data API v3，密钥存入 macOS Keychain，默认关闭且限制 10 个细分、24 小时内 20 次 API 搜索、缓存 30 天过期。域名/后端规范尚未实现，前端基础可在 apps/web 运行。
基于本地 vLLM 部署的 Qwen2.5-1.5B-Instruct 构建批量商品卡片生成服务，对 300 个商品生成五键结构卡片，三次重试将格式有效率从约 0.40 提升到 0.903，retry_rate 为 0.497。参数实验显示 repetition_penalty 1.05 在 dev 上更好但全量跑降至 0.820，最终弃用。API 对比中 OpenRouter 上的 openai/gpt-oss-20b（reasoning_effort=low，max_tokens=500）在 30 个商品上全部有效，按 20 ₽/60 ₽ 每百万 token 计费约 34.677 ₽/1000 张卡片。
9router-api 是一个独立 LLM API 服务器，将 9router 代码库作为库使用，剥离 Dashboard UI（Monaco editor、Recharts），去除 React SSR 开销后内存占用从约 300-500MB 降到约 100-150MB。它提供与 9Router 相同的 LLM 代理端点，包括 OpenAI 兼容的 /v1/chat/completions 及基于 SSE 的控制台日志流，需 Node.js 20+ 并依赖 9router 主应用，可用 PM2 管理。
meshapplied 发布开源工具 Goethe，可将带 NVIDIA GPU 的 Linux 机器变成自托管 API，兼容 OpenAI、Anthropic 和 LiteLLM 客户端，数据留在自有硬件上。模型基于 SGLang 运行，支持 continuous batching、prefix caching 和 CUDA graphs，并内置面向 Blackwell、Hopper、Ada 和 Ampere 的 NVFP4 内核，4-bit 模型显存占用约为全精度四分之一；支持按客户端发 key、限速与撤销，模型重启后自动恢复加载，仓库采用 Apache-2.0 许可，链接 https://github.com/meshapplied/goethe。
推荐理由：原文给出了从安装到共享 API 的完整命令流程，并说明基于 SGLang 加自研 NVFP4 内核的推理方案，便于自建 GPU 推理服务时参考。
GitHub 仓库 hslimi/night-thoughts 收录关于本地 AI、Apple Silicon、Agent 与软件系统的技术文章及配套可复现实验，主阅读站点为 nightthoughts.me。内容涵盖 MLX 上的推理、微调、评估与部署，以及可检视的 Agent 工作流。配套实验放在 experiments/ 目录下，每个实验须自带 README、复现命令与评估说明。
minillm 是一个用 C++20 编写的 LLM 推理引擎，目标模型为 HuggingFaceTB/SmolLM2-135M（Llama 架构，safetensors 权重），全程 fp32 计算，强调正确性优先于速度。每个内核都有与 PyTorch 核验的朴素标量参考实现和与之核验的优化版本。项目依赖极少（doctest 与 nlohmann/json 由 CMake 获取），checkpoint 约 270 MB，基准测试输出 prefill/decode 吞吐（tokens/s）与峰值 RSS，CI 在 Linux 和 macOS 上以单条命令运行完整流水线。
saya-ch 在 GitHub 开源 keyless-llm，把 4 个免鉴权来源共 29 个免费模型聚合成一个本地网关，改一个 base_url 就能让 OpenAI / Anthropic / Responses 兼容客户端使用。网关提供 auto 伪模型做跨来源失败转移与评分调度，提供按来源隔离的冷却状态机，实测 8 次连续 auto 请求全部成功。来源清单维护跑在 GitHub Actions 上，agent 只负责搜索候选，是否免鉴权由无鉴权头实测脚本判定，429 记为 limited 收录、401/403 拒绝。
推荐理由：把免鉴权免费模型聚合成一个本地网关，还把来源清单维护拆成 agent 发现加脚本实测两层，方法可直接迁移。
开源项目 llm-style 是一个本地优先的个人穿搭应用：通过 Ollama 运行的小模型（dolphin-mistral:7b）担任造型师，先由确定性引擎从 SQLite 衣橱中按天气和场合筛出约 20 个候选，再由 LLM 做最终选择；gemm3:4b 视觉模型可通过照片分类衣物。衣橱数据和推理全部保留在本机，支持多人衣橱、情侣搭配模式，并可作为 PWA 安装到手机。
GitHub 仓库 LocalCoder RTX 发布，这是一个完全在开发者本机运行的 AI 编程智能体，结合本地 LLM、工作区感知的工具循环和浏览器/CLI 界面，无需将代码发送到云端。它通过 Ollama 托管模型（推荐 qwen2.5-coder:3b 或 7b，上下文 4096），提供文件读写编辑、shell 命令审批、自动备份和工作区隔离等安全机制。该项目还可用于微调数据集构建、智能体轨迹收集和本地 LLM 评测。
devops-cli 是一个命令行工具，提供 GitHub 仓库克隆、SSH 密钥轮换（默认 90 天）、devcontainer 管理和 Kubernetes 集群操作等子命令。其 k8s 模块支持用 Minikube 引导集群，并可部署含 Ollama、WebUI、Qdrant、Valkey 的 LLM 基础设施栈，还能在 OS keyring 与集群 Secrets 间同步凭证。
一位用户让本地运行的 Qwen 3.8 27B（在一台二手游戏 PC 上）自选项目并一次生成完成，模型成功产出了北美 IQ 热力图的交互式网站。作者将截图发到 Reddit 后，网友指出方法不够严谨、配色过时、五大湖轮廓缺失等问题。作者强调重点是本地模型能一次性完成整个项目。
一位用户拥有一台 2018 年左右的 HP Z8 工作站，配备双 Xeon Gold 6248R CPU、768 GB 2933 MHz DDR4 内存和 RTX 3090 GPU，询问这台旧机器在本地 LLM 场景下是否还有用武之地，还是只能闲置装箱。
HAYAT 35B-A3B Uncensored (GGUF) 上架 Hugging Face，是 Windows 本地优先 AI 助手 HAYAT 的主模型，权重与 HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive 完全一致，基于 Qwen3.6-35B-A3B，HAYAT 仅添加含系统指令与采样设置的 Modelfile。
Sagarkun 发布 Qwen-Image-2.1 Uncensored 的多格式量化版本，基于 Qwen/Qwen-Image-2.1 原始权重，提供 GGUF、Safetensors 和 MLX 格式，其中 Q4_K_M GGUF 仅 4.60 GB 且被推荐为体积与质量的最佳平衡。该版本无内置安全检查或内容过滤，可直接生成成人及敏感图像；文本编码器可卸载至系统内存以节省 9–17 GB VRAM，需搭配 ComfyUI 与 ComfyUI-GGUF 使用，采用 Qwen Research License。
sanasol2008 基于 orcarouter/Qwen3.8-Flash-Next-Uncensored 的 BF16 权重制作了 Sushi 格式 3bpw 实验性量化包，路由专家采用 EXL3 K3 编码，未额外做 abliteration 或微调。完整下载约 79.22 GiB，在 Apple M3 Max 48 GiB 上冷解码 11.88 tok/s、热解码 12.88 tok/s，慢于 2bpw 版本；校准误差相对 2bpw（相对 Frobenius 误差 0.029 对 0.064）更低，支持 262144 上下文配置上限。
一位 r/LocalLLaMA 用户测试了 Supra-Mini-v6-1M 等微型模型，发现 1M 参数级别模型以 "Once upon a time" 为提示词的输出语法混乱、语句不通，达不到“基本通顺英语对话”的要求。该用户希望找到 10M 以下参数、适合 CPU 运行的最小 LLM，并在帖中询问何种微型模型和最小参数量能获得更好效果。
fgilde 在 GitHub 开源 Nextended，一套包含 19 个 .NET 库的工具套件，前身为 nExt，现已支持 .NET 8、9 和 10。套件涵盖扩展方法、自定义类型（Money、Date、BaseId）、缓存、EF Core 扩展、ASP.NET Core 响应过滤、Roslyn 源生成等。还提供多个 .NET Aspire 托管集成，包括 Supabase、n8n、Grafana、LocalAI 及带 MCP 端点的 WebDataStudio 数据库工具。
Qwen3.8-27B-abliterated 的 NVFP4 GGUF 量化版本（27B 参数）已在 Hugging Face 上架，支持 image-text-to-text 多模态输入。文档给出 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker 等多种本地部署与 OpenAI 兼容 API 调用方式。
一位开发者在 r/LocalLLaMA 分享了自研本地 AI 一体化应用 Hutash：它类似 ComfyUI 但无需复杂节点，内置自研引擎，提供 Openart AI 风格的免费工作室体验、Pinokio 式应用商店，并自定义 .hutash 模型包格式，字幕、播客等垂直应用可共享模型资源，还支持 CLI 和 MCP 以实现自动化与智能体调用。团队仅两三人且缺乏反馈回路，现已发布数个版本但不知该往哪个方向聚焦，怀疑自己是否过度工程化。
abenzerps 发布 XHToken/Spark-X2.6-4B 的混合精度 GSQ-RCO GGUF 量化版，面向 llama.cpp 本地推理。RCO 将 36 个 sigmoid 注意力门控和 9 个全局注意力投影保留为 BF16，GSQ 依 Hessian 灵敏度校准优化每层精度，推荐 IQ3_M（2.28 GB）。4-bit KV cache 下 131k 上下文约需 3.5–4 GB 显存，支持 llama.cpp 与 Ollama，采用 Apache-2.0 许可。
giovi321 在 GitHub 发布个人自托管医疗记录工具 Asclepius，用 OCR 加 LLM 把 PDF、扫描件、DICOM 影像整理成可搜索的病历，支持化验指标跨语言归一化、时间线视图和 RAG 问答。可对接 Ollama、vLLM、Claude 或 OpenAI，单 Docker 容器部署，另提供仅暴露医生分享面的 sibling 容器，分享采用一次性链接加 6 位 OTP、带水印防下载查看器，并记录完整审计日志。项目采用 MIT 许可，作者提醒个人使用场景下登录无速率限制、聊天功能存在 prompt injection 风险，公网暴露需加 OIDC 或 VPN。