新闻、仓库与研究，按时间排列。
wckdboy 在 GitHub 发布 Autobot 1.7，一个隐私优先的 Android/iOS AI Agent，通过 llama.cpp 在设备上运行聊天、Agent 和代码会话，图像走 stable-diffusion.cpp、QNN 或 Core ML，语音用 whisper.cpp。默认离线并带 kill switch 和审计日志，云端请求先做脱敏并附隐私回执；双端共享 Kotlin Multiplatform 核心，支持 Qwen3、Llama 3.2 等本地模型目录、投机解码（M3 Pro 上 Qwen3 4B+0.6B 在代码任务达 1.64x）、MCP 服务器和 .autobot 加密导出。Snapdragon 加速路径针对 8 Elite Gen 5 构建但尚未在真机验证。
推荐理由：README 详细写明了离线默认、审计日志、加密存储等隐私机制和 NPU/GPU 加速路径，读者可据此评估这个双端 AI Agent 的实际可用性。
w0rldx 在 GitHub 开源 XE Local AI Engine，当前版本 1.0.0-rc.2，Apache-2.0 许可。单个 ASP.NET Core 进程提供 React 管理 UI、仅 loopback 的 API 和 SignalR，用 SQLite 加密存储，并监督 llama-server、sd-server、whisper-server 子进程做推理，默认运行时为 llama.cpp，可选用 Ollama、stable-diffusion.cpp、whisper.cpp 或云服务商。支持 Windows Portable.zip 和 Linux AppImage 便携自更新安装，提供外部 Agent 通过 MCP 服务器完成安装与运维的 Agentic Support 流程。
推荐理由：README 把进程架构、运行时选项、安全边界和开发流程都写清了，读者可据此判断这个本地 AI 引擎适不适合自己的部署场景。
GitHub 仓库 thereven3947/data-to-decision-ai 展示了一套小规模闭环"变化智能"系统：将原始配置与运行变化转为带标签的 change stories，由本地开源 LLM（在 Mac mini 上通过 Ollama 以 Metal 原生运行）驱动的只读 Copilot 用自然语言解释，并以人类反馈校准各层。ML 负责分类标注（不确定时弃权交人工），LLM 从不标注。系统以智能家居为演示域、刻意映射电网运维场景，仅本机运行、默认私有，M1–M10 已跑通，M4-04 等里程碑仍在进行。
LucianoDPerez 开源了 AgentDevs，一个完全本地运行的编码智能体，用 llama.cpp 跑本地模型，通过 analyze/plan/execute/review 角色化流程分析、规划、实现并审查代码，关闭任务前强制跑 lint/tests/build 验证。它内置 inspect_routes、inspect_models 等高密度工具以减少小模型的推理步数，集成 codebase-memory-mcp 知识图谱理解项目架构，支持 OpenCode 云端模式作为替代。
开源工具 QuickHatch 能扫描 Windows 系统、询问偏好后用 AI 生成迁移计划，并通过 SSH 在目标 Linux 机器上自动安装配置桌面环境、驱动、应用和用户账户。它支持 Claude API（claude-opus-4-6 / claude-sonnet-4-6）、OpenAI API、LM Studio、Ollama 等提供商，本地推荐 Gemma 4 26B。项目采用 MIT 许可证，作者提醒 AI 会以 root 执行命令且存在提示词注入风险，建议先在 VM 中测试。
开发者 /u/indrasmirror 发布了基于 Strata 的推理引擎 Xolotl，可在单张 RTX 4090（24GB）加 90GB DDR4 和 NVMe 的游戏 PC 上运行 552B 的 DeepSeek-V4.1-Flash，权重分布在 VRAM、锁定内存和 NVMe 中并按 token 按需拉取专家。实测 27 tok/s 解码、180-320 tok/s 预填充、512K 上下文、HumanEval 21/21、工具调用 10/10、agentic 修 bug 3/3，同一引擎还能跑 GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B。
推荐理由：作者给出了单张 RTX 4090 跑 552B 模型的具体配置和实测吞吐数据，方案可直接复现。
作者分享在 Mac Mini M5 64GB 上通过 SSD 流式运行 Qwen Flash Next（Unsloth UD-Q4_K_XL 量化）的实测结果，模型无需占满内存即可运行。prompt processing 采用 carousel buffering 机制，decode 使用训练出的 lookahead 模型提前从 SSD 取专家；满内存约 29 tks 解码，减 4GB 后约 26 tks，非 LLM 服务空间低于约 18GiB 会出现 swap。项目地址 https://github.com/skeggsguy/Flash-next-ssd。
/u/Distinct-Pie2389 在把 Strata 从 IQ2_XS 迁移到 Unsloth UD-IQ4_XS 时发现，0.1.45 之前的版本在请求未设 temperature 且 run config 无 sampling 块时会贪心解码导致模型循环，0.1.45 起改为使用模型卡默认值（thinking: temp 1.0, top_p 0.95, top_k 20）。
推荐理由：作者给出自己 A/B 实测的解码速度与 KL 数据，并附上可直接抄进 run config 的采样与路由参数。
Reddit 用户 /u/StayLameBro 将两台游戏 PC、一台 M4 Pro MacBook 和两台 iPhone 17 Pro Max 通过 Ethernet 和 USB-C 串联，分布式运行 48 层、每层 512 专家的 MoE 模型 Qwen3.8 Flash Next。实测 60k 上下文写入 37-39 tok/s、读取 856-895 tok/s，靠流水线投机采样平均每步产出约 2.2 个 token；另一布局单次读取超 164k token，完整 262k 布局在筹备中，代码将发布于 github.com/StayLameBro/backburner。
推荐理由：作者用五台家用设备串行跑 MoE 大模型，给出了各设备分层方案和不同上下文长度的实测速度，方法可复现。
作者与 Claude 合作开发了 Red Curtain，让官方要求 48 GB NVIDIA 显卡的 Fish Audio Drama 3 在 RX 9070 上运行。方案将 35B MoE（每 token 约 3B 激活）的 FP8 专家（约 32 GB）留在系统内存、按需缓存到 GPU，其余以 BF16 运行，实测加载约 17 秒、占用约 11–12 GB VRAM 和 35 GB RAM，生成 3.3 秒语音需约 13 秒，慢于实时但适合短音频。附带 Web UI 支持参考音频克隆、多说话人脚本和与 Fish 官方编辑器相同的标签；已知问题是偶发首句后静音，属 Drama 3 本身问题而非 AMD 移植所致。
Reddit 用户为 antirez 的 ds4 项目提交 PR #1225，加入对 DeepSeek-V4.1-Flash-1017 的支持，涵盖其新 engrams 和更新的 vision tower，并校验视觉与语言模型文件配对、拒绝混搭。该版本约 40% 的 routed expert 张量、30% 的 engrams 和约 50% 的 vision tower expert 张量有改动，架构不变，ds4 量化的文件可直接加载且对旧 checkpoint 无回归。作者还将上传面向 128GB 内存的 Q2-Q8 混合量化，在 M5 Max 上预计约 20tps 解码。
Reddit 用户 /u/Distinct-Pie2389 把内存从 32GB 升到 64GB DDR5-5800 后，在 RTX 4090 24GB 单卡上用 Strata 0.1.45 将 Qwen3.8-Flash-Next 从 IQ2_XS 换成 UD-IQ4_XS，40GiB 专家权重驻留内存、0 次磁盘读取，262K 原生上下文下解码 87-98 t/s，136K 针测试通过，专家缓存命中率约 91%。对比 IQ2_XS 的 140-160 t/s 牺牲了速度，但按 Strata 量化表 UD-IQ4_XS 与 Q8_0 顶部 token 一致率达 88.9%；作者还发现 STRATA_ROUTE_TAIL_SKIP=7 在内存预算模式下使对 Q8_0 的 KL 翻倍，已设为 0。
推荐理由：作者给出从 2-bit 升到 4-bit 后的完整量化档位、显存内存分配和实测速度对比，可迁移到自己的本地部署配置。
Unsloth 在 Hugging Face 发布 DeepSeek-V4.1-Flash-1017 的 Unsloth Dynamic 3.0 GGUF 量化版，1-bit 可在 128GB+ 内存设备运行，3-bit 需 256GB，全精度需 320GB。该模型为 DeepSeek-V4.1-Flash 的小幅更新，官方基准显示推理、编码、Agent 和视觉任务均有提升，如 Terminal-Bench 4.0 得分 42.3 对上一版 31.2；模型采用 MIT 许可，支持 1M token 上下文，需使用 llama.cpp PR 或 Unsloth Desktop 运行，prompt 编码由 encoding.py 与 deepseek-recipe 工具库提供。
推荐理由：官方模型卡附上了与 DeepSeek-V4.1-Flash 及多个竞品的具体基准对比，以及量化档位对应的内存需求，可据此评估该版本的实际收益。
GitHub 上发布了一个基于 Streamlit、由 Ollama 驱动的 SEO 内容生成工具，支持波斯语 RTL 排版、批量处理，并可导出 Excel/JSON 格式。仓库当前处于早期阶段，暂无 star、watch 或 fork 数据。
vedevpatel 发布 rajaykumar12959/qwen3.8-27b-abliterated 的 imatrix GGUF 量化，该模型移除了拒绝行为，可回答原版 Qwen3.8 拒答的请求，目标在 16 GB 显存上用 llama.cpp 运行。每个量化均与 BF16 原版对比：MMLU-Pro（4200 题、5-shot、thinking off）差异均在 95% 置信区间内不显著，BF16 为 79.60%；WikiText-2 KL 散度显示 IQ3_M 漂移比 4-bit 量化高 3.3–3.8 倍。
推荐理由：作者对每个量化版本都给出了与 BF16 原版的 MMLU-Pro 和 KL 散度对比，还实测了 16 GB 显存下的上下文与速度表现。
GitHub 仓库 SHERMANM4765/NLP-Lab7-Comprension-Ordenes 用于通过 Ollama 运行低资源大语言模型，实现语音命令理解。仓库包含 fase1 至 fase5 多阶段脚本、音频生成与转录、模型对比和评估文件，目前 0 stars、0 forks，无发布版本。
MusicJapanLLC 在 GitHub 公开 music-japan-cloud-inference，一个隔离的 GitHub 托管 Linux 计算实验室，用于可复现的开放权重 LLM 实验，仅使用开放模型和公开代码，不涉及公司私有源码、数据库或客户数据。GitHub 公共标准托管 runner 的 CPU 资源免费，零新增费用；Kaggle/Colab/ZeroGPU/Lightning 等实验性 GPU 服务另行处理，未经验证不承诺 GPU 配额。runner 为临时性质，仅仓库和源码持久保存。
clocksmith 发布 doppler，一个通过 WebGPU 在本地执行模型的 JavaScript 库，支持生成、嵌入向量、重排序和选择打分，并按模型和主机分别验证。提供 npx --package doppler-gpu@0.6.1 的 quickstart（模型 gemma3-270m），浏览器与 Node 支持分开验证；模型目录涵盖文本与多模态生成、扩散语言模型、翻译、嵌入、重排序、蛋白质与核苷酸编码器，对比记分板将吞吐与加载分开报告，W8A8 仍为实验性，选择分数未校准，许可证为 MIT。
推荐理由：原文给出 quickstart 命令、支持矩阵与按模型和主机限定的验证方式，读者可据此评估在浏览器或 Node 里跑本地模型的可行性。
Rainbow Technology 开源了 ollama-run，一个 Ollama 高级编排器，支持实时思考显示（ON/FORCE/OFF 模式）、内置 Web 搜索与 shell 执行等工具、可激活的 AI 技能（code review、翻译、SQL、安全等）、持久历史记录及 matrix、dracula 等视觉主题。支持 Linux、macOS、Windows、WSL 安装，也可通过 npm 全局安装，仅限个人非商业使用。
论文提出让手机 NPU 承担 LoRA 微调中全部三次冻结权重乘法的系统，训练图、适配器和优化器留在 CPU，并复用常驻权重切片和反量化器实现输入梯度计算。系统按梯度敏感度选择精度并为 FP16 输出加逐行范围保护，支持可恢复执行和热节流以作为后台任务运行，在两款 Qualcomm Snapdragon 平台上用 Qwen 和 Llama 四个模型、夜间个性化工作负载和 LaMP-2 基准做了评估。
推荐理由：论文给出在手机 NPU 上跑通 LoRA 一阶训练的系统做法，涉及输入梯度实现、精度选择和端侧个性化工作负载，思路可迁移。
在 Linux 上，AllTalk 安装器自带的 PyTorch 2.2.1 不支持 RTX 50 系列显卡，作者在 Fedora 44、RTX 5060 Ti 16 GB 环境下验证：在 AllTalk 环境内改装 torch 2.7.1 cu128 即可修复，无需改任何代码。可选安装 DeepSpeed 后，同段文本生成时间从约 10.4 秒降至约 8.5 秒，提速约 18%。文中还提醒不要重跑 atsetup.sh 的 requirements 选项，否则会回退修复。
Hugging Face 上发布 Xing4.0-29B-A4B 的 Abliterated 版 GGUF 量化，基于 huihui-ai/Huihui-Xing4.0-29B-A4B-abliterated，采用逐 tensor 混合精度布局，文件 13.76 GB（3.42 BPW），WikiText-2 PPL 7.7238，较 BF16 源（7.3060）仅上升 5.71%，达 Q5_K_M 级质量。该模型为 29B 总参数、每 token 约 4B 激活的 MoE 架构，含 mHC、MLA 与 MTP，原生 256K 上下文，可扩展至 512K，适合消费级 GPU 与 RAM/GPU 混合部署。
viva-cli 克隆指定 GitHub 仓库后，用 tree-sitter AST 切块、Ollama 本地 embedding 与 Chroma 向量库构建 RAG，运行可配置时长的限时问答，每题引用真实文件或函数作答依据，并输出逐题结构化反馈。支持语音模式（faster-whisper 与 Piper）、会话中断恢复与 Docker 部署，默认模型为 gemma4:e4b，默认时长 30 分钟，每仓库最多分析 500 个文件。当前版本 v0.5.1，作者标注尚处于早期构建阶段，未达到可日常使用的状态。
一个面向生产环境的开源 LLM 推理平台，可在 RunPod 和 Vast.ai 等廉价 GPU 云上部署 Llama 3.1 8B（AWQ 4-bit，约 10 GB 显存）与 Qwen3 8B（fp8，约 8 GB 显存），同时支持 vLLM v0.30.0 和 SGLang v0.5.20 两种引擎，并通过 LiteLLM 代理网关做流量 A/B 分流。平台基于 KEDA 按 Prometheus 队列深度和 KV-cache 压力自动扩缩容，提供 Prometheus + Grafana + Loki 全套可观测性、机密加密、NVMe 模型缓存（重复启动约 30 秒）以及 Velero 每日集群备份。
GitHub 上的 lario-llms 仓库为 bigcachy、l-dev-ai 和 mini-mobile 三台硬件提供本地 LLM 推理配置，通过编辑 models.json 由 shared/modelctl.py 生成 llama-swap 配置。设备包括 128 GiB 统一内存的 Strix Halo（Vulkan）、RX 7900 XT 20 GiB（ROCm）和 RTX 5080 16 GiB（CUDA），模型权重存放在 XFS 上。提供 geekom、7900xt、rtx5080 等别名切换模型，支持 qwen3.8 系列、Muse 等配置，并通过 MCP 工具暴露 Intel 翻译、嵌入和语音能力。
Phonon 项目将闲置 Android 手机改造成局域网内的私有 OpenAI 兼容推理池，并行度等于手机数量，加手机是加任务槽而非提速。架构为 opencode 主机经 LiteLLM 网关路由到各手机上以前台服务运行的 llama.cpp，单模型单槽位。项目目前处于 pre-alpha，尚无实测数据，首个里程碑是作者两台 Pixel 7 的测量结果，采用 Apache License 2.0。
开源项目 Open Foresight 发布，复刻 Google 2026 年 10 月发布的 macOS 离线会议笔记应用 AI Edge Foresight，并扩展到 Linux 和 Apple Silicon Mac。它用 Gemma 生成本地答案与笔记、EmbeddingGemma 做来源检索、Whisper 做本机转录，带引用校验的问答、会议 Live Q&A 与 MCP 服务器，MIT 许可，普通生成全部保持本地推理；macOS 的 CI DMG 目前缺少推理运行时，还不是完整可用的发布版本。
推荐理由：项目完整公开了逆向复刻 Google 闭源应用的方法与验证账本，读者可以借此学习一套跨平台复刻与本地推理落地的可迁移做法。
一位 Reddit r/LocalLLaMA 用户在搭建首个本地 LLM 工作站时纠结显卡选择：V100 更便宜，但未来 CUDA 版本将不再支持它。发帖者担心在 n-grams 用于 MoE、扩散模型等优化技术不断涌现的当下，这一限制影响有多大，向社区求助。
0xShug0 的 audio.cpp 发布 v0.9.2，这是一个基于 ggml 的高性能 C++ 音频推理框架，在 Windows、Linux、macOS 上支持 CUDA、ROCm、Vulkan、Metal 和 CPU 后端，覆盖 TTS、ASR、语音克隆、声源分离等 110+ 模型家族、190+ 变体，通过统一 CLI、server API 和 WebUI 运行。新版本改进 Qwen3 TTS、BreezeTTS2 等流式推理（BreezeTTS2 首音频时间降低约 85-90%），部分 CUDA TTS 路径比 Python 快 1.8-8x，Supertonic 3 在 RTX5090 上 3 分钟生成约 10 小时音频，并已集成进 Unsloth Studio。
GitHub 开源项目 Omni-Dash 提供零云端的企业级数据分析与可视化工具，可作为单文件 HTML 直接在浏览器离线运行，也可作为 React 19 + Vite 应用部署。支持 Excel、CSV、Word、PowerPoint、PDF 等多格式数据导入，内置 Hash Joins 关系建模、复合过滤、10+ 图表类型和 6 套主题。离线 AI 分析可通过 WebAssembly 运行本地 GGUF 模型，或用 AirLLM 配套服务器在消费级笔记本上跑最高 70B 参数模型。
Reddit r/LocalLLaMA 用户发现，Qwen 3.8 Flash 常见 GGUF 量化中 PLE（SSD 上的 n-gram 表）被重度量化，影响性能。其用 ple_fp8_pack.py 打包 FP8 PLE（bf16 sidecar 仅 llama.cpp 支持，Strata 需 FP8），在 iq3_s 量化下明显减少低级错误且不损失速度，仅需约 47GB 额外磁盘空间。
Hugging Face 上线 Sindexter/qwen2.5-7b-abliterated-gguf 模型页面，提供 Q3_K_M 量化版本。用户可通过 llama.cpp 在本地启动 OpenAI 兼容服务器或终端直接推理，也支持 Ollama、Docker Model Runner、LM Studio、Jan、Lemonade 等工具运行，并可接入 Pi、Hermes、OpenClaw 等 Agent 使用。
Magic 是一个 MIT 开源的 Lovable、Bolt、Replit 替代方案，可将自然语言转化为运行在自托管硬件上的全栈应用，包含数据库、安全 API、业务逻辑和前端，无供应商锁定。其 MCP 插件能把每个端点变成 Claude Code、Cursor、Codex 等 Agent 可调用的工具，实测节省约 80% token。官方测试显示 Hyperlambda 比 FastAPI 或 Flask 快约 20×，比 LangChain 快约 50×，比 n8n、Zapier、Make 快 100–1,000×。
TuxWhisper 是一款面向 Ubuntu、Fedora、Arch 等 Linux 桌面的免费开源语音听写工具，全部在本机离线运行，语音数据不上传云端。它基于 Whisper（faster-whisper），松开按键约半秒后即可在光标处输入文字，支持 Whisper 的 100 种语言，兼容 X11 和 Wayland，NVIDIA GPU 可用，AMD 和 Intel 走 Vulkan，无 GPU 时也能用 CPU 慢速运行。可选的 LLM 清理键通过 Ollama 本地模型（默认 Llama 3.2）删除“嗯”等填充词、修正标点，并处理口述自我纠正，但该功能需约 2 GB 额外 GPU 显存。
作者为 llama.cpp 实现了自适应 KV 流式传输并移植到 ROCm/HIP，使 Qwen3.8-27B（IQ4_XS 权重、Q8_0/Q4_0 KV cache）在单张 16GB RX 9070 XT 上跑满 262,144 token 上下文，解码达 80+ t/s。完整 262k KV cache 约需 7.4 GiB，方案将完整缓存保留在主机内存，通过 PCIe SDMA 异步流式传输约 450 MiB（prefill）和约 2,100 MiB（decode）的工作集，并融合 stew675 的 RDNA 4 内核优化、兄弟激活复用、融合 RMSNorm、MTP 投机解码等改进。
推荐理由：作者给出了各上下文长度下的解码与预填充实测数据，以及功耗限制下的对比，可复现到 AMD 单卡本地部署。
一位用户在 llama-server 上以 Q5_K_XL 量化运行 Qwen3.6 35B A3B（26GB、132k 上下文、KV cache q8_0），在 4060TI 16GB 加老 i7 与 48GB DDR4 的配置下获得 19.53 t/s 生成速度，prompt 处理 132.58 tokens/s，仅占 4.5GB VRAM；而 26B 稠密模型（Gemma 或 Qwen）Q4_K_M 量化仅约 2 t/s。用户疑惑 MoE 版本为何快近 10 倍，并询问专家层经 PCIe 与 DDR4 是否会成为瓶颈。
Reddit r/LocalLLaMA 用户分享 Qwen 3.8 Flash Next 解码提速技巧：将 --adapt-every 从校准值 1 调到 6 后，UD-Q4_K_XL 量化下 4 个提示词的输出速度提升 12%-55%（最高 43.1 t/s），UD-IQ4_XS 提升 9%-24%（最高 71.6 t/s）。测试环境为 Intel 11700F、RTX 4070 ti super、64GB DDR4、Arch linux TTY。
GitHub 仓库 Ramakm/RAG 推出本地优先的开源 RAG 项目合集，覆盖摄入、清洗、分块、嵌入向量、向量检索到有据生成的完整链路，基于 Ollama 无需 API key。首个项目 BrowseAI 将任意网站 URL 变成可对话知识库，用 FastAPI、sentence-transformers、FAISS 实现带可点击引用的流式回答；OmniRAG 结合 PyMuPDF、Whisper、CLIP、Tesseract 支持文档、图片、音视频的多模态 RAG，答案可引用页码、图片与时间戳。需 Python 3.10+，MIT 协议开源。
Local AI Voice Studio 是一款面向 Windows x64 的离线桌面 TTS 工具，主打本地处理、语音预设、脚本管理和批量生成。它支持 WAV/MP3 导出、可复用的项目配置（Fast Balanced、Quality、Low VRAM 等）、基于队列的处理，工作流程无需强制上传文件到云端。系统要求最低 8 GB 内存（推荐 16 GB+），GPU 可选但对重度 AI 后端推荐使用。
GitHub 上线 Windows 离线 AI 视频配音翻译工具 Offline-AI-Video-Dubber-Translator，支持本地语音转写、SRT/VTT 字幕导出、离线翻译、本地 TTS 配音、逐段时间对齐、原声闪避与多语言导出。项目采用离线优先设计，不强制上传云端，支持批量处理和可复用配置文件，推荐 16GB+ 内存与支持 GPU 加速的现代显卡。