新闻、仓库与研究，按时间排列。
Drama3 现已获得 audio.cpp 支持，在 RTX 5090（Q4_k）上全速运行最高可达 5 倍实时速度，采用 CPU weight offload 分级释放模式时低于 8 GB VRAM 也能达到约 2 倍实时速度（RTF 0.484）。该模型还支持 Vulkan 和 Metal，目前仍存在多说话人生成出现异常静音、Vulkan 触发 token 上限等问题，需更多迭代才会进入正式版本，社区贡献者欢迎参与优化。
PocketTSLM 是 OpenTSLM SoftPrompt 时间序列语言模型的移动端部署方案，可将编码的时间序列窗口作为嵌入注入，在全流程于消费级手机上运行。基准测试显示软提示路径的时间序列 token 用量减少约 12 倍，可处理 30 秒 Sleep-EDF 脑电片与 1,000 样本（10 s）12 导联 ECG-QA 心电片，而文本序列化基线在更长窗口下超出手机上下文或内存预算。Swift 移植经数值一致性协议验证与 Python 参考实现一致，推理全程不传输健康数据。
新开源项目 Dream Lab 提供基于 FastAPI 的 Stable Diffusion 与 SDXL 推理服务器，支持模型与 LoRA 运行时热切换、YAML 定义多模型"mode"配置，以及 CUDA（GPU）和 RKNN（NPU，针对 RK3588/RK356x）双后端。项目源于在嵌入式 IoT 设备上跑 LCM/SD 的概念验证，还包含实时 VRAM 追踪、可扩展任务队列、超分辨率管线与 REST API，后续将向 RKNN 上游回移新特性。
DaemonFlow 是一款免费的 macOS 本地语音听写工具，作为 Wispr Flow 的替代方案，按住 Fn 说话、松开即在当前应用粘贴干净文本。它通过 whisper.cpp 的 Whisper（Tiny 到 Large v3 Turbo）或 Apple Neural Engine 上的 Parakeet TDT 0.6B v3 转写，再用 MLX 本地模型（Llama 3.2、Qwen 2.5、Phi 3.5 或 Llama 3.1 8B）去除口头语、修正标点和自我更正。音频不落盘、语音和文本不出本机，仅在从 Hugging Face 下载模型时联网。
开源会议笔记应用 Scribble 1.3.0 在 GitHub 发布，提供实时录音转写、多语言 cabin 翻译和 AI 会议纪要生成，支持 macOS、Windows 和 Linux。转写后端可选 Nvidia Riva（13+ 语言）、Soniox（约 $0.12/小时）或完全离线的本地模式；说话人识别基于 ONNX Runtime + CAM++。纪要可导出 Markdown 和 Word，LLM 兼容 OpenAI、DeepSeek、Mistral、Groq、Gemini、OpenRouter 等 provider。
一位 RTX 5070 Ti 用户想升级游戏 PC 以兼顾本地推理（编程与 RP/RPG），在加装第二块 RTX 5070 Ti（看重 CUDA、兼容性与速度）、Arc Pro B70（看重体积与成本）和 R9700（看重体积与兼容性）之间比较。现有配置为 Z890 主板、Ultra 7 265KF、32GB DDR5-6000 CL30 内存和 1000W 电源，另有 2 个 PCIe-4.0 x16（x4）空槽；因内存需 $530、换电源还要 $150-200，倾向暂缓。
论文提出 BiShield-TEE，针对端侧 TEE 部署 LLM 中仅混淆输出维度的权重保护方法发现 Solution Determinacy Property（SDP）漏洞，使 GroupCover 和 ArrowCloak 等代表性方法的攻击准确率超过完全防护黑盒基线 2.4 倍并近乎完整恢复模型。BiShield-TEE 通过输入输出双向联合混淆引入 Ambiguous Solutions，将攻击准确率压回黑盒基线水平，同时在真实设备上推理效率高于已有方法，代码已开源。
democraft-mcp 是 ArtCraft 家族（PhotoCraft、VectorCraft、EffectCraft 等）的演示仓库，每个 demo 都是真实的无头 CLI/MCP 运行加本地 LLM 步骤，输出仅写入 outbox/ 目录。默认无头运行会调用已安装的 *-cli.exe，也可通过 --connect 驱动已打开的应用；默认模型为 gemma4:e4b，后端端口 11246，前端端口 11245。技术栈为 Python 3.11+、FastMCP 3.4.4+、FastAPI 与 React 19。
aiplatform 是一个面向容器化 LLM 工作负载的开源自助式 AI 基础设施平台，开发者只需编写 aiplatform.yaml 即可完成校验、构建、部署和健康检查，支持本地 Docker、kind（Kubernetes + Helm）和 Argo CD GitOps 三种目标。内置 CLI 提供 deploy、rollback、status 等命令，可插拔引擎支持 llamacpp-server 与 vLLM，并基于队列深度通过 HPA 自动扩缩容。项目还集成了 Prometheus + Grafana 可观测性、k6 负载测试、SLO 告警，以及带 Terraform、Checkov、OPA 守护机制和人工审批的 AI 提议变更流程。
一位 SillyTavern 用户因担心隐私不愿使用 AI 服务商，在 32GB 内存 + 16GB 显存的电脑上自托管测试了 Cydonia-24B-v4zg-Q3_K_M、Rocinante-XL-16B-v1a-Q5_K_M 和 Impish_QWEN_14B-Q5_K_M 等模型，但遇到持续重复、模型崩溃和显存不足导致无法生成等问题。他不打算回付费订阅，转而向社区求推荐适合自己配置的自托管模型及隐私方案。
开源工具 DugUp 发布 Alpha 版，可在 Windows 11 和 Linux（Ubuntu 测试）上本地按内容搜索文件，支持文字、OCR（含定位裁剪）、语义和图片外观匹配，快捷键 Win+Shift+F。技术栈为 SQLite FTS5 与 ONNX 模型，全部本地运行，采用 PolyForm Noncommercial 许可证，可查近重复照片并支持撤销。
/u/brainchillzZ 在 Threadripper PRO 9955WX 加 4 张 R9700 上验证了 affinity 引擎此前被拒的 4 卡配置，DeepSeek-V4-Flash-0731 以 2.875 bpw 量化跑出 79 tok/s greedy、63 tok/s（temp 1.0），全部 11,008 个专家驻留显存，无退化输出。双卡仅 36 tok/s 且 82% 时间等待主机流式读取；作者指出原作者遇到的 bug 出在 4-on-2 模拟而非 4 rank 执行，并提示需加 --placement-strategy static。
推荐理由：作者在四张真实 R9700 上复现了此前只能双卡模拟的 affinity 配置，给出双卡与四卡的实测吞吐对比和绕过启动报错的具体参数。
Reddit 用户发布开源项目 MIKE，一个集成 Kanban 环境的 AI 编程 harness。其核心特性是通过 gVisor 与 Podman 提供沙箱隔离，经安全的 Progressive Web App 提供界面，并对本地模型提供一等支持，例如使用 llama.cpp 时可显示 prompt 处理进度。项目附源码与 5 分钟演示视频。
Reddit r/LocalLLaMA 用户发布了一个面向 LLM 的反向代理项目，可在收到请求前自动唤醒推理服务器，并在长时间无请求后关机省电。它缓存 /v1/models 端点以避免 OpenWebUI 等客户端频繁唤醒机器，还支持配置检查登录用户的命令以防误关机。项目几乎全部由本地模型 vibe-coding 生成，作者称目前运行可靠，欢迎 PR。
scragnog 发布 HOT-Step CPP 桌面应用，基于 acestep.cpp 和 GGML 在本地硬件上生成音乐，无需云端、API key 或订阅，支持 ACE-Step 1.5、MiniMax-Music3 和 YuE2 三个模型在工具栏切换。实验性 Training Studio 可在应用内为三个模型训练风格适配器，无需 Python；对量化基座训练将 MiniMax-Music3 的显存下限从 31.4 GB 降到约 10 GB。支持 Windows/Linux/macOS 的 CUDA、Vulkan、ROCm、Metal 和 CPU 后端，便携版解压即用，含歌词工作台、伴奏分离、音频转 MIDI、Lua 插件等功能，项目采用 MIT 许可证，模型权重各有独立条款。
GitHub 上的 OmniVoice 0.8.0（内部测试版）发布，这是一款 macOS 菜单栏应用，默认在本地完成实时转写、翻译和语音输入，无需云端服务。它支持悬浮字幕面板、⌥A 划词翻译、⌥S 截图翻译和任意应用内语音输入，可用系统引擎或本地模型（R2T2、HY-MT1.5 1.8B、T3PO），平衡版模型包约 3.4 GB，需 macOS 26 或更高版本，可通过 Homebrew 安装。
swanchain 的 computing-provider 发布 v0.6.1，可将自有 GPU 或订阅型模型代理接入 Swan Inference 市场按 token 收费。无需钱包、区块链注册或公网 IP，通过 WebSocket 出站连接即可在 NAT 后运行；支持 llama.cpp、vLLM、SGLang 的 Docker 部署和 Mac 上的 Ollama，激活需小于 24 小时审核与可退押金（USDC、SWAN 或刷卡），并内置自检、告警、仪表盘、本地网关与 REST API。
risadams 发布 Janus，一个运行在 Claude Code 与 Anthropic API 之间的本地代理，默认原样转发请求并逐条记录 token 与成本。可选功能包括 shadow、local-then-escalate、local 三种本地模型路由模式、密钥占位与文件隐私保护、Claude 不可用时的本地兜底、MCP worker 工具和压缩，压缩默认关闭因实测仅省约 1.5%。项目处于 pre-release，MIT 许可，需 Go 1.27+ 或下载构建，捕获默认保留 7 天。
推荐理由：原文给出完整的请求处理流程、各功能开关和实测数据，比如压缩默认关闭因为只省约 1.5%，读者可据此评估是否引入。
一位用户在 r/LocalLLaMA 求助：其基于 OpenWebUI 搭建的营养教练项目可读取 Garmin 数据，使用 Qwen 9B 时工具调用正常，但换用 LFM2.5-8B 后失效，尝试 LFM 模板和 Claude 模板均未解决。用户青睐 LFM 的推理速度，正考虑放弃该模型。
DollasAndSpence 发布 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式，支持 ComfyUI 本地图像生成。该版本无内置安全检查器，可直接生成成人及 NSFW 内容；推荐 GGUF 使用 Q4_K_M（4.60 GB），MLX 格式针对 Apple Silicon 优化，文本编码器可卸载至系统内存以节省 9–17 GB VRAM。
Reddit r/LocalLLaMA 用户发帖询问有哪些开源权重模型可在 48GB、64GB 或 96GB 内存上运行开发任务，希望了解大致内存占用。发帖者称在 128GB 机器上可运行不错的本地模型，尤其配合前沿模型做规划调度，但此前讨论未涉及更低内存配置的可行下限。
有用户发现 SillyTavern 也能充当本地 RAG 应用，目前在用 AnythingLLM，希望只用一个应用完成两件事，遂发帖询问是否有人用 SillyTavern 做本地 RAG、效果如何及有何不足。
一位使用 SillyTavern 近两年的用户一直只用默认 API Horde，想首次转向本地运行并求指导。其笔记本配置为 16GB RAM 和 4060 8GB VRAM，无本地部署经验，在 r/SillyTavernAI 发帖寻求设置帮助。
/u/FeydRowan 发布 capy-flash，基于其 ninfer-tp2 引擎，可在两块 16GB 消费级 GPU 上以 NVFP4 运行 Qwen3.8-Flash-Next 125B-A6B（专家卸载到内存），也支持 Qwen3.8-27B，一个参数即可切换。在 2× RTX 5070 Ti 上生成约 100 tok/s（Strata 为 78），15k prompt 的 prefill 约 3.4k tok/s（Strata 为 2.7k）；质量对照数据中心 NVFP4 参考用 GSM8K、MMLU-Pro 和 agentic coding 任务检验。
推荐理由：作者给出与 Strata 在相同 NVFP4 权重下的生成和 prefill 速度对比，以及 TP=2 下 BF16 舍入误差的实测数据。
开源 macOS 应用 Freelane 发布，定位 Apple Silicon 原生的本地优先个人财务与生活操作系统，涵盖支付链、钱包、项目、支出、贷款、客户管理及日志、礼拜时间、Quran、sadaka 等生活功能。AI 层默认本地运行（Ollama → Apple FoundationModels），仅在用户开启时调用云端 Gemini；应用离线可用、无需账号，数据存储于本机 SwiftData，需 macOS 26 (Tahoe)。
Reddit r/LocalLLaMA 用户询问在 Apple Neural Engine（ANE）上运行嵌入向量模型的最佳方案，设想让 NPU 处理嵌入请求、GPU 同时运行更大的模型。现有项目 ANEMELL 支持在 ANE 上运行模型，但维护状况不佳，楼主寻求其他可行途径。
waxinz 在 GitHub 发布 Arcturos，一个本地优先的 LLM 基准测试与评测面板，所有数据保存在用户自有的本地 SQLite 文件中。它可对 OpenAI 兼容或 llama.cpp 原生推理服务器做基准测试，测量 decode tok/s、prefill tok/s、TTFT、wall time、MTP/speculative acceptance、并行流等多项指标并支持多上下文长度；支持带图表、固定基线和逐指标差值的并排对比，以及由外部 LLM judge 盲评的单轮与多轮 prompt 评测（pairwise A/B 偏好、按 judge 和类别统计胜率），并提供套件胜率与覆盖率报告、CSV 导出和 append-only 存储。
推荐理由：开源的本地 LLM 推理基准与评测面板，数据存本地 SQLite，可对比吞吐、TTFT 并用外部模型盲评 prompt。
GitHub 上的 local-mailroom-sandbox 是一个本地优先的 LLM-Mailroom 流水线实验沙盒，可在 Ollama、vLLM、llama.cpp 或 LM Studio 上离线运行 classify → extract → report → archive 全流程，需要 API 时可切换 OpenRouter。默认模型为 Ollama 的 qwen3:8b（回退 qwen3:7b），流水线为 13 节点 LangGraph 状态机，评分用 vendored 的 llm-dojo-scoring，追踪用 Langfuse，存储为本地 SQLite。
开源项目 Kusanagi-AI 为物理与材料科学研究人员提供免费、可完全离线运行的本地 AI 工具包，基于 Ollama 做本地大语言模型推理，可在普通笔记本上同时运行最多三个模型。其旗舰应用 Orochimaru 是面向学术场景的 RAG 助手，支持对 PDF 文献提问、生成摘要与同行评审，默认嵌入模型为 all-minilm，也可配置 mxbai-embed-large。
一位 Reddit 用户在 LTT 视频中看到，搭载 RTX Spark 的新笔记本本地运行 Qwen 3.8 27B Q4 量化模型时速度仅约 3.5 tok/s。他对本地跑编程模型的期待因此降温，认为还不值得为此花 6000 美元换机。
惠普新推出的 RTX Spark 笔记本开售，128GB 内存配置原价 $5109.99，使用优惠码 anniversary25 可享 75 折，折后 $3832.49。帖子称这是错过 $4000 以下 DGX Spark 用户的替代选择。
Reddit 用户 /u/WorldlyAd7946 实测 £299.99 的 Lenovo IdeaCentre Mini（Snapdragon X1-26-100，32GB，纯 CPU）运行本地大模型：Qwen3.6 35B A3B coder 在 llama.cpp 下写入 24.5 tok/s，开 MTP 后约 29-33 tok/s；Qwen3-Next 80B A3B 用 Janas 开 MTP 达 17-18 tok/s，而 llama.cpp 无法加载该模型。
推荐理由：作者把 Janas 移植到 ARM 并给出实测速度数据，读者可据此评估低价骁龙迷你机跑本地大模型的可行性。
一位 Reddit r/LocalLLaMA 用户寻求搭建不依赖云端的全屋语音助手方案，设想用 ESP32 配合扬声器与麦克风在各房间收音，由中央服务器运行 AI 模型处理。该用户平时用 Qwen3.8-27B 做编程辅助，但未接触过语音类模型，正在询问可行的现成方案。
微软正在继续开发 Windows ML，以支持 llama.cpp 和 gguf 模型格式。若微软能让用户无需自行搭建底层环境即可便捷运行 gguf 模型，将有助于本地 AI 在主流用户中的普及。
Apple 机器学习研究团队演示在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型，使用新版 MLX（v0.30.1 起）与 macOS 26.2 的 RDMA over Thunderbolt 驱动。
一位 Reddit 用户在 RTX 5000 Pro 上本地运行 Qwen 3.8 27B NVFP4，让智能体全权管理活期账户：付款、查账单、推荐供应商、追踪客户回款、记账并撰写合同，已使用 2 个月。账户中只保留不足一个月收入的零头，其余直接转入储蓄账户，数据完全留在本地。
Reddit 用户 BTA_Labs 实测 Nvidia Nemotron 3.5 Bolt 74B-A9B（原生 2-bit QAT，Mamba-2-Transformer 混合 LatentMoE，9B 激活）与 Liquid AI LFM2.5-24B-A2B（24B 总参数、2.45B 激活、131k 上下文），认为 Q4 以下量化必掉智的老规则在 QAT 和混合架构下需要重写。
推荐理由：作者实测了 Nvidia 2-bit QAT 74B 与 Liquid 24B-A2B 在 24GB 显存下的表现，给出了 PinchBench 具体分数对比。
/u/Chuyito 在 r/LocalLLaMA 分享了在 llama.cpp 上混用 Nvidia 与 AMD 硬件的方案：保持 split-mode tensor 张量并行跑主模型权重，并通过修改 llama-rpc 把 drafter 卸载到 AMD Strix，释放 2-3GB 显存用于上下文，上下文从 150k 提升到 195k，张量并行速度不变。
GitHub 上的开源项目 Half-a-Brain 是一个可自托管（self-hostable）的 AI 应用，采用 AGPL-3.0 许可证，可基于自有文档或网络内容回答问题。它支持构建自定义智能体、定时自动化任务和深度研究，并可将任意在线或本地 LLM 变成个人自主 AI 助手。
NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B 24GB，一个面向本地日常智能体任务的开源权重视觉语言模型，采用原生 2-bit 量化（IQ2，量化感知训练）将 74B 总参数（9B 激活）压进 24GB 显存。架构为 Mamba-2 与 Transformer 混合加 LatentMoE，配 C-RADIO v4-H 视觉编码器，支持文本、图像和视频输入，上下文最长 256K tokens，可通过 vLLM 部署在 A100、H100-80GB 或 Blackwell 上，并支持经 DFlash 的 LiLiCorr 投机解码。许可证为 OpenMDW-1.1，可商用；GGUF 权重已上架 Hugging Face。
推荐理由：原文给出了参数结构、量化精度、显存占用和部署硬件等具体规格，读者可以据此评估本地跑智能体任务的可行性。