新闻、仓库与研究，按时间排列。
一位 Reddit 用户分享 Strata 推理加速体验：加载 qwen3.8-flash-next-unsloth-ud-q4_k_xl、fp16 KV、130k 上下文时，长提示预填充（PP）从 llama.cpp 的 10 分钟缩短到 23 秒，文本生成速度约 3 倍（约 57 tok/s），expert cache 命中率 94.5%。用户连续使用约 10 天，结果稳定，且近期更新后速度进一步提升。
MacKV-Opt 是一款面向 Apple Silicon Mac 的开源工具，通过管理 KV cache 让本地大模型支持更长的对话上下文，兼容 GGUF 格式模型和 Ollama。软件要求 M1/M2/M3 系列芯片、至少 16GB 统一内存和 macOS 13.0 及以上，支持 32k tokens 等上下文窗口的 benchmark 测试，提供 tokens-per-second 与内存用量统计，完全本地运行，数据不出设备。
GitHub 上的开源 CLI 工具 audit-llm 用于审计本地 LLM 模型文件，提供三类检查：基于 SHA-256 与 HMAC 签名基准的完整性校验、GGUF 与 safetensors 头部验证，以及针对 .pt / .pth / .bin 的 pickle 静态安全分析（不执行代码）。可疑文件会被隔离，支持 JSON 输出与返回码以接入 CI/CD，架构可经 Check 抽象扩展新检查，采用 MIT 许可证。
lychee 是一款在 Windows 上本地运行大模型的工具，数据无需发送到外部服务器，需先安装 Ollama 并满足 Windows 10/11（64 位）、8GB 以上内存和 10GB 可用空间。它集成 HuggingFace 一键下载模型，提供 Model Composer 自定义角色、Agent Sandbox 沙箱和 Anthropic API 云端模型接入，并通过浏览器仪表盘管理。
GitHub 上的 Metriqen 项目在 Apple M2 上用 Ollama 0.30.8 和固定 llama3.2:1b Q8_0 模型做了本地 LLM 服务优化实验，比较 OLLAMA_NUM_PARALLEL=1 与 2，每组 324 次请求全部成功。并发 2 时吞吐提升 34.235%、p95 延迟从 13.561s 降至 11.164s，TTFT 从 5.940s 降至 0.654s；并发 1 时吞吐下降 3.895%。项目称结果为描述性而非因果性，报告未经 GitHub CI 独立审查，也无生产服务或 vLLM GPU 验证。
GitHub 项目 evocli 提供一个本地优先的 AI 运行时，用于自动化编码任务。其特点是内置长期记忆与自我进化能力。
NeuralForge 让用户在本地 PC 上用显卡训练个人 AI 模型，无需云服务，通过图形界面管理训练数据和进度。要求 Windows 10/11、至少 8GB 显存的 NVIDIA 显卡和 16GB 内存，训练结果可导出为 GGUF 格式在本地聊天界面运行，数据全程保留在用户电脑上。
Gautam Pachnanda 发布单二进制系统诊断工具 vitals 1.0.0，支持 macOS、Linux 和 Windows，无运行时依赖。核心命令 doctor 能关联 CPU、内存、swap、磁盘、GPU 等数据给出瓶颈结论和修复命令，llm fit 可计算本地模型完整放进 VRAM 的最大量化档位，并支持 Ollama、LM Studio、llama.cpp、vLLM 及 OpenAI、Anthropic 等云端端点的诊断。项目还提供 Prometheus 指标导出和 MCP server 模式，MIT 协议开源。
推荐理由：工具不只显示资源仪表盘，还能跨域定位瓶颈并给出具体修复命令，且能按 VRAM 容量推荐模型量化档位。
Nihal-puliyakkady 发布 Gemma-4-31B-Uncensored-NVFP4-DFlash，可在 Windows 本地运行 Gemma 4 31B 无审查模型，采用 NVFP4 压缩缩小体积，并用 DFlash 投机解码加快生成速度。运行需 NVIDIA GPU 至少 24GB VRAM、32GB 内存和 SSD 上 60GB 空间，全部推理在本地完成，无需联网。
GitHub 开源项目 AI-CareCompanion 用 Gemma 4B 模型在 React Native 上构建离线优先的 AI 健康助手，支持症状分诊、药品查询和私有 multi-agent 健康洞察。项目通过离线运行保护健康数据隐私，目前处于早期阶段，尚无 stars 和 fork。
GitHub 上的 edumgt/docker-class 仓库提供覆盖 01~28 章的 Docker 学习课程，内容从基础命令到 DevSecOps（Jenkins、GitLab CE、SonarQube、Nexus、Drone CI）与本地部署 ERP 方案。课程还包含 AI 环境搭建：Ollama LLM 服务器（RTX 3080）、Qdrant/pgvector/Chroma/Weaviate 向量数据库、Open WebUI 与 RAG 栈，以及 gemma3:2b 的 sLLM 部署。完成全部课程建议 CPU 12 核以上、RAM 32 GB 以上、NVMe SSD 1 TB 以上。
Reddit r/LocalLLaMA 用户为本地 AI 工作站开发了名为 vramble 的 VRAM 调度层，可自动加载和卸载模型，并用优先级队列管理多个工作流，省去手动管理或用 Claude token 编排的过程。该项目采用开源协议发布在 GitHub（github.com/ValerioDolci/vramble），作者称是早期版本、不保证在所有机器上可用，并提到 Qwen 27B 跑出 200+ t/s 的速度超出预期。
Reddit 用户 MrCatberry 的 Tesla V100 SXM2 模组异常：nvidia-smi 中 Pwr:Usage/Cap 显示 N/A，运行 llama-cli 时 dmesg 报 NVRM Xid 44 错误。已尝试更换 PCIe 插槽、重新插拔模组、多次重启，并在 Ubuntu 26.04、nvidia 580 驱动下 CUDA13 与 CUDA12 环境均复现，问题依旧，发帖求助更多排查思路。
启英泰伦（chipintelli）发布 CI130X_SDK_LLM_AIOT_V3.0.13，这是面向 CI130X 系列芯片的 SDK，包含 driver、libs、projects 示例工程及固件构建升级工具。官方预编译算法库由 Nuclei GCC 9.2.0 生成，若使用 GCC 10.2.0 链接 LTO 算法库会报错，需换用同版本工具链后在 PowerShell 执行 make 构建示例工程 offline_asr_llm_aiot_iis_sample。版权归 chipintelli 所有。
开发者 AK 在 XD.AI 发布 DictAI，一款 macOS 菜单栏语音听写工具，按住热键说话后由本地 Whisper 转写并自动粘贴到光标处，音频不出设备。支持 Metal 加速、剪贴板历史、Zoom/Teams/Meet 通话实时转写并输出 Markdown，可用 Ollama（默认 qwen2.5:3b）或 Claude/OpenAI API key 做文本清理。需 macOS 26.1 及以上、Apple Silicon，DMG 已签名公证，源码与构建脚本在 GitHub 开放。
GitHub 上的 bash-lmline 是一个 Bash/zsh 行编辑辅助工具，向 OpenAI 兼容接口请求命令候选并插入当前命令行缓冲区，不会自动执行。候选按风险分级插入，执行仅经 Ctrl-x Ctrl-f 修复路径、可选 command_run 工具或 lmline sandbox run 等显式路径；支持 LM Studio、Ollama、OpenAI、OpenRouter、Gemini 等端点，并可通过 GitHub Copilot Language Server 作为替代后端。
推荐理由：文档写清了候选插入不执行、风险分级和微沙箱执行路径，本地部署与隐私配置也可直接照搬。
GitHub 上的 Shelly 项目可将 Android 手机（含折叠形态）变成独立运行的 Agent 机器：用自然语言注册定时任务，基于 AlarmManager 在熄屏时自动唤醒，调用用户自己的 AI 账号与本地 LLM（如 Qwen3.5-2B）执行 Perplexity 检索、摘要并生成带引用的 markdown 简报，全程无需云端、PC 或 Termux。底层是应用自有的 JNI PTY 原生终端，内置 bash/git/Python 3/Node.js，可直接运行真正的 OpenAI Codex CLI。目前完整无人值守流程仅在 Galaxy Z Fold6 上端到端验证过一次（N=1）。
GitHub 项目 PEPAR 用本地 LLM 翻译 arxiv 等英文论文网页，替代已部分收费的 papago 和忽视上下文的 Chrome 翻译。后端采用 Python 3.11 与 Flask，通过 llama.cpp 搭配 Intel Arc Pro B50 16GB 运行 gemma4-12b；关闭 thinking 模式后请求耗时从 150 秒降至 13 秒。项目用 Tailscale 内网部署，支持失败块重译、任务进度显示与 Docker 打包发布。
一名高中生用自研 C++ 引擎（llama.rn 的 fork）通过 USB RPC 把 Ternary-Bonsai-2-27B（2.06 bpw / 6.52 GiB，PPL 14.26）分层部署到两台 Android 手机上集群运行，集群模式速度约 2.8 tok/s，单机 Xiaomi 15 达 5.6 tok/s。权重以三值（-1, 0, 1）存储在 Hadamard 旋转基中，运行时在 ARM CPU 上应用 Hadamard 变换，只需加减运算、无 MAC 操作，最高温度约 30°C。
一位 Reddit r/LocalLLaMA 用户原计划购买 20 台 59 美元的 Android TV 电视棒组成集群，用 Strata 运行 GLM 5.3，下单前发现全部缺货。帖子以自嘲口吻表示此前 DGX Sparks 也买不到，连续两次落空。
一位 Reddit 用户计划购置 Mac mini 全天候运行本地 LLM 与 AI Agent，用于 Q4 量化下最高 27B 参数模型的日常任务和模型探索。帖子在“M4 加 32GB 内存”与“M4 Pro 加 24GB 内存”之间纠结，询问更该优先内存以跑更大模型，还是优先 CPU/GPU 性能以换取更快推理。
Hugging Face 上架 taurusduan/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-GGUF 模型，提供 BF16 量化版本。该模型为图像-文本到文本多模态模型，可通过 Transformers、llama.cpp、vLLM、SGLang、Ollama、Docker Model Runner 等多种方式运行，并支持 llama.cpp 和 vLLM/SGLang 的 OpenAI 兼容 API 本地服务。
Hugging Face 上发布了 Qwen/Qwen-Image-2.1 的 Uncensored 量化版本，提供 GGUF、Safetensors 和 MLX 格式用于本地图像生成。Q4_K_M（4.60 GB）为推荐的 GGUF 量化方案，MLX 格式针对 Apple Silicon 优化，模型无内置安全检查器，可直接生成成人及敏感图像。需配合 ComfyUI 和 leejet/ComfyUI-GGUF 使用，文本编码器可卸载到系统内存以节省 9–17 GB 显存。
GitHub 新仓库 K3Tamaa/Vector-Forge 是一个模块化、本地托管的 RAG（检索增强生成）系统，提供智能文档理解与可解释的语义搜索。项目基于 Claude、Ollama、Qdrant、FAISS 及 MCP 等技术构建，当前为 0 star、1 watcher。
开源项目 springboot-ai-integration 基于 Java Spring Boot 与 Maven 构建，集成 Ollama 实现文本与图像生成，提供 REST API 和网页界面，前后端分离。应用面向 Windows 10 及以上系统，要求 4 GB 内存、JRE 11 及以上，可从 releases 页面下载 .exe 或 .zip 安装包。
Reddit 用户 vitamins1000 在双 A100 80GB（PCIe Gen4 x8）+ EPYC 7402P 的 Proxmox 直通配置上运行 llama.cpp 和 qwen3.8 flash next UD-Q4_K_XL，上下文设为 1835008（7 个 262k slot）。单用户生成速度约 50-70tk/s，但 2-3 用户并发时骤降至 10-15tk/s。楼主用于长会话 agentic 编码场景，询问是换 vLLM 还是每卡各跑一个 qwen3.6-35b-a3b，并倾向 MoE 模型。
Reddit 用户 /u/migsperez 在 AMD R9700 32GB、64GB 内存上用 Opencode 测试 Qwen3.8-Flash-Next IQ3_S 量化模型，解码速度约 90 tok/s，约为 27b 的 3 倍。作者通过先要计划再构建、指定 low poly 风格的提示方式获得明显更好的输出，并分享了结果。
Wacht 团队发布开源 snippet 编程智能体的远程客户端 snippet-app，支持 Android、macOS 和 Windows。用户在开发机上运行 snippet serve 后扫码或粘贴连接串即可远程聊天、监督任务、管理会话、编辑文件和执行 Git 操作，应用通过认证 WebSocket 直连本地 daemon，无需云端后端，项目、会话与 provider 密钥保留在本地。应用采用 Flutter 构建并遵循 AGPL v3.0 或更高版本许可。
GitHub 上的 Dashie 是面向 Home Assistant 的家庭语音助手与墙面仪表盘项目：语音插件支持 HA Voice PE、ESPHome 卫星等 Assist 设备，可理解"关掉楼下所有的灯、除了门廊灯"这类指令，且无屏幕、无需账号也能使用。插件为 AGPL-3.0，可完全自托管，本地模式下数据不出网络、免费；可选云端按用量计费。仪表盘需另行安装 Android/Fire TV 应用，提供日历、照片、天气和摄像头画面，支持 hey_dashie 等 microWakeWord 唤醒词。
Northlatch Labs 开源 Kestrel，一个面向 Intel Mac 加 AMD 独显（含 Hackintosh）的本地大语言模型应用，内置 AMD 补丁版 llama.cpp 和 SwiftUI 界面。RX 6700 XT 上 Qwen3-8B 生成从 0.6-2.6 t/s 提升到约 61 t/s，支持多会话、Agent 工具与 MCP、OpenAI 兼容 API、图像生成（beta）和多 GPU 拆分；仓库地址 https://github.com/0xda7/kestrel，许可 GPL-3.0。
推荐理由：原文给出 RX 6700 XT 上各模型的实测算速和与 Apple Silicon 的对照数据，可以据此评估 Intel Mac 加 AMD 显卡跑本地大模型的可行性。
Cap-go 发布 @capgo/capacitor-llm 插件，支持 Capacitor 应用在设备端运行大语言模型，调用免费且数据不出设备。iOS 默认走 Apple Intelligence（需 iOS 26.0+），Android 用 Gemini Nano 或 LiteRT-LM .litertlm 模型包，Web 通过 @mediapipe/tasks-genai 加载 Gemma 4 web 模型。提供 createChat、sendMessage、setModel、downloadModel 等接口及流式输出、模型下载进度与就绪状态事件，并附 Capacitor v7/v8 兼容表和示例应用。
推荐理由：文档级 README 覆盖三端模型选型与后端参数，可作为在 Capacitor 应用里接入端侧 LLM 的直接参考。
webmp3/Sakura-Qwen-Image-2.1-PE-T2I-Uncensored-GGUF 已在 Hugging Face 上线，提供 Q4_K_M 量化版本，可通过 llama.cpp 运行，支持启动兼容 OpenAI 的本地服务器（llama serve）和终端直接推理（llama cli）。该模型还可用 vLLM、Ollama、Docker Model Runner、Lemonade 等工具部署，并可接入 Pi、Hermes、OpenClaw 等 Agent 使用。
Observer 独立开发者 Roy 在 r/LocalLLaMA 发布视频，展示在旧硬件上运行本地 LLM 以减少电子垃圾。Decision model 支持即将上线，OneJev 0.8b 可在极低配设备运行；待 D3 获得 ONNX 支持后将在浏览器中测试。
教育工具 AskCyph Health Explorer 通过双模型架构解析单字母 DNA 突变如何致病、改变 3D 解剖与遗传概率：调用 Google DeepMind 的 AlphaGenome API 预测调控变异效应和剪接破坏，MedGemma 1.5 4B 经 WebGPU 与 ONNX Runtime Web 100% 在本地浏览器内运行做隐私解释器。变异细节、OMIM ID 与药物审批来自 NCBI ClinVar、openFDA 和 ClinicalTrials.gov 注入提示词；权重约 2.8 GB 压缩存储、本地缓存，无需登录、免费。
Reddit 用户在 16GB VRAM 上以 Q4 量化运行 unsloth/Qwen3.8-27B-UD-IQ4_XS，实现 262k 上下文、q4_0 KV 缓存和视觉能力，MTP 基准约 80t/s、pp 1500。关键在于修改版 llama.cpp-adaptive-kv-streaming 分支，将 KV 流式传输到系统内存的 1.5GB arena；262k 全上下文时约 20t/s、pp 400t/s，作者称对许多人仍属可用。
Reddit 用户将 SillyTavern 最新版打包为 Android APK 直接安装，免去每次通过 Termux 运行的麻烦，并加入应用锁和若干 bug 修复。作者已用本地 AI 和 OpenRouter 测试可用，欢迎用户反馈 bug 或提出功能需求。
一位 SillyTavern 用户在 r/SillyTavernAI 求助：本地 PC 和手机均无法运行 ST，尝试将整套环境用 Docker 迁移到云端后发现，访问服务器只能通过隧道或自建前端页面。由于其手机必须始终保持 VPN 开启，无法再搭建其他隧道，用户正在寻找可行的替代方案。
GitHub 上开源的 BeastiePilot v0.1.0 是一款 FreeBSD 终端 AI 助手，用自然语言描述需求后由本地 Ollama 模型（默认 llama3.2，约 2 GB）生成 shell 命令，经用户确认后执行。它通过系统提示词引导模型使用 pkg、sysrc、zfs 等 FreeBSD 工具，默认 safe 模式逐条确认，guided 模式额外解释命令含义，破坏性命令需输入完整 yes，且完全由 Go 标准库构建为单一二进制。
GitHub 上的开源项目 SprachAnker 是一个自托管语言学习工具，可下载 Deutsche Welle 的 Nicos Weg（德语 A1–B1）、BAMF 的 Leben in Deutschland、Goethe-Zertifikat A1 等真实课程，在本地统一学习：课程练习即时批改、基于 FSRS 的间隔复习卡片、whisper.cpp 语音识别检查口语，并可接入 LM Studio、OpenRouter、OpenAI、Anthropic、Google Gemini 等模型生成读写说练习。数据全部保存在本地，无账号无遥测，手机可通过 Tailscale 访问。
MikkoParkkola 发布 nab，一个单 Rust 二进制的 MCP 服务器，提供三类功能：将任意 URL 抓取为面向 LLM 上下文窗口的干净 markdown、本地多语言 ASR 转写与说话人分离、URL 变更订阅推送。ASR 默认用 FluidAudio 的 Parakeet TDT v3 跑在 Apple Neural Engine 上，2 小时音频实现 131 倍实时，支持 25 种欧盟语言，可选 Qwen3-ASR 处理 zh/ja/ko/vi；默认无 API key、全部本地运行。