新闻、仓库与研究，按时间排列。
samyfodil 在 GitHub 发布 jitllm，一个面向大语言模型推理的引擎，所有内核在加载时按 CPU（AVX2、SSE、NEON）或 GPU（CUDA、Vulkan、Metal）JIT 生成。磁盘、RAM 和 VRAM 组成统一内存系统，权重、MoE 专家和 KV 状态按需分页，可在 CPU 与 GPU 之间移动且不丢对话历史。提供 OpenAI 和 Anthropic 兼容 API 的单二进制 jitllmd，支持 Linux、macOS、Windows 的 x86-64 和 arm64，也可作为 Go 库嵌入，附桌面和终端应用。
推荐理由：开源推理引擎 jitllm 的发布说明，读者可从中了解 JIT 内核生成、跨 CPU 与 GPU 的内存分页和单二进制部署思路。
Dxrk 是一个 AI 智能体生态配置与编排工具，用一条命令即可为 Claude Code、Cursor、Gemini CLI 等 14 个智能体安装配置持久记忆、技能、MCP 服务器和模型切换器，全程离线无需 API keys 和 Docker。其旗舰组件 DxrkMemory 2.0 仅用 Python 标准库实现（不用 chromadb 和 onnx），基于 sqlite3 FTS5 与 BM25 混合检索，含时序 Graph、Palace locks 和 600–900 token 的 AAAK 唤醒层，支持多租户与 RBAC，要求 Python 3.13+，MIT 许可，从 GitHub 直接安装。
GitHub 开源项目 Royal Red 是一个运行在本地的 agentic 操作系统，内置验证引擎、真实浏览器验证、同意系统和审计日志，可构建网站、WordPress 主题和矢量 PDF，并在浏览器中实测后才给出验证回执。它支持 96 家模型供应商、1,728 条路由和 60 个连接器（20 个已实装），提供 66 个 agent 角色、MCP 客户端和 Claude 风格技能目录，API 密钥以 AES-256-GCM 加密存储。支持 Ubuntu/Debian、Fedora/RHEL 和 Windows 11 WSL2，一行 curl 命令安装，依赖 Bun，磁盘占用约 500 MB。
Zar-Manah 在 GitHub 发布 opencode-android-apk，宣称可在 Android 8.0+ / arm64-v8a 设备上无需 root 地运行原生 OpenCode AI 智能体工作环境。该项目通过 musl 动态链接器直接运行于用户空间、无 PRoot 开销，内置 pc 设备控制 CLI（截屏、点击、输入、安装 APK 等），捆绑 OpenJDK 21、Android SDK 与 gradle-oc 实现全程在手机上编译签名 APK，并提供 memory. 持久记忆与前台常驻通知。项目以 GPLv3 开源。
GitHub 项目 ANEDVD 用 Zig 实现了不依赖 CoreML 的 Apple Neural Engine 大语言模型推理，通过私有 AppleNeuralEngine.framework 编译自生成的 MIL 程序，并用 IOSurface 做零拷贝张量 I/O。它支持 GGUF 和 HuggingFace safetensors 模型，提供 OpenAI 与 Anthropic 兼容的 HTTP API 和内置 WebUI；在 A18 Pro 上 SmolLM2-135M Q8_0 实测 prefill 400 tok/s、decode 31.7 tok/s，Qwen2.5-0.5B decode 17.4 tok/s。
推荐理由：作者实测给出了 ANE 上的推理速度、带宽上限和数值误差数据，想绕过 CoreML 直接驱动 Apple Neural Engine 的读者可以从中借鉴可复现的做法。
GitHub 上的 gribanoveu/kibo-agent 是一个桌面编码 Agent，基于 Tauri v2、Rust 和 React，可读取和搜索代码、编辑文件、运行命令和测试，提供 Agent、Plan、Ask 三种模式，支持 OpenAI 兼容提供商（DeepSeek、OpenRouter、自有网关）和 Anthropic 模型。代码索引与内置 embedding 模型在本地离线运行，俄语提问可匹配英文代码；命令审批按行为分级，rm -rf、git push --force 等始终需要确认；文件只有在读取且 hash 未变后才能被编辑，写入前展示 diff；MCP 服务器和 Claude Code 格式的 skills、hooks 可直接粘贴配置。许可为 GPL-3.0-only，文档为俄语。
推荐理由：仓库完整说明了三种工作模式、按命令风险的审批机制与本地语义搜索实现，开发者可以据此评估是否适合自己接入自选模型。
CodeOtter 是一个可完全自托管的 PR 审查平台，基于 open-weight Hugging Face 模型可 100% 离线运行，避免私有代码流向第三方 SaaS 或支付 $24–$30/开发者/月的费用；也可接入 Claude、OpenAI、MiniMax 或 OpenRouter。它将 LLM 与 System 1 决策引擎配对，输出校准的 0-100 六项评分和 8 项 yes/no 合并门禁，减少 LLM 编造数字，并支持 AGENTS.md/CLAUDE.md 团队规则、增量 delta 审查与 GitHub 内联建议。
持有 10Gb 版 CMP170hx 显卡的用户有望获得额外 8Gb 显存，将显存从 40Gb 解锁至 48Gb，相关进展顺利。发帖人称请保持关注，后续将公布具体方法。
yagasoft 在 GitHub 发布 Flux-LLM-KB，即面向 Windows 的私有单用户知识应用 FluxKnowledge。该应用基于 .NET 10 与 ASP.NET Core 运行于 IIS，用 SQL Server 存储规范数据，通过 Blazor、MCP、REST 和 CLI 暴露检索与操作，提供 11 个原生 MCP 工具，支持 UTF-8、ZIP/TAR、Office Open XML、PDF 和 C# 处理，并通过离线 PaddleOCR-VL 适配器做英文 OCR。混合段落检索已在安装版激活，通过受限英文验收。
Finn-Hecker 在 GitHub 发布 Ryokan，一款原生 AI 角色扮演应用，支持 Windows x64 和 Android arm64。可连接 LM Studio、llama.cpp、KoboldCPP、Ollama 等本地模型或 OpenRouter 等 API，支持 V3 角色卡导入导出、lorebooks、滚动摘要和聊天克隆，数据本地存储在 SQLite。多人模式下好友通过邀请链接从浏览器加入同一会话，无需安装或 API key，会话内容经客户端端到端加密后经 relay 同步。项目采用 Tauri v2 + Rust + Svelte 5，遵循 GPLv3 协议。
推荐理由：原文给出了完整的功能清单、多人模式和端到端加密做法，读者可以据此评估这个原生角色扮演应用是否适合替代传统前端。
GitHub 开源项目 lore 是一个语音驱动的 D&D 城主（Dungeon Master）系统，玩家通过 Deepgram 的语音转文字和文字转语音与其交互，由 LLM 运行游戏。游戏状态存于 PostgreSQL 18，世界背景知识存于 Qdrant 1.19 向量数据库，嵌入由 Ollama 运行的 nomic-embed-text 生成（768 维）。项目通过 Helm chart 部署到 Kubernetes 的 lore 命名空间，镜像支持 amd64/arm64，可跑在小节点（如 Raspberry Pis）上，目前尚无备份方案且未暴露 ingress。
一位 Reddit / LocalLLaMA 用户想在 RTX 3060 12GB 显卡上本地转写通过 Discord 进行的意大利语 D&D 游戏语音，且已有说话人分离的音频。他在 Whisper 和 Gemma e4b 之间犹豫，询问当前最佳转写模型选择。
作者发布了 Qwen/Qwen3.8-Flash-Next 的 mlx-serve 4-bit 混合量化包（4-bit experts、8-bit 其余），该模型为 Qwen4 preview 架构（model_type: qwen4_exp），全量 checkpoint 为 125B trunk + 51B n-gram + 4B MTP，共 180B（bf16 360 GB）。实测在 M4 Max 128 GB 上常驻约 67-69 GB，decode 29-34 tok/s，25k token prompt prefill 约 400 tok/s。n-gram 表以单独 4-bit 文件 mmap 方式按需反量化，不占常驻显存；MTP 头可加载但当前比串行 decode 慢，默认关闭。
推荐理由：作者在 M4 Max 上给出了显存占用、decode 与 prefill 速度等实测数据，读者可以据此评估这个 180B 模型能否在自己机器上跑。
Alisio 发布首个稳定版 0.1.0，是一个可扩展、provider 无关的终端 coding-agent 框架，接任何 OpenAI 兼容模型，需 Node.js >= 22.16 或 Bun。本地工具默认只读，写操作、进程和网络调用需逐次确认，长对话压缩为结构化 checkpoint，并内置可禁用的 SQLite FTS5 持久记忆插件 @alisio/plugin-memory。提供类型化插件 SDK、plan mode、MCP 支持和 Linux/macOS/Windows 独立二进制，MIT 协议。
推荐理由：README 明确列出了权限模型、上下文压缩结构和插件 SDK 的设计细节，想研究终端 coding-agent 搭法可以参考它的取舍。
TrAI_NER 是一个面向学术 NLP 项目的交互式语料库查询工具，结合 spaCy 规则与统计 NER 管线和 Ollama 本地 LLM，支持用自然语言对标注语料做语义检索与过滤。项目在约 88k token 的伊朗-美国地缘政治新闻语料、合成金标准及约 18M token 的大规模压力语料上做了评测，并附带语料清洗与合成语料生成脚本，需 Python 3.10+ 和 Ollama 运行。
Synapse 是一个在 .NET 10 环境下用 C# 和 Rust 在本机运行大语言模型的开源推理引擎，不需要 Python、服务器或网络。它借鉴果蝇脑连接组的按需激活思路，只加载 token 所需的区域，冷区域留在磁盘按需读取。
推荐理由：项目用问答基准给出与 llama.cpp、MLX 的速度和内存逐项对比，读者可以据此判断这个 C# 推理引擎目前适用的场景。
这是一个 macOS 本地 RAG 管线教程：Ollama 运行预训练 Mistral 模型，Qdrant 存储 PDF 的嵌入向量，模型本身保持冻结，仅基于检索到的文档片段回答问题。教程要求 32 GB 内存的 Mac，涵盖安装 Ollama、用 Rust 从源码构建 Qdrant（默认监听端口 6333）、创建 Python 虚拟环境，并通过 API 把 RAG 服务暴露给局域网内的 Windows、iPad 或 iPhone 设备。
kekzl 发布了开源推理引擎 imp（MIT 协议），专为 RTX 5090 一代芯片（sm_120a）编写，直接在 NVFP4 4-bit 格式上计算，一个 docker run 即可部署，提供 OpenAI 和 Anthropic 兼容 API 及内置聊天。基准测试中 Qwen3-8B Q8_0 达 385.4 tokens/s，比 llama.cpp 默认快 +141%；还支持将 56.25 GiB 专家权重放在主机内存的 Qwen3.8-Flash-Next NVFP4，以 65.31 tokens/s 运行超出 32 GB 显存的模型。
推荐理由：README 给出了与 llama.cpp 的逐行基准数据和设计取舍说明，可据此判断这类单卡专用推理引擎是否值得替代通用方案。
这是一个本地 RAG 教程项目：用 Ollama 运行预训练 Mistral 模型，Qdrant 存储开放教育资源 PDF 的向量索引，查询时检索相关文本块并交给 Mistral 生成有依据的回答。文中给出 Mac（32 GB RAM）上的完整搭建步骤，包括通过 Rust 源码构建 Qdrant、安装 mistral 和 nomic-embed-text 模型，并通过 FastAPI 在 8000 端口提供 :8000/rag 服务，供局域网内 Windows、iPad 或 iPhone 访问。
DevAnimecx发布free-ai-agent-stack仓库，收录384项免费资源，其中222项无需信用卡，全部链接在30天内经人工核验并每日自动检查。清单覆盖70项免费LLM API、64个MCP服务器、82项Agent工具、90项免费基础设施和78项技能资源，并保留OpenAI、Anthropic、xAI、DeepSeek等15项已不再免费的条目及原因；数据以YAML存储，按CC BY 4.0提供JSON接口和llms.txt供AI直接消费。
推荐理由：作者逐条人工核验了384项免费资源并保留已停止免费的条目，方法透明，适合想零成本搭建AI Agent的开发者直接取用。
Tosin Akinosho 发布开源桌面应用 Vault（local-knowledge-vault），支持在本地与自己的笔记对话，每个答案以编号引用标注来源笔记，笔记存于本地 SQLite，默认通过 Ollama 或 LM Studio 调用本地模型（推荐 qwen3:8b），也可接入 OpenAI、Anthropic、Groq 等云端服务商。应用支持 macOS、Windows、Linux 安装包，提供 YouTube/本地媒体字幕问答、间隔复习的 Study 模式、Obsidian 导入与桥接，声明式插件不能运行代码；检索为 SQLite FTS5 关键词搜索，无嵌入向量，项目以 Apache License 2.0 开源。
推荐理由：项目完整说明了引用溯源、本地 SQLite 存储和模型接入方式，还坦率列出自身短板，适合关注本地知识库方案的人参考。
audio.cpp 项目方宣布一系列运行时优化：Higgs Audio TTS 峰值显存降低 48%，约 6GB 即可运行；HTDemucs 在 CUDA 上提速 2.21 倍，PocketTTS 在 CPU 上提速 2.23 倍。其余优化包括 ACE-Step、MOSS-TTS v1.5、Qwen3-TTS、IndexTTS2/2.5 等模型的显存与速度改进，并称未损失一致性。WebUI 新增实验性生成历史功能，项目现已支持 110+ 音频模型家族和 190+ 变体，覆盖 CUDA、Vulkan、Metal、AMD/HIP 和 CPU，同时公开招募前端贡献者。
个人开源项目 Snotra Agent（原名 Snotra AI）发布，这是一个围绕单一文件夹工作的桌面 Agent，支持 OpenAI、Anthropic、Google、Ollama 及任意 OpenAI 兼容 API，无需账号、无遥测。默认 Smart 模式下读取不需询问，但改文件、碰敏感文件、执行命令都先弹审批卡，命令执行默认关闭，macOS 与 Linux 提供沙箱，Windows 尚无沙箱；Auto 模式需用户手动开启。应用支持 SKILL.md 技能、MCP 服务器、Python 与 shell 工具、网页搜索与抓取，README 中与 Goose、LM Studio、AnythingLLM 等同类工具逐项对比，并给出从源码构建与 Linux 安装细节。
推荐理由：这个开源桌面 Agent 把命令执行默认关闭并逐条审批，作者还与 Goose、Claude Desktop 等同类逐项对比，可作选型参考。
iamvenuti 在 GitHub 发布 Garrick，一个运行在 Claude Code 或 Codex 之上的 macOS 知识工作 AI 幕僚长，所有记录以纯文件保存在用户自己的 Mac 文件夹中，跨会话可恢复，MIT 许可。它支持两类记忆、按 zone/project/thread 组织工作区，并可声明信息边界，在提交前对支持的文本文件检查是否跨墙泄露特定方信息；作者同时说明该检查有限制，改写后的内容、生成的 Word/PDF 等不在扫描范围内。
推荐理由：这个跑在 Claude Code 或 Codex 上的知识工作管家把信息隔离墙写成规则加提交前检查，原文也坦白说明了检查的局限。
magicnight 在 GitHub 发布 macMLX，一款基于 Apple MLX 的原生 macOS LLM 推理应用，提供 SwiftUI GUI、CLI 和常驻 OpenAI 兼容 API，约 50 MB 且全程无 Python。截至 v0.9 支持文本加 16 种 VLM 架构（最大约 70B）、分层 KV 缓存、连续批处理、投机解码、LoRA、MCP server、语音转文字与合成及 /v1/rerank，并以纯 Swift 移植了 DeepSeek V3.2 等架构，与 Python 参考实现按 1e-4 精度校验一致。项目与 LM Studio、Ollama、oMLX 逐项对比，称其独有 Swift 进程内引擎；DMG 尚未公证，首次启动需 xattr 清除 Gatekeeper 隔离。
推荐理由：原文给出与 LM Studio、Ollama、oMLX 的逐项功能对比和版本演进明细，可看出纯 Swift 无 Python 方案在 macOS 本地推理中的取舍。
GitHub 上的 ryu-rooms 项目提供由活跃 Ryu 节点托管的共享模型房间功能，支持二维码邀请、同步转录文本，以及跨设备的受治理 Mesh LLM 推理。项目采用 Apache-2.0 许可证，每个 release 附带全平台预编译二进制，可通过桌面应用、CLI（`ryu apps add @ryu/rooms`）或 cargo 安装，代码从 Ryu monorepo 同步生成，欢迎提交 Pull Request。
Baicaicn23 在 GitHub 开源 StudyGraph，一个用 LangGraph 编排的面向大学生的学习助理，串联聊天、学科知识库检索、错题沉淀与出题复习闭环。核心包括意图路由到子智能体、SQLite + FTS5 与向量 RRF 混合检索、写操作 Human-in-the-Loop 确认、AsyncSqliteSaver 断点持久化、FastAPI SSE 接口和 Next.js 16 Web 界面；自带 Hit@K/MRR 与意图准确率评测门禁及 77 个 Mock 测试，默认确定性 Mock 模型、可切换任意 OpenAI 兼容平台。
推荐理由：仓库把 LangGraph 状态机、HITL、检索与评测门禁用在学习助理场景，分层与基线回归做法可以迁移到自己的 Agent 项目。
作者 /u/deepu105 发布了 pi-automode-classifier，一个 Pi 编码智能体的自动模式插件，用内置规则加模型对每条 shell 命令分类，ls、构建和测试直接放行，rm -rf ~ 拦截，git push 和 sudo 需人工确认，未知命令交给模型输出风险概率，超阈值才弹确认，模型本身不会直接拦截。可选方案：经 OpenRouter 调用 TypeSafe 的 Jev 1.13，约 270 ms/次、约 1.5 美分/千次；Kev-0.8B 用 llama.cpp 跑在 CPU 上约 170 ms/次、占 1.1 GB 内存，数据不出本机；Laya typed-decisions CPU 上约 100 ms/次、约 550 MB 内存。
GitHub 上开源的 Netflix Customer Intelligence & AI Copilot 项目将客户、订阅、支付、观看、客服和反馈数据整合为端到端分析系统，基于 DuckDB 构建确定性分析引擎并提供自然语言查询界面。项目数据集包含 8,000 名客户、历史流失率 24.89%、支付失败率 6.51%，并内置 30/60/90 天流失预测模型，测试集 AUC 分别为 0.5271、0.5503 和 0.5675，作者强调模型仅作实验性决策支持。
Even Hospital 的临床转录助手 Evenscribe 是一款手机端 PWA：医生通过 4 位 PIN 登录后录音口述病例，多引擎流水线生成结构化病历及基于知识库的临床决策支持卡片。语音处理使用 Deepgram 与 Sarvam，笔记生成用 qwen2.5:14b，决策支持用 llama3.1:8b，并支持说话人分离与多语言。项目基于 Next.js 15.5 部署于 Vercel（Mumbai 区域），目前处于生产环境临床试点阶段，仓库标注仅供院内使用。
Relay 是一个自托管、OpenAI 兼容的 LLM 网关与推理基准项目，目前处于开发第 1 周，规划中的能力均未完成。它基于 FastAPI 构建，暴露标准 /v1/chat/completions API，支持多租户 API key、模型白名单、Redis 限流、PostgreSQL 用量账本，并抽象 llama.cpp 与 vLLM 后端。基准测试将在本地 RTX 4050 和免费 Colab GPU 上测量 TTFT p95、吞吐与每百万 token 成本，结果以 Parquet 保存，目前所有基准数字均为 TBD。
jason-zzx 在 GitHub 发布 Hikaru Sub，一款将视频获取、本地日语语音转录、LLM 翻译、字幕校对与成片输出串成一条工作流的桌面应用，当前仅提供 Windows 版 NSIS 安装包和 portable zip。转录通过独立 Native worker 在 CPU 或 CUDA 上运行 Faster-Whisper 系列、Kotoba Whisper v2.0、Qwen3-ASR 1.7B + ForcedAligner 0.6B、日语 Parakeet 或 ReazonSpeech NeMo v2 生成 ASS 字幕；翻译调用用户配置的 AI 提供商接口，支持上下文窗口、自定义提示词和术语表；输出硬字幕 MP4 或软字幕 MKV。
推荐理由：原文完整交代了从下载、本地日语转录到双语字幕压制的工作流与模型选项，读者可以据此评估是否适合自建日语字幕流水线。
Lumen 是一款本地优先的 Windows 桌面任务管理软件，基于 Rust（Tauri 2）+ React 19 + TypeScript + SQLite 开发，含 417 项 Rust 测试与 220 项前端测试。它支持复杂重复规则、日历与提醒、悬浮今日小窗及完整备份恢复（带 SHA-256 校验），所有数据保存在本机、无需注册账号。可选接入 DeepSeek、OpenAI、Anthropic Claude 或 OpenAI 兼容服务实现整理/拆解/排程/复盘，不配置 AI 也能使用全部功能。
psjmz 在 GitHub 发布 ai-subtitle-translator，一个自托管的 .srt 字幕翻译工作台，可接任意 OpenAI 兼容 LLM（DeepSeek、OpenAI、GLM、Kimi 等），零 npm 依赖，单个 Node.js 文件即可运行。工具以整句为单位翻译而非逐行处理，规则引擎处理跨行断句、换行拆词、数字撕裂和时间轴漂移，支持 SRT/WebVTT/ASS 导入导出、双语字幕、14 种界面语言，附 43 个单元测试和一键 Ubuntu 部署脚本，采用 AGPL-3.0 许可证。
推荐理由：原文详细列出字幕翻译规则引擎的具体做法，句子合并、数字原子保护和宽度换行都可复用到类似场景。
Osaurus 发布了纯 Swift 编写的 macOS 开源 AI harness，将智能体、记忆、工具和加密身份完全保留在本机，支持完全离线运行，MIT 许可。标准版安装包约 70 MB，另提供捆绑 Raptor 0.6 模型的完整版（约 4 GB），要求 macOS 15.5+ 与 Apple Silicon。
Receipt Tracker 是一个软件开发训练营的毕业项目，目前仍在开发中，用于收据的数字化、整理与分析。它支持 JPEG、PNG、WebP 收据上传，通过 OpenCV、PaddleOCR 提取内容，并借助 LLM 生成结构化数据，已测试 Ollama 的 qwen3.8:27b、Mistral 的 mistral-medium-latest 和 OpenAI 的 gpt-6-luna。技术栈为 React + Node.js/Express + Python 3.12，使用 SQLite 存储，需 Node.js 22.12 及以上版本。
zzRouter 是一个面向 AI 智能体的最小权限控制平面，其 API 可取代 SSH 完成模型下载、提供商安装、启动和推理，覆盖 Linux、macOS 和 Windows 节点。它兼容 OpenAI、Anthropic Messages 和 Ollama API，提供虚拟密钥、团队、配额和模型路由，支持 llama.cpp、vLLM、MLX、Ollama 及云端 API 等提供商。项目以 Apache 2.0 许可开源，安装时通过 cosign 验证签名的校验和文件。
GitHub 上的开源工具 SIGIL 用单个静态 Rust 二进制文件审计本地 Ollama 模型：校验每个 blob 的 SHA-256 与 manifest digest、记录 license 层与 SPDX id，并在 observe 模式下经 fd 表归属 ollama serve 的监听套接字。每次检查输出 PASS / WARN / FAIL 裁决与 COMPLETE / INCOMPLETE 完整性，以 JSON 和 Markdown 交付，可附在评审工单上。全程无网络 I/O、不派生子进程，裁决只由确定性分析器加策略规则产生，不引入 LLM。
xian4840-cloud 在 GitHub 发布 Token Lens，一款 Electron + React 桌面应用，可在单一界面聚合 15 个服务适配器的账户余额与订阅余量，支持 DeepSeek、Moonshot Kimi、OpenRouter、智谱 GLM 等，并提供本地 coding agent 的 token 用量统计与花费估算。
推荐理由：一个聚合查看各家 LLM 余额与本地 coding agent 用量的桌面工具，适合想集中管理多服务商账户和花费的人参考。
LearnNote 是一个本地优先的学习笔记项目，可将 B 站、YouTube 字幕、本地视频及 PDF、Markdown 等文档转为可编辑笔记，本机后端与浏览器扩展均为 v0.2.14。双击启动脚本即可运行只监听 127.0.0.1 的服务，无需注册账号；本地转写采用 faster-whisper，复习采用 FSRS，字幕原文与 AI 总结分开保留。项目采用 Apache License 2.0，支持 Windows 10/11 x64 与 macOS。
最多提供 50 页，更早的内容请使用搜索或主题页。