新闻、仓库与研究，按时间排列。
LiquidAI 在 Hugging Face 上发布 LFM2.5-24B-A2B 的 GGUF 量化版本，该系列是面向边缘 AI 与端侧部署的混合架构模型。仓库中的 Q4_0 版本是量化感知蒸馏（QAD）checkpoint，训练用于恢复 Q4_0 量化损失的精度；各 GGUF 内置 general.sampling.* 元数据，llama.cpp 默认应用推荐采样参数（--temp 0.1 --top-k 50 --repeat-penalty 1.05）。
推荐理由：官方说明 Q4_0 版本采用量化感知蒸馏来恢复精度损失，并给出 llama.cpp 的推荐采样参数，便于本地部署复现。
开源项目 rikkahub-windows 将支持多供应商的大模型聊天客户端 RikkaHub 从 Android 原生移植到 Windows 10/11，使用 WinUI 3 / Windows App SDK + .NET 8 + C# 实现，零 Java。项目完整移植 OpenAI 兼容 / Gemini / Claude 三协议的 SSE 流式聊天、Markdown 渲染、Material You 动态取色等功能。安装包通过 GitHub Actions 云端构建，AGPL-3.0 许可，需 Windows 10 2004 (19041) 及以上 x64 系统。
LobeChat 是一个开源、现代化设计的 LLM 聊天框架，支持 OpenAI、Claude 3、Gemini、Ollama、Bedrock、Azure、Mistral 等多家模型服务商，可一键免费部署私人 ChatGPT 应用。它支持视觉识别、TTS & STT 语音会话、DALL-E 3 和 MidJourney 文生图，以及含 52 个插件的插件系统和 310 个助手的助手市场。项目还提供本地/远程数据库、多用户管理、PWA、移动适配和自定义主题。
snagnever 在 GitHub 开源 macstudio-local-llm 工作区，集中管理在 Mac Studio M4 Max（128 GB 统一内存）上运行的本地 LLM 基准测试。项目包含 benchmark 工具（git submodules）、各轮测试结果、Chart.js 仪表盘（GitHub Pages）、按任务选型的模型参考文档，以及对特定模型的运行时修复补丁，评测覆盖 MMLU、HE、MATH 及实际工作流场景的 tok/s 吞吐。
GitHub 上的 ai-picture-diary 项目开源，这是一个由本地 LLM 和 VLM 驱动的自动图画日记系统。项目整合 FastAPI 后端（提供认证、RAG、文本生成 API）、PostgreSQL 数据库、ChromaDB 检索本地 JSON 文档，通过 Ollama 或 OpenAI 兼容模型生成文字，配 Expo/React Native 前端和插图生成 worker，并用 GitHub Actions 完成 feed 生成与 GitHub Pages 部署，还提供可选的 LoRA 微调服务。
ajgazin 在 Hugging Face 上发布 Swift-1.5-Qwen3.8-27B-Uncensored 的 NInfer NVFP4 量化版本（swift15_qwen3_8_27b_uncensored_nvfp4.ninfer），面向 Blackwell（sm_120a）NInfer 引擎。文件包含 text、vision、MTP 和 DFlash2 组件，64 层经校准的 NVFP4 MLP，其余为 FP8，单文件约 22.78 GB。在 32 GB GPU 上驻留权重约 18.1 GiB（无投机解码）至 20.5 GiB（DFlash2），支持 --max-context 32768，采用 Swift Open License v1.0 许可。
kritzeLLM 是一个开源项目，把手写日记拍照后识别文字，支持按页面位置检索和问答，每个答案都附带指向具体页面的来源。整个系统通过 docker compose 在本地运行，技术栈包括 PostgreSQL 18.x、pgvector 0.8.x、Python/FastAPI 后端和 Vue 3 前端，但页面图片和文字需发送到 OpenAI API 处理，未来可能支持自托管 LLM。
GitHub 开源项目 LLM-Smart-Router 发布 Phase 1A，构建一个把简单提示路由到本地 qwen2.5:1.5b（经 Ollama）、复杂提示路由到 Groq 免费层 openai/gpt-oss-120b 的网关，全部免费无需付费 API。路由标签基于 routellm/gpt4_dataset 数据集（约 119k 条 GPT-4 判分的提示），按 mixtral_score 划分低/高档。项目还包含 Phase 1B 的逻辑回归分类器路由（TF-IDF 加手工特征，按 ROC-AUC 选优并校准阈值）和 Phase 1C 的 FastAPI 网关与纯 HTML/CSS/JS 聊天前端。
GitHub 仓库 yifeihu0926/llm-learn 发布 DeepSeek V4 / V4.1 模型学习文档，按完整架构、特殊 Block、具体算子的层级展开，覆盖投影、归一化、mHC、Attention、Indexer/selector、MoE、量化、缓存、通信等内容。
Pie 项目在 GitHub 上架预览版软件，允许用户用 Python、JavaScript 或 Rust 编写运行在模型旁的 WebAssembly 程序 inferlet，由其驱动 forward pass 并独占 KV cache，从而按应用实现 agent 循环、工具调用、自定义采样器和缓存策略，无需修改引擎。示例涵盖 beam search、投机解码、KV-cache 共享与扩散等；pie serve 在同一端口兼容 OpenAI、Anthropic 和 Google 的客户端 API，支持 cuda、metal、vulkan、wgpu 四种后端，npm 包可在浏览器经 WebGPU 编译运行，Apache License 2.0 开源。
推荐理由：README完整给出了安装、示例inferlet和四种GPU后端的构建方式，读者可以据此评估这个把控制逻辑下沉到模型旁的推理引擎是否适合自己。
InferBridge 0.9.6 正式版发布，把 Intel Windows PC 变成本地 AI 工作站，底层由 OpenVINO GenAI 驱动。它提供 Windows 优先的 OpenAI 兼容服务器，支持流式聊天、本地视觉聊天、嵌入向量、CPU/GPU/NPU 设备定向和 System Doctor 诊断，并提供 Windows 安装包与 Portable ZIP。目前安装包尚未 Authenticode 签名，需通过 SHA-256 校验，签名版与 Microsoft Store 上架正在筹备中。
GitHub 上的 headroom 项目是一个 AI 智能体，可针对目标 GPU 和工作负载评估 LLM 的 8-bit 与 4-bit 压缩，检查内存余量、质量与延迟。当质量下降时会进行微调，并计算需要多少次请求才能收回压缩、测试与微调所消耗的能源。
Ollama Herd 是一个本地推理路由器与负载均衡器，通过 mDNS 自动发现局域网内运行 Ollama 的设备，用打分机制按热状态、显存、队列深度等把请求路由到最优机器，仅需 pip install ollama-herd 后运行 herd 和 herd-node 两条命令。除 LLM 外还路由视觉（gemma3、llava）、图像生成（mflux 的 FLUX、DiffusionKit）、语音转文字（Qwen3-ASR）和嵌入向量，提供 OpenAI 兼容 API（端口 11435）、模型回退、46 项自动健康检查和实时仪表盘，支持 macOS、Linux、Windows，其中图像生成和 MLX 语音转文字仅限 Apple Silicon。
推荐理由：README讲清了部署步骤、评分路由维度和平台差异，想复用闲置设备搭本地集群的读者可以直接照做。
DevelopingDad 在 Hugging Face 发布 Qwen3.8-Flash-Next-Uncensored-NVFP4 的 DGX Spark 部署包，封装 OrcaRouter 现有量化权重， checkpoint 约 183.5 GB，未做微调或重量化。包内含自动挂载运行时补丁的启动器，基于 ARM64 vLLM 0.30.0 提供 OpenAI 兼容 API，最大上下文 131,072 tokens，需 DGX Spark/GB10 与 128 GB 统一内存。K1b 配置实测单客户端 prose 吞吐 37.29 tok/s，较此前配置提升 48.9%，52/52 请求全部完成、无 OOM。
开源项目 selfhost_chatty 提供一个基于 Ollama Cloud API 的单用户自托管聊天应用，支持流式 NDJSON 回复、工具调用（web_search、fetch_page、calc、python、memory_write 等）和每会话独立的聊天模式。内置 16 种 persona、分栏对话、四档推理级别、Markdown/PDF 导出及真实 token 统计面板。后端采用 FastAPI + SQLite，前端为 React 19 SPA，通过 chatty 命令一键部署，仅需在 .env 配置 OLLAMA_API_KEY。
GitHub 上开源的 MSA v2.0 是一个自主、隐私保护的移动应用渗透测试平台，内置 10 阶段自动化分析流水线，结合本地混合 RAG 引擎（BM25 + TF-IDF，RRF k=60）和本地 Ollama 推理（qwen2.5-coder:1.5b），无需云端即可检测 Android 和 iOS 漏洞。在 DroidBench 3.0、Ghera 及 104 个真实 Google Play 应用的评测中，其召回率达 94.2%，误报率降至 7.8%，平均扫描时间 47.3s，并能自动生成 CVSS v3.1 评分与代码补丁，全程 100% 本地离线运行。
Vericode 是一个离线 AI 代码验证工具，通过 Git pre-commit hook 用本地 LLM 在提交前捕捉幻觉导入、不安全代码并甄别误报，源码不上云。其架构分三层：import_check 快速标记幻觉包、Semgrep 离线规则安全扫描、Qwen2.5-Coder-7B（Q4_K_M）经 Ollama 做本地推理与修复建议。仅 setup 时需联网，之后全部离线运行，被拦截的提交可用 VERICODE_OVERRIDE=1 强制通过。
CodingFleet Desktop 是一款在本地真实代码上工作的 AI 编程智能体，每条命令和文件改动都默认等待用户确认，并提供一键撤销、运行中纠偏和云端沙箱选项。支持 Windows 10/11、macOS（Apple silicon/Intel）和 Linux，内置 13 个 MCP 连接器（GitHub、Stripe、Sentry 等），Send 按钮旁显示费用预估。项目基于 Node.js 22+ 开源，可自行构建。
开源工具 codebone 在 macOS 菜单栏监听文件保存，通过 MCP 以约 2k token 将实时架构快照注入 Claude、Cursor、Codex 或 Gemini。它结合确定性静态扫描（支持 TypeScript、Python、Go、Rust、Java 等 9 种语言）与 Apple Silicon 本地模型合成，构建零幻觉的语义系统图。56 文件项目上单次查询仅 170–370 token，完整概览约 1,500 token，体积约 750 MB，要求 macOS 13+ 及 Apple Silicon。
Nihmar 在 GitHub 开源 LocalLLMTranslator，一款完全离线的桌面应用，用本地 llama-server 翻译小说、论文、手册等长文档，覆盖摄取、转换、翻译、审校到排版的完整流程，M0–M7 里程碑全部完成。架构上 Rust 作为控制平面管理队列与调度，Python sidecar 处理 EPUB/PDF 摄取、整块结构化切分、占位符保护与 Pandoc 导出；支持词汇表注入、滚动章节摘要、双语审校 diff、QA 报告和 .llmtz 项目打包，无遥测无网络调用。README 还给出单张 16 GB 显卡上 4B 翻译、12B 审校的双模型显存预算示例，以及 --parallel 分割上下文、思考模型耗尽 JSON 预算等已知陷阱。
QuantForge 是一个面向本地 LLM 的自动化实验工具，可将 FP16 checkpoint 批量量化为带质量指标的 GGUF 量化集，并与 llama.cpp 配合使用。它支持 Q4_0 到 Q8_0、Q2_K 到 Q6_K 及 IQ1_S 到 IQ4_NL 等量化格式，提供 imatrix 校准语料预设、基于 FP16 基线的 delta perplexity 评测、Pareto 权衡分析 SVG 图表和硬件自动调优。工具以 Typer CLI 和 FastAPI 仪表盘双界面提供，可直接拉取模型并将量化套件发布到 Hugging Face Hub。
Kernel-Hunter 在 GitHub 开源 Mudroom，将 Claude Code、Codex、Gemini CLI、opencode、Aider 等编码智能体运行在 Linux micro-VM 与项目写时克隆中，真实目录不挂载，网络限定为白名单主机。智能体完成后可按全部、部分文件或部分 hunk 审查并应用 diff，且每次应用都可撤销。macOS 应用与 CLI 需 macOS 26+ 及 Apple silicon，Linux 仅 CLI（需 Docker 或 Podman）；项目状态为早期原型，作者提示 Apple 后端下 VM 可达宿主监听端口、会话运行期间密钥以明文落盘等限制。
推荐理由：README详细写明了隔离实现、网络白名单机制与已知的隔离缺口，读者可以据此评估在运行无权限约束的编码智能体时是否适用。
ModelPort 是一个处于早期开发阶段的开源项目（Apache-2.0 协议），目标是让 PyTorch 或 Hugging Face 模型用 Python 的 modelport CLI 一次准备后，在 Flutter 端一行 Dart 代码即可在设备上运行，v0.1.0 尚未发布。其 CLI 负责模型导出、验证并生成 modelport.json 清单，Dart 端通过 ONNX Runtime、ExecuTorch、llama.cpp 三个适配器处理下载、缓存、预处理与推理。规划支持图像分类、目标检测和文本生成，示例包括 mobilenet_v3_small 和 qwen2.5-0.5b-instruct。
ibl.ai 开源了 AI Agent 平台 ibl.ai/os，采用 MIT 许可证，支持自托管，可接入 OpenAI、Anthropic、Google 等任意 LLM 且无需重写代码即可切换供应商。平台内置 RAG 训练、Web 搜索、Deep Research、LiveKit 实时语音通话、MCP Servers、多租户、SSO/RBAC 和 Stripe 计费等功能，已有大学、企业和政府机构在自有基础设施上部署。该平台是 ibl.ai 平台的前端，需配合其后端完成认证与 Agent API 服务。
GitHub 上的 epittman23/local-llm 是一个个人 AI 助手项目，通过 OpenRouter 调用云端开源权重模型，并使用 Open WebUI 的永久硬分叉（固定在 v0.11.3、vendor 进仓库）作为聊天界面。项目将原 SvelteKit 前端替换为 Astro + React 前端，聊天与 RAG 数据存于 Postgres+pgvector，后端以 uvicorn 运行在 127.0.0.1:4000。它需 Linux（2026-10-09 起为原生 Fedora 44）、Docker、Bun、Node ≥ 22.12 和 uv，并内置 Benchmarks 页面用于本地推理的测试与调优。
sathya801 在 Hugging Face 发布 NeuralDaredevil-8B-abliterated 的 Q5_K_M GGUF 量化版本，使用 llama.cpp 的 ggml.ai GGUF-my-repo 空间从 mlabonne 的原模型转换而来。用户可通过 llama-cli 或 llama-server 直接加载该模型，也可在 Llama.cpp 中自行编译并推理，server 模式示例使用 -c 2048 上下文。模型细节可参考原始模型卡。
GitHub 上的 smart-calculator 是一个本地优先的计算器助手，用 Streamlit、LangChain 和 Ollama 构建：LLM 负责理解请求并选择工具，Python 负责计算。功能包括基于 Decimal 的安全算术、Pint 单位换算、描述统计、复利和固定利率贷款月供，支持本地聊天界面与对话历史。需要 Python 3.10+ 和支持工具调用的 Ollama 模型（如 llama3.1），安装后可完全离线运行，应用本身不发起任何外部 API 调用。
AINode 在 GitHub 开源，一条命令即可在 NVIDIA GB10（DGX Spark、ASUS GX10）或任意 NVIDIA GPU 主机上安装自托管 AI 平台，提供浏览器内推理、微调、量化和 OpenAI 兼容 API，支持 UDP 自动发现组网和跨节点 tensor parallel。README 附带作者在自有 4 节点 487 GB VRAM 集群上的实测记录，包括 Qwen3-235B-A22B TP=4 16.5 tok/s、DeepSeek V4 Flash TP=2 34.5 tok/s 等吞吐与编码 harness 数据，并明确列出尚未验证的项目如 TP=4 当前路径和 Ornith 1.5 视觉。
Hugging Face 上线 Ternary Bonsai 2 27B Uncensored Heretic v2 的社区 MLX 2-bit 转换版，Safetensors 权重约 8.60 GB（含视觉塔），配置上下文上限 262,144 tokens，采用 Apache 2.0 许可。权重来自 Heretic v2 PQ2_0 模型，无损重打包为 affine 2-bit/group-128 存储且未做额外量化或训练。该模型需在 Apple Silicon Mac 上用 mlx-vlm 0.7.2 及支持 prism_hadamard_qwen35 架构的加载器运行，并提供 OpenAI 兼容 API。
Reddit 用户实测 JetBrains 的 Mellum2.1-12B-A2.5B（Q8）搭配 Pi 和 llama-server，五个 one-shot 测试结果参差：Flappy Bird 能完成但画面简陋，Browser OS、Minecraft 等表现不佳。模型工具调用和 agentic 行为出色，能发现并修复自己的编辑错误，还成功完成修改现有项目代码等任务。在 8GB VRAM + 32GB RAM 笔记本上以 131K 上下文跑出约 40 t/s。
GitHub 仓库 sanoakr/aijudge 开源了一套 STEM 作业自动评分平台，覆盖编程（C、Python）、日语报告、图片和 PDF，提交后秒级完成测试执行，约半分钟后返回模型评分。所有判定附证据且需教师最终确认，Dolos 在无网络沙箱中做相似度检测。平台部署在院校本地单机上，通过网关调用本地 LLM（ollama），学习者数据不出内网。
Nexora 1.5.0 是一款基于 Tauri v2 的本地优先桌面 AI Agent 应用，支持连接 OpenAI、Anthropic、Google Gemini、xKiro、OpenRouter、NVIDIA NIM、OpenCode Zen 等提供商，所有数据存储在本地单个 SQLite 数据库中，无账号和云同步。应用内置提示词库、文档附件、SQLite FTS5 离线全文搜索、JSON 导入导出，Agent 支持流式步骤、supervised/semi_autonomous/full_autonomous 三种自主模式及暂停/恢复/取消控制。API 密钥仅存于系统 keyring，技术栈为 React 19 + Rust，安装包通过 GitHub Releases 提供。
GitHub 上开源的 wormhole 是一个免费自托管的语言模型网关，把所有配置的 provider 统一为 OpenAI 兼容 API，支持 groq/llama-3.3-70b 这类 provider/model 格式，内置 dashboard、用量追踪和 API key 管理。通过 config.yaml 声明 provider，API key 只存放在 gitignore 的 .env 中。开箱即可用 Pollinations、LLM7、Kilo、OVH 等免密钥模型，另附 CLI 工具 wh，匿名共享池限制为 30 req/min/IP。
jackclub-cn 在 GitHub 开源了 OpenLLM Gateway，一个自托管 LLM 网关，提供多提供商聚合、模型路由、访问密钥、用量统计和管理控制台。后端为 Rust + Axum，数据存 SQLite，前端嵌入单个可执行文件，提供 Windows、Linux、macOS 预编译二进制；兼容 OpenAI /v1/chat/completions、/v1/responses、/v1/completions、/v1/embeddings 和 Anthropic Messages 协议并支持跨协议双向转换，支持多密钥故障切换、会话亲和路由、每日 Token/费用额度与请求日志查询导出。
推荐理由：README 讲清了网关的多上游聚合、协议互转和密钥限流设计，想自托管统一 LLM 入口的读者可以按需参考部署方式。
Showdar Router 在 GitHub 发布，为 OpenCode 及 OpenAI 兼容客户端提供本地路由网关，将多个提供商、凭证和模型统一到 http://127.0.0.1:21298/v1 单一端点。支持有序 combo fallback、健康感知冷却与恢复（half-open 探测、Retry-After 等恢复元数据）、空响应视为路由失败，默认端口 21298，可通过 npm install -g showdar-router 安装，MIT 协议，源自 decolua/9router 的独立 fork。
推荐理由：README 讲清了健康感知路由、有序 fallback 和恢复元数据的处理方式，想给多提供商工具做统一本地网关时可以参考这套做法。
GitHub 开源文档仓库 herbal-remedies-guide-info 展示一个基于《The Little Handbook of Natural Remedies》的 RAG 草药问答助手。它默认使用 Mistral 7B (v0.3) 自托管模型，通过 Ollama 本地开发、vLLM 4-bit 生产部署，在 Modal serverless GPU 上冷启动约 20 s、热响应约 3 s。检索采用手写混合方案（嵌入相似度加关键词评分），不依赖 LangChain 或第三方 LLM API，前端用 React 19 + TypeScript，并配有 Stripe 付费访问控制。
GitHub 上的 local-llm-bench-lab（v0.11.0）发布，用一个 YAML 文件描述模型、llama.cpp 设置和变化参数，自动编译、下载模型、跑完所有组合并存入 SQLite，最后给出胜出配置和对应的 llama-server 部署命令。工具优先为 Raspberry Pi 5 设计，也可在任意 Linux PC 包括 WSL2 上运行，测量速度、延迟、质量与并发，每个结果记录 llama.cpp commit、模型 sha256、完整 flags 和机器信息，附带置信区间、运行间冷却和不稳定标记，并可选用 lm-evaluation-harness 与 LLM judge。
推荐理由：工具用单个 YAML 定义实验矩阵并自动记录 llama.cpp commit、模型 sha256 与硬件信息，可迁移到自己的本地模型对比流程。
GitHub 上的 Caelush 是一个运行在本地的编程 Agent，可用自然语言描述任务，围绕工作区读取代码、生成补丁、执行命令并验证结果。它由本地 Daemon 作为唯一执行入口，Agent Kernel 划分 Security、Runtime、Verification、Storage 等职责，Web 与 CLI 共享同一套会话与协议，状态写入 SQLite 支持断线恢复。项目处于早期开发阶段，接口可能发生不兼容变化，需 Node.js 24.x 与 pnpm 11.x，内置 OpenAI、DeepSeek、OpenRouter 与 Anthropic Provider 预设。
灵魂体仓库开源的 ai-provider-ide 是一个本地桌面 IDE，用声明式 adapter manifest 描述各提供商，并通过向导探测识别未知 API。它在 127.0.0.1 上暴露 OpenAI 形状的网关（应用内默认 8787 端口，无头 daemon aiproviderd 默认 8800），供 Cursor、Claude Code 等工具统一调用，API key 以 mode 600 存本地。目前仅在 macOS 上开发测试，尚无下载版本，支持路径是从源码构建（需 Node.js 22、pnpm 10.12.4、Rust stable）。
SharpAI 开源了 SwiftLM，一个原生 Swift 编写、面向 Apple Silicon 的 MLX 模型推理服务器，提供严格 OpenAI 兼容 API，无需 Python 运行时，编译为单一二进制文件。项目内置 TurboQuant KV 缓存压缩（约 3.6 bits/坐标，较 FP16 压缩约 3.5 倍）、NVMe SSD 专家流式加载（Qwen3.5-122B 上提速约 10 倍）、投机解码与 MTP，支持 VLM 和音频模型，并附 iOS 端 SwiftBuddy 应用。