新闻、仓库与研究，按时间排列。
Chopinfer 是一个提供 OpenAI 兼容 HTTP API 的 Rust LLM 服务器，面向 Linux x86_64 与 NVIDIA RTX PRO 6000 Blackwell 96 GB GPU（SM120）。已验证 MiMo V2.6 Flash、Qwen3.8 Flash 和 GLM 5.3 Flash 的多卡配置，其中 MiMo 与 Qwen 支持 2 或 4 卡，GLM 需 4 卡，并支持 AR、MTP、DFlash 等解码方式。
GitHub 仓库 zazuss/jetson-orin-tuning 公布了在 Jetson Orin（Nano 8GB、Super、NX、AGX）上做 LLM 推理的实测调优结论，所有数字来自 7.3 GiB Orin Nano 的真实测量。
推荐理由：全部数据来自作者在 7.3 GiB Orin Nano 上的实测，给出了瓶颈诊断表和量化格式、词表、KV 缓存的具体调优结论。
作者发布 GitHub 仓库 zazuss/mlc-llm-on-jetson，记录在 Jetson Orin Nano 8GB（L4T R39.2.1 / JetPack 7）上从源码编译 MLC-LLM 并运行 Qwen3-1.7B q4f16_1 的完整流程。因该平台无预编译 aarch64 CUDA wheel，四条分发路线均不可用，只能源码编译。实测空 prompt 下单流 decode 53.7 tok/s，比 llama.cpp 同模型快 32%；但 8K 上下文时 decode 掉到 14.96 tok/s，32K 直接 OOM，归因于 MLC 缺少 KV cache 量化（每 token 固定 112 KB）及 TVM 通用 GEMM 模板的低效 attention kernel。
推荐理由：作者给出从源码编译到跑分的完整记录，并用 tegrastats 数据把长上下文掉速归因到反量化 ALU 瓶颈。
Husk 项目发布 husk-0.2.0.mcpb 公共预览，为 Claude Desktop 等 AI 聊天提供带终端、文件和浏览器的命名本地工作区，结果可保存并在下次会话复用。工具含 8 个工作区工具加 26 个计算机工具，浏览器以 accessibility ref 驱动真实 Chromium，支持 docker、podman、ssh、fly、local 五种隔离提供者并明确说明各档隔离强度；还支持把 Claude Code、ChatGPT、Cursor 等会话记录经 distill 转成可运行的 YAML Agent 规格，不请求 API 密钥、无遥测，Apache-2.0 协议。
推荐理由：README 详细写明了隔离提供者分级、安全模型边界和已知限制，读者可据此判断这条 Agent 计算机工具链的实际可用性。
GeulPU 是一个在本地 GPU 上运行 GGUF 模型的推理引擎，通过书面精度契约保证同一请求在任意批量、slot、prompt 缓存和投机解码下输出逐位一致，exact 模式下 NVIDIA 与 AMD GPU 结果也一致。它自带调试器，可录制 agent 会话、逐位重放、从任意 token 分支并按请求对比不同量化版本；默认设置下速度多数场景快于 llama.cpp，投机解码在代码编辑任务上快 3.5-4 倍且输出逐位相同。引擎以韩语关键字编程语言 글(geul) 编写，下载约 1.5 MB，仅依赖显卡驱动，支持 Qwen3.6-35B-A3B、Qwen3.5、Qwen2.5、DeepSeek-R1-Distill、Llama 3 和 Mistral，提供 OpenAI 兼容 API，MIT 许可开源。
推荐理由：同一个请求在批量、缓存、投机解码甚至不同 GPU 上都得到逐位相同的结果，这个确定性契约让本地模型可以像程序一样调试和对比。
Relayna 发布 Gateway v1.0.0，这是一个用 Rust 编写的 AI 流量代理与控制平面，可对调用方进行认证、应用策略，并将请求路由到 LiteLLM、直连提供商或注册服务，提供 OpenAI 和 Anthropic 端点、HTTP/SSE 流式传输及可选 WebSocket 传输。该版本扩展了操作员控制台，支持全项目 Usage、协议感知 Traffic 和实时网关容量监控，并保持与 v0.1.49 的代理与计费契约兼容。部署需要 PostgreSQL 14+、Redis 6+，新版本须通过原生 body-admission benchmark 验证。
Codebud 是一个本地运行的编码智能体，用 Ollama + Qwen2.5-Coder 把自然语言请求转成可执行计划，数据不离开本机，推荐模型为 qwen2.5-coder:3b-instruct-q4_K_M。项目提供 GNU 标准 Makefile 构建、`codebud doctor` 环境检查、Texinfo 手册及可注册的 OpenClaw skill（支持浏览器 UI）。代码以 GPL-3.0-or-later 许可开源。
/u/yehyakar 在 RTX 5080 16GB、Core Ultra 9 285K、62GB DDR5-6800 环境下用 Basalt 测试 Qwen3.8-Flash-Next IQ3_S，262K 上下文、int8 KV。上下文扫描（15K-207K）平均 prompt 处理 5,475 tok/s、峰值 5,662 tok/s，生成平均 154.9 tok/s、峰值 186.6 tok/s；Agent 编码会话（opencode 103 次请求、最高 130K ctx）生成平均 153.0 tok/s、峰值 262 tok/s，99.5% 的 prompt token 来自缓存，首 token 中位时间 0.2 秒，显存占用 15.7GB。
GitHub 上的开源项目 stevemtg/local-mcp-server 通过 MCP 协议让本地 AI 模型调用 ComfyUI 生成图像，并结合 Ollama 运行模型与嵌入，支持图像检查、透明度检测、白底去除和代码语义搜索。服务器负责协调 GPU 内存：图像生成前卸载 Ollama 模型，任务结束后重新加载。该项目通过 Cline 等 MCP 客户端接入，需 Python 3.10+，配置后可完全本地运行，无需云端推理 API。
作者发布了一个 Strata 运行时去拒绝方案包，收录 ISTA-DASLab 的 Q2_0、IQ2_XS、IQ3_XXS、IQ3_S 四档 GSQ-RCO 量化权重（逐字节复制并校验 SHA256），外加一个 480 KB 的拒绝方向向量文件，来自 Huihui 对 144 个残差写入张量的秩一编辑，在推理时对每层残差流做投影 h = h - (h·r)r 以移除拒绝行为。
推荐理由：作者用拒绝率、KL 散度和解码速度实测了运行时去拒绝向量的效果，数据可直接用于判断这种方案对输出的改动幅度。
作者发布了一份经实测的非官方指南，介绍 macOS 27 自带的 /usr/bin/fm 命令，它可免费、离线调用 Apple Foundation Models 约 30 亿参数的端侧模型，无需账号或 API key。指南覆盖 sudo fm license 授权、fm respond 摘要与图像描述、fm schema object 结构化 JSON 输出、fm chat 会话管理，以及 fm serve 提供的 OpenAI 风格本地端点（模型名须为 system，默认流式输出）。实测发现单会话上限约 8,100 token，输入超约 6,000 token 后易被拒答，代码、数学和世界知识类问题表现较弱。
推荐理由：作者在 Apple Silicon iMac 上逐条实测了 fm 命令的设置、JSON 输出、本地 API 和约 8,100 token 上限，并标注了未验证之处。
TeaGo-lab 在 GitHub 发布 QuickMemo，一款基于 Node.js + Tauri v2 的 Windows 本地桌面工具，用于收纳随手丢入的文字、截图、链接和文件。它支持 Ctrl+V 粘贴与拖拽归档，用 LLM 自动分类并生成中文标题、摘要与 #标签，内置 DeepSeek、硅基流动、通义千问、OpenAI 和本地 Ollama 预设，未配置 Key 时走本地规则。所有记录以 Markdown 文件存储，兼容 Obsidian，支持 Alt+Space 全局呼出与三栏式检索。
NeonMC23 的 forgeCORE 是一个基于 llama.cpp/ggml 的轻量 Rust 抽象层，自身不含计算逻辑，负责打开 ggml backend、管理 tensor 与计算图、通过 libllama 加载 .gguf 模型，并运行 Model → Context → Batch → decode → Logits → sample 的最小 CPU 推理路径。它暴露 tokenizer、KV/state 原语（state snapshot、position shift、KV cache dtype）、GPU offload 选项（默认 CPU，无 GPU 时显式报错），并内置冻结的标量 oracle 用于交叉验证；目前 CPU 推理路径已通过验证。
一个在 Apple Silicon 上全离线运行的 Streamlit 应用，用 IBM Granite Speech 5.0 TurboCTC（470M，encoder-only）做英语语音转写，配 Silero VAD v6 生成分段时间戳。可选开启 Granite 4.2 3B（8-bit）本地分析，生成摘要和按"是"概率排序的 yes/no 问题。30 分钟音频完整分析在 M2 Pro 上约需 23 s，双模型加载峰值约 7.7 GB 内存，仅支持英语，输出为无标点小写文本。
GitHub 项目 EliteIntel 发布 V1.1 多语言版本，提供 Linux 和 Windows 安装器。它可 100% 离线运行或接入云服务，LLM 支持两种配置：免费的本地离线模型（需 GPU 硬件）和更易搭建的云 LLM。项目采用 CC0 1.0 Universal 许可证，架构为解耦、多线程、基于反射的事件注册，欢迎通过 pull request 贡献代码。
HobbyCoders 发布免费开源（AGPL-3.0）的 AI Agent 工作区 AI Shuffle，可在 PC、家庭服务器或 NAS 上运行 Agent，支持 Claude、OpenAI、xAI、OpenRouter 订阅或 API key 以及 llama.cpp、Ollama 等本地模型，提供 Windows/Linux 桌面版、Docker Compose 服务端和 Android 客户端。其自研引擎 Fluid 主打不丢失信息的快速压缩、自我维护的记忆、可复用技能和批量工具调用；Claude Pro/Max 订阅经由官方 Claude Code CLI 驱动，另有可选付费的 AI Shuffle Cloud 用于免 VPN 远程访问。
推荐理由：原文详细说明了各接入模型的运行方式和 Fluid 引擎在压缩、记忆上的具体做法，想自托管多模型 Agent 的读者可以对照评估。
codex-bridge 新增统一 router（127.0.0.1:8790），可在同一会话内按模型名在 GPT 与 OpenCode（如 DeepSeek V4.1 Flash、GPT-6.1-Sol）之间切换，保持相同会话 ID 与历史。支持官方 Responses 直连 DeepSeek V4、GPT、Grok、Muse Spark 等模型，auto_compact_token_limit 设为 50万 token，不记录请求日志或 token。要求 Node.js 22.16+ 与 Python 3.11+，并通过脚本在空闲时更新服务，实测验证覆盖 GPT-6.1 Sol 与 DeepSeek V4.1 Flash。
GitHub 开源项目 lecorder 是一款本地优先应用，可录制课程或导入媒体文件，生成带原始音频和时间定位的 Markdown 笔记，并统一管理 PDF/图片讲义的原文、逐页解读、大纲与术语表。它支持录音、实时草稿、语音转换及 LLM 审校建议的批准/拒绝记录，可全量检索资料并统计语音与 LLM 用量。已在 Apple Silicon macOS 上实测可用，Windows/Linux 仅通过自动测试。
一位 LocalLLaMA 网友晒出由 4x 5060ti 16GB、4x 3060 12GB 和 256GB DDR4 3200（4 通道）组成的推理平台，成本与 DGX Spark 相当。其规划是 5060 组 TP4 接 pipeline 到 3060 组，把不常用的专家卸载到内存，engram 放 NVMe SSD，询问此方案能否高速高精度跑大 MoE 模型，还是远逊于统一显存/内存架构。
开源项目 Skybreaker 在用户自有 Linux 服务器上以 gVisor 沙箱按项目运行 Claude Code、Codex 和 pi，内置 broker 托管凭据、按策略逐请求放行、挂起或拒绝。支持经 Tailscale 从网页、手机、终端或 VS Code 驱动，提供审计与 kill switch、分支级 diff 审查与 PR 流程，AGPL-3.0 协议，当前为 pre-1.0。
推荐理由：这是一个开源的编码智能体沙箱方案，凭据由独立 broker 托管并逐请求审批，适合关注本地部署安全的开发者参考其架构设计。
1337hero 发布自托管聊天界面 Faster Chat，可接入 OpenAI、Anthropic、DeepSeek 等 17 个内置云端供应商，也能通过 Ollama、LM Studio、llama.cpp 完全离线运行，数据存于本地 SQLite。功能包括跨对话记忆抽取、Brave 搜索联网、图像分析与生成、多用户角色管理，支持一条 Docker 命令部署；项目已达成对标 Open WebUI 的目标，转入维护模式，不再计划 RAG、MCP 等功能。
推荐理由：这是一个自托管 AI 聊天界面的完整功能清单与部署文档，读者可以据此评估它作为 Open WebUI 私有化替代方案的取舍。
该 GitHub 仓库包含四个围绕账单与支付运营问题构建的作品集演示项目，全部使用合成数据，无生产部署。Reconciliation Engine 用 Python 和 SQL 对账，100 万行合成数据单次运行 12.7s（pandas）/11.1s（SQL）；LLM Support Desk 基于 Ollama llama3.2:1b 本地分诊支付申诉，由确定性规则决定最终动作，23 条标注工单中类别一致率 13/23。另有 .NET 8 固定宽度文档布局工具和 Collections Aging SQL 项目。
just-core 是一个全家桶应用的内部共享库（不发布到 npm），检测硬件、推荐并下载 GGUF 模型，自动拉起 OpenAI 兼容的 llama-server（预编译包内置 CUDA 运行时）。它以纯 JavaScript 运行在 Node 24 上，包含 @delebash/core 服务端套件、Vue 共享 UI 与应用模板，并于 2026-10-18 从 just-llm-runner 更名。模型启动配置按四级规则解析：估算仅作准入、引擎默认 fit、用户显式设置精确生效、实测调优以超过 5% 平局的严格优势获胜。
Nystic-Shadow 开源了 Opencode2api，一个零依赖的 Node.js API 网关，把上游 OpenCode Zen 免费模型转换成 OpenAI 和 Anthropic 兼容端点，供 Cursor、Cline、Roo Code 等客户端调用。核心实现包括注入反编译的 CLI 工具 schema 绕过反爬校验、按位取反算法生成会话 token、Cloudflare WARP SOCKS5 隧道自动换出口 IP（约 1.2 秒完成密钥轮换）、模型级联故障转移、思考流（thinking_delta）与多模态视觉支持。后端仅用 Node.js 核心模块，内存低于 30MB，附 15 项测试全部通过的验证套件，MIT 协议发布，支持 Docker Compose 一键部署。
推荐理由：README 详细披露了绕过 OpenCode Zen 反爬校验的具体实现，读者可以对照源码和测试向量自行复现这套网关方案。
一位用户在 r/LocalLLaMA 询问，€250-€300 购入两台改装 Dell Precision T5810（分别配 Xeon E5-2699 v4 22 核与 E5-2698 v4 20 核）加 32GB DDR4-2666 RDIMM 和 NVMe 转接卡，用于搭载其 Gigabyte RTX 3090 24GB 跑 llama.cpp 与 Strata 推理。计划先本地运行 Qwen 3.8 27B，后续扩至 128GB-256GB 内存以卸载约 120GB 的 Qwen 3.8 Flash Next MoE，目标 20+ tok/s；第二台兼作孩子的 Linux 学习机与 Proxmox 节点。
ANEMLL Forge 0.2.1 发布，Qwen3.8-27B 在 M6 32GB 的 Neural Engine 上最高可跑 192K 上下文。新增 INT8 K/V cache（为 FP16 一半）并用共享输出 head 的更小 drafter 节省 0.86 GB ANE 内存；decode 依内容为 JSON 35–62 tok/s、code 18–32、prose 10–17，prefill 短上下文 260 tok/s、192K 时 62；作者称 96K 是 32GB 下的甜点位（123 tok/s prefill、约 27 tok/s decode、约 21.4 GB 内存），完整 192K 首次编译约需 2 小时，用 --ctx 只编译所需条目时 16K 从下载到运行约 10 分钟。
TensorSharp 开发者在 MiniMax-M3.1-Flash 开放权重发布当天加入支持，支持 GGUF 推理、MiniMax Sparse Attention 专用 CUDA kernel、图文输入、tool calling、多 GPU 拆分与张量并行、DSpark 投机解码和 MoE 专家 CPU offload。在 8× NVIDIA A40、双方使用相同 Unsloth UD-Q4_K_XL GGUF 的对比中，64K executor prefill 达 2,567 tok/s，对比被测 llama.cpp 分支的 262 tok/s 提升约 9.8 倍，server 首字时间从 293.4 秒降至 40.0 秒；64K decode 提升 1.49 倍，短对话 decode 基本持平。
推荐理由：开发者给出两引擎在8× A40上的prefill与decode实测，并解释长上下文差距来自稀疏注意力的实现差异，可复现。
新开源仓库 Magnetar 发布 v0.1 本地运行时基线，这是一个用 Rust 编写的可移植本地 AI 执行运行时，包含 magnetar-runtime 和 magnetar-cli 两个 crate。其外部 CUDA Provider 已在真实硬件上通过端到端验证，并支持加载生产级 Qwen 模型工件，实测通过公开下载的 Qwen2.5-0.5B-Instruct checkpoint 在 Reference CPU 与真实 CUDA 硬件上运行。项目另提供 WGPU、ROCm、Metal、NPU、TPU 等外部 Provider 基线，部分仅实现设备发现且尚未在对应硬件上验证，官方说明其还不是通用生产模型运行时。
UniStudy AI 是一个离线、隐私优先的大学学习助手，通过 Ollama 运行本地 llama3.2:3b 模型，支持对讲义、教材和幻灯片进行文档问答、结构化摘要、选择题测验生成和答案批改，不依赖付费第三方 API。系统不使用 LangChain 或 CrewAI 等包装框架，全部用标准 Python 实现，采用 300 词分块、50 词重叠的词频检索（RAG），并在 UI 中展示 Agent 的工具调用轨迹和引用段落。项目支持 .pdf、.txt、.md 文件，用 Streamlit 构建，带 pytest 测试，扫描版 PDF 需外部 OCR 且词频检索对同义改写查询效果较弱。
GitHub 上的 the-biergarten-app 是一个全栈精酿啤酒厂目录与发现平台，后端采用 .NET 10（垂直切片架构 + MediatR）与 SQL Server 2022，前端为 React 19（React Router 8 + Vite 7）。认证使用 JWT 与 Argon2id 密码哈希，并提供基于 C++20 与 llama.cpp、结合 Wikipedia 的离线种子数据生成流水线，开发环境通过 Docker Compose 集成 Mailpit 与 SeaweedFS。
Nexus Terminal AI v2.0 是一款在终端运行的智能 AI 助手，由 BrutalTools 开发，采用 MIT 许可证开源。它内置 8 种 GLM-4 系列模型可选（含 GLM-4 Flash、Air、Long、Plus、4V 等），提供方向键交互式模型选择器和 15+ 命令，支持对话保存与 JSON/Markdown 导出、会话统计和配置持久化。
GitHub 上的 SilvioBaratto/optimizer 是一个由四个 Python 包组成的 uv 工作区，核心是纯 Python、基于 skfolio/scikit-learn 的组合优化库 portopt-core，无需 Docker 和数据库即可安装运行。工作区还包含定时拉取行情数据的 PostgreSQL 摄取守护进程、共享 DB 层，以及 portopt-fund 基金桥——由 LLM（默认 Ollama Cloud 上的 DeepSeek，可通过 LLM_PROVIDER 切换十个提供商）决策、优化器计算、模拟交易需经人工审批门控。项目要求 Python ≥ 3.12。
Reddit 用户 /u/TheSpicyBoi123 发布改进 llama.cpp 对 Kepler 等 Ampere 之前 NVIDIA GPU 支持的高性能分支，目标是让旧 CUDA 硬件继续可用。在 4x Tesla K40c 上以 Q8_0 量化运行 MTP Qwen3.6-35B-A3B，从原先无法启动提升到 35 tps，修复主线上 cc35-50 的 cuBLAS 计算类型选择问题；启用 CUDA graphs 后达约 55 tps，Windows NCCL 集成带来约 5–10% 端到端提升，吞吐超 60 tps，P.P. 速度在 70-100 tps 之间波动。作者声明这是其个人系统的初步结果，并征集 Kepler、Maxwell、Pascal、Volta 等旧卡用户对比测试。
推荐理由：作者用 4 张 Tesla K40c 实测给出量化前后与启用 CUDA graphs 的速度对比，老卡复用方案可自行复现验证。
开发者 Marcel 发布个人离线本地 AI 助手 Poldi，以语音为交互界面，支持唤醒词免提客户端与浏览器客户端，采用 GPLv3 开源。技术栈为 Whisper.cpp 做 STT、llama.cpp 做 LLM 推理、Piper 做 TTS，支持英德双语、记忆注入、联网与 Wikipedia 搜索等功能，可在 16GB VRAM 的 Nvidia 5060 Ti 上运行，8GB VRAM 甚至 CPU 也可用。
Hugging Face 发布 Harsha001/Qwen3.8-27B-Uncensored-ROCmFPX，提供 Q8_0_ROCMFPX 量化版本。该模型可通过 llama.cpp 本地部署，支持 OpenAI 兼容服务器，也可用 Ollama 运行（ollama run hf.co/Harsha001/Qwen3.8-27B-Uncensored-ROCmFPX:Q8_0_ROCMFPX），并可在 Docker Model Runner、Lemonade 及 LM Studio、Jan、Pi、Hermes Agent、OpenClaw 等工具中加载使用。
EdgeDeID 是一个 0.6B 参数的本地运行临床去标识化模型，训练全程不使用真实患者文本，由三个 LLM 教师生成合成笔记再统一标注。在 100 篇人工核验的合成域内基准上达到 0.994 micro-F1，99% 的笔记无遗漏标识符，而八个现成系统中最强者仅为 0.857 和 12%；量化后在 CPU 上仅占 615 MB。但在 MIMIC ICU 护理笔记上 F1 降至 0.48，三个手写上下文示例可回升 0.08 F1。
一个面向生产环境的企业级 RAG（检索增强生成）问答平台，用 Sentence Transformers 生成语义嵌入，结合 FAISS 与 BM25 通过 RRF 混合检索，调用本地 Ollama 运行的 llama3.2:3b 模型生成有据可依的答案，并通过 FastAPI 提供服务，无需付费 LLM API key。早期在 6 个问题上评测，Recall@1 达 83.33%，Recall@3 与 Recall@5 均为 100%。
EasyComfyUI 发布 V5 版本，新增 Kaggle 笔记本（T4 ×2 免费 GPU）与更可靠的下载逻辑，原有 Google Colab 版同步保留。该笔记本无需编程经验即可运行 ComfyUI，支持 Stable Diffusion 与 FLUX 图像生成；推荐 FLUX.2 [klein] 9B，可在免费 T4 约 15GB VRAM 内运行（官方规格约 29GB）。生成图片自动保存至 Google Drive，还支持从 Civitai 和 Hugging Face 下载模型。
GitHub 新仓库 Local-RAG-Assistant（DocuMind）开源，用户可上传 PDF 并用自然语言提问，通过 ChromaDB 向量检索与本地 Ollama 模型生成基于文档内容的答案。项目前端用 React、后端用 FastAPI，配合 PyMuPDF 和 Sentence Transformers 实现文本提取与嵌入，默认模型为 dolphin-mistral，全程无需云端 LLM API，并返回来源文件名与 chunk 索引。
Reddit 用户更新了 ik_llama.cpp fork，并寻求社区反馈。该实现在 6GB 显存的 RTX 2060 上运行 Qwen3.6-35B-A3B-UD-Q4_K_M，短提示词生成约 45–48 t/s，28K 上下文约 37 t/s，prefill 约 430–700 t/s。由于反馈太少且代码需拆分清理，作者暂不合并到主线。