新闻、仓库与研究，按时间排列。
liliang-cn 在 GitHub 发布 agent-go v3，一个用于运行 Agent 循环的 Go 库，涵盖 tools、memory、MCP、skills、sessions、checkpoints 与 long runs，无 CLI 和 UI，需将 pkg/agent 嵌入自有程序，要求 Go 1.25+。支持 svc.Ask、Chat、Stream、Run、RunSegments、Steer 等 API，兼容任意 OpenAI 兼容端点（OpenAI、DeepSeek、Ollama、vLLM、DashScope/Qwen 等）并提供 provider 池负载均衡，内存存储可选 file、mem0、qdrant、weaviate 等多种后端，License 为 MIT。
推荐理由：README 覆盖了工具、记忆、MCP、长任务和 provider 池等完整能力清单，Go 开发者可据此评估是否嵌入自己的 Agent 程序。
LLM4MIP 研究网站发布了 LLM 求解 MIP 的完整研究，覆盖 217 个 MIPLIB 开源实例，报告 52 个已解决实例（49 个最优、2 个不可行、1 个无界），并对 MIPLIB v36 记录 59 项原始界改进、对 COPT 10 小时历史基线记录 136 项对偶界改进。结果快照日期为 2026 年 10 月 6 日，网站提供可交互图表、可下载结果数据，并附单独冻结的 20 实例 skill 对比。
一个以纯代码构建的 LLM 请求路由 PoC：NVIDIA Switchyard 在 AWS EC2 上为 Ollama 部署的三个开源模型（NVIDIA Nemotron、Llama 3.2、Qwen3）提供 OpenAI 兼容端点，支持 auto 路由与 passthrough 路由。全栈用 Terraform 和 Ansible 配置，Prometheus 每 15 秒抓取指标并由 Grafana 可视化。实测显示 CPU 推理慢（256 token 约 70 秒，约 3-4 tokens/s），简单请求被路由到 llama3.2:3b。
maci0 发布了用 Zig 编写的 LLM 推理引擎 Agave，所有内核、量化器、tokenizer 和模型实现都在仓库内，不依赖任何外部 ML 库，仅需一个 Zig 编译器即可构建。支持 7 种模型架构、6 种后端、20+ 量化类型和分布式推理，Qwen3.5 0.8B Q8_0 在 M4 Pro Metal 上达约 125 tok/s。项目处于 0.x 阶段，AMD RX 7900 XTX 上 ROCm 和 Vulkan 后端存在输出错误的已知缺陷，llama.cpp 的模型覆盖面仍更广。
推荐理由：作者用 Zig 从零实现全部内核并给出与 llama.cpp 的对比数据，同时坦承 ROCm 和 Vulkan 存在正确性缺陷，适合想读无依赖推理引擎代码的人。
loxilb-io 开源 LoxiLB Inference Gateway 文档站点源码，该网关是面向 vLLM、SGLang、TensorRT-LLM 和 llama.cpp 服务集群的推理感知 L4/L7 负载均衡器，fork 自 loxilb。其功能包括模型感知路由、KV-cache 感知路由选择、prefill/decode 分离、API-key 与配额管控、OpenAI 兼容 SSE 流式输出及 MCP 网关。文档基于 MkDocs + Material for MkDocs 构建并发布至 GitHub Pages，采用 Apache License 2.0 许可。
BitTrellis 仓库发布，它针对 Qwen3.8-27B 与 RTX 5090（32 GB）自动搜索逐层压缩配方，以 RP-KL 衡量与 BF16 原模型的偏移，并生成真实 checkpoint 在 SparkInfer 上实测质量、速度与显存。测量发现多数公开语料上的保真度收益无法在私有 holdout 上延续，V13 仅 9% 收益迁移、V3 仅 44%，均未达标；真正存活的是 Q4_K 的显存节省，V1 节省 1.8 GiB、V6 节省 1.2 GiB 且通过 holdout，代价是 4K prompt 读取速度最多下降 49%。矿工可通过提交 YAML manifest 或新量化器参与，合并后在 Gittensor 上按 frontier 增益获得报酬。
推荐理由：原文用真实测量说明了公开语料上的保真度收益在私有 holdout 上大多不成立，这个验证思路对做量化压缩的人有参考价值。
sous 是一个面向 Apple silicon Mac 的本地守护进程，介于 Claude Code 和 Anthropic 之间：主循环请求原样转发到 Anthropic 走用户自己的 Pro/Max 登录，subagent 请求则由本地 MLX 模型（默认 mlx-community/Qwen3.8-27B-4bit，约 16 GB 下载，需约 18 GB 空闲统一内存）应答，不再消耗订阅额度。跨会话的提示缓存分叉让新会话首次本地回合从 170 秒降到 16 秒，守护进程重启后为 15.7 秒；默认模型在 M5 Pro 上解码约 31 tok/s（2K 上下文）、25 tok/s（57K），一次只服务一个 subagent，且 Anthropic 官方不支持这种网关路由方式。
推荐理由：项目把子代理请求转到本地 MLX 模型并保留主循环在 Anthropic，给出了跨会话缓存分叉的前后耗时实测数据。
Geramy 发布 Lemon Seed Engine（LSE，v0.5.4），一个带内核编译与优化引擎的 LLM 推理引擎，可将 GPU 内核经 HIP 或 Loom 编译并缓存复用，通过 HTTP 服务器、CLI 或 C API libLSE 在 AMD GPU 上运行文本模型，支持 Linux、macOS 和 iPadOS。在 R9700 配 Apple M5 Max 上跑 Qwen3.8-27B Q4，DFlash2 投机解码 50.5 tok/s，FlashPrefill 在 32K 预 fill 提速 51–55%，KV 缓存支持 fp32 到 bf8 五种存储格式。项目采用 MIT 许可证，相关项目包括 mac_linuxgpu 驱动和 amdgpu_mtopg 监控工具。
推荐理由：README 附带 R9700 上的 TTFT、解码速度和 FlashPrefill 实测数据，想评估 AMD GPU 本地推理方案的读者可以拿来对比。
chrisjohnson 发布 strix-halo-r9700-llm-builds 仓库，收录 AMD Ryzen AI Max+ 395（Strix Halo，gfx1151）加 r9700 eGPU 扩展坞上跨双 GPU 并行运行 LLM 的模型引擎构建目录、modelctl 管理工具和 llm-inference-bench 基准编排器，支持 vLLM、llama.cpp 和 Ollama，用于编码助手场景及跨引擎/跨模型对比。目前含 67+ 个经核验的模型+引擎组合，每个构建是独立 Docker Compose 项目；CI 每次推送自动生成交互式对比面板（tokens/s 横向条形图，可按引擎、上下文长度、并发等过滤）发布到 GitHub Pages。
GitHub 用户 shizukutanaka 发布 nmesh，一个本地 LLM 的硬件自动检测、模型选择、内存估算与运行管理工具，通过 3 条命令安装后提供 OpenAI 兼容 API（http://127.0.0.1:18000/v1）。工具按 VRAM 将硬件分为 T0_CPU 到 T5_SERVER 六档，支持 Ollama、llama.cpp、vLLM、MLX-LM 后端，无 llama.cpp 时可自动获取托管引擎和模型。
推荐理由：作者用实测数据支撑工具的每个判断，包括 KV cache 精度、量化阶梯和 prompt cache 污染的对照测量，方法本身可迁移。
开源工具 aura 可让低内存 Windows 电脑运行 7B 参数大语言模型，最低仅需 4GB RAM。它通过内存预算限制、按需加载模型分片和实时优化来防止"内存溢出"崩溃，支持 GGUF 格式的 Llama、Mistral、Phi、Gemma 等模型，可离线本地运行，数据不上传云端，完全免费开源。
YVEX 是一个原生模型编译器与有状态执行运行时，使用 Rust 算子外壳，将经过认证的开源权重模型源码编译为已准入的执行工作。其 C 计算核心支持 CPU 和 CUDA 执行，并已集成早期 Apple Silicon Metal 后端，每条路径的资质验证单独记录。已演示的执行路径包括 DeepSeek V4 Flash 的投机生成、Qwen3.8-27B 的 CUDA 文本执行、Qwen3.5-0.8B 的 Mac CPU 生成及 Mamba-Codestral 的 64 层 CPU artifact 执行等，但各路径边界明确受限。
GitHub 仓库 daehwichoi/llm-agent-research 整理了 LLM 量化、Agent Harness、Context Engineering 及最新 AI 研究的论文与实 Reading 清单，资料确认日期为 2026-10-07。清单覆盖 Reasoning、Agent、RL、World Model、Embodied AI、Synthetic Data、Evaluation 等主题，推荐阅读顺序为 ReAct → Toolformer → Reflexion → SWE-bench → SWE-agent → DeepSeek-R1。
genesis-kernel 是一款本地 LLM 推理工具，可在支持 AVX-512 的 CPU 上执行 NF4 反量化与矩阵乘法融合计算。软件支持 Windows 10+、macOS 10.14+ 及主流 Linux，需至少 8 GB 内存和 500 MB 磁盘空间，提供图形界面与多种输入格式，无需技术背景即可完成安装和运行。
GitHub 上的开源 Chrome 扩展 briefer，通过 vLLM（OpenAI API 兼容）运行本地 LLM，在侧边栏以聊天方式摘要当前网页并继续提问，数据不外发。支持按标签页保留会话历史和流式实时输出，需 Bun 与 Chrome 114+（Side Panel API），采用 MIT 许可证。
作者 Dmitriy-Romanov 发布 recoveryos-llm 仓库，介绍在 macOS Recovery 最小系统里启动 LLM 服务器的方法：64 GB M1 Max 上 GPU 可用内存从正常系统的 55.4 GB 提升到 57.6 GB，多出约 2.3 GB。方法是用 sysctl iogpu.wired_limit_mb=59000 提高 wired limit，配合 MLX 系服务器（SUSHI）运行 176B MoE 量化模型 Qwen3.8-Flash-Next-Sushi-3bpw（约 49 GB 权重），并给出挂载磁盘、启动服务器、Wi-Fi 连接的完整命令。
推荐理由：作者实测在 Recovery 模式下启动 LLM 服务器可多出约 2.3 GB GPU 内存，并给出具体命令和余量经验值，方法可直接复用。
Google 发布了基于 JAX 的后训练库 Tunix（Tune-in-JAX），目前处于 V2 发布状态，支持 SFT、PPO、GRPO 等强化学习以及多轮工具使用和异步 rollout 的 Agentic RL。该库与 Flax NNX、MaxText 集成，并通过 vLLM 和 SGLang-JAX 在 TPU 上做推理 rollout，支持 Gemma、Llama、Qwen 模型族，可借助 Pathways 扩展到数千设备的多主机分布式训练。
John Smith 等人的论文《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》正在 COAI 2025 审稿中，其代码仓库已在 GitHub 开设，状态为"待发布"。仓库将包含优化策略实现、实验代码、benchmark 结果与分析、预训练模型检查点及文档教程。论文提出增强 LLM 跨任务上下文推理的优化策略，实验显示在动态环境中适应性更优。
Red-Weasel 发布 Mach X 推理引擎，一个面向 Intel Arc GPU 的 C++/SYCL 本地 LLM 推理引擎，在两张 Arc Pro B70 上构建调优，不基于 llama.cpp 分支、语言模型引擎不用 PyTorch，提供手写 SYCL 内核、OpenAI 兼容服务器、张量并行多卡执行。
推荐理由：README 给出了各版本在 Arc Pro B70 上的实测数字和测量条件，读者可以据此评估这套自研推理引擎在 Intel Arc 上的实际表现。
kbhatnagar1506 在 GitHub 发布 agentcompile-js，一个包装 OpenAI 或 Anthropic 客户端的 SDK：自动识别 Agent 重复执行的任务，编译成经过验证的例程，命中时不再调用模型，其余请求原样转发并使用用户自己的 provider key。SDK 支持 fail-open、shadow 模式、流式响应、Responses API 及通过 captureFetch 接入 Vercel AI SDK、LangChain.js 等框架，本地对邮箱、卡号等个人数据先做 token 化脱敏再上传，Node 20+ 可用，采用 Apache-2.0 许可证。
vLLM Semantic Router 提供一个统一 API，让 agent harness 在多个模型间按策略选择或组合调用，harness 保留 agent loop、工具和任务状态，Router 在本地、私有和云端已配置的后端间路由。安装命令为 curl -fsSL https://vllm-sr.ai/install.sh | bash -s -- --channel stable，可通过 vllm-sr/auto 等公共模型 ID 接入，在线 playground 位于 https://app.vllm-sr.ai/playground。
sheepdestroyer 在 GitHub 发布 LLM-Routing 仓库，提供运行在 Fedora 44 上的 rootless Podman LLM 分诊回退网关完整部署配置。
aprilMcintosh 在 GitHub 发布 ai-world，一个完全在本地运行的模拟世界，两名初始村民由语言模型驱动自主思考、交谈、建家、繁衍直至老死，全程无需操控。世界基于 Node 18 运行 node server.js 即可启动，通过 Ollama 加载模型（如 gemma4:e2b，大内存可用 gemma4:12b），支持大小双模型分工，大模型负责对话与创造，小模型处理日常决策并占约 60% 时间。村民拥有七维性格、五层需求金字塔，可发明工具与建筑、在篝火旁立规矩、推举首领，世界每 30 秒存档，数据不离开本机。
推荐理由：README 交代了双模型分工、人格由性格参数先行和全本地部署的做法，对想搭建类似 LLM 沙盘模拟的人有可借鉴的方法。
GitHub 上的 Jwrede/llm-bench-data 仓库以 JSONL 格式发布对主要 LLM API 端点的每小时性能探测原始数据，字段包括 TTFT、总延迟、tokens_per_sec 等。探测每小时运行、经 OpenRouter 路由（因此延迟含代理开销），模型按 OpenRouter 周热度榜每家前 3 自动选取。数据按月/日分文件组织，采用 CC0 1.0 许可发布。
brittlewis12 在 GitHub 发布 qwen-llm 0.0.1，一个面向 Apple Silicon 本地 GGUF 模型的实验性 Rust 推理、服务与基准测试工具包，含自定义 Metal kernel。支持 Qwen3.5/3.6/3.8、DeepSeek V4、Muse Glimmer 30B、K2 Horizon 7B 等 GGUF；在 M4 Max 上 Muse Q8_0 的 32K late-chunk 实测节省 17.95% 墙钟时间，Flash-Next 的 HC 路径节省 6.56% GPU 时间，1024 行 packed router 节省 14.77% prefill GPU 时间。
Reddit 用户 Shookpro 在 r/LocalLLaMA 分享 Routeweaver 更新，在 RTX 3060 12GB 上让 27B 模型完全可用。作者称在 Qwen 4 即将发布之际放出该方案，并欢迎更大显存显卡的用户试用，但提示不同显卡和 CPU 配置可能需调优其自制的 custom kernels。
GitHub 用户 okamyuji 发布 meeting-transcriber，一款完全本地运行的日语会议转录与会议纪要自动生成工具，语音转录用 faster-whisper，纪要生成用 Ollama 上的本地 LLM，数据不外发。工具内置 RAG 功能，通过 data/knowledge/ 目录的 Markdown 文件自动校正术语，支持 qwen2.5:7b 和 mxbai-embed-large 等模型，上下文最多可扩展到 32768 token。首次配置需联网下载模型，此后离线可用，运行环境要求 Python 3.11 以上，支持 macOS 和 Linux，采用 MIT 许可证。
Reddit 用户 /u/rootshelldev 开源了一款面向桌面单 GPU 开发者的 Rust API 网关 lmgw（GitHub: https://github.com/lmgw-dev/lmgw），基于 Tauri 和 Leptos 构建，提供 OpenAI 和 Anthropic 兼容接口并路由到云端 API 或 llama.cpp、audio.cpp、stable-diffusion.cpp 容器。
/u/NoFee9147 在 Lenovo P620 四张 7900XTX（gen 4.0 x16）上对 Qwen3.8-27B 和 Qwen Flash Next 做了一系列 ROCm 与 llama server 层面的修复，表示有人感兴趣就推送到 GitHub 并分享配置。
推荐理由：作者逐项列出 ROCm 与 llama.cpp 服务端的修复内容和前后性能数字，四卡 7900XTX 跑 Qwen3.8-27B 的结果可复现。
PagedCore 是一个面向学习的单 GPU LLM 推理引擎，用于在 NVIDIA T4 上研究 paged KV-cache 管理、continuous batching 和流式生成。v0.1.0 范围刻意收窄：固定的 TinyLlama checkpoint、Llama 兼容 FP16 decoder、贪心生成、2,048-token 上下文和本地 FastAPI/SSE 接口。项目目前处于可复现环境门禁阶段，推理引擎和服务尚未实现，采用 MIT License 开源。
cryptoAGI 发布 bankML v0.3.6，一个零依赖 Rust 运行时，用于在普通 CPU 上运行 1-bit 和三值语言模型，对 llama.cpp b11192 逐 token 位精确。针对 llama.cpp 缺少 Q2_0 三值向量化内核的问题，其内核在 8.19B 权重全量验证下每矩阵快 9.4–10.0 倍；三值模型端到端 2.3–2.4 tokens/s 对 llama-server 的 0.30。支持 OpenAI 与 Ollama 兼容 API、sha256 校验与响应回执，8B 三值模型 2.31 GB 可在 6 GB 笔记本上运行，项目为 MIT OR Apache-2.0 许可。
GIO443 发布 speculative-statecraft 仓库，在 4-64 个 LLM 阵营每回合输出引导 JSON 决策的策略游戏负载上，用目标模型（Qwen2.5-1.5B-Instruct）自身输出训练 51.5M 参数的 EAGLE-1 草稿头，在 RTX 4070 Laptop 8 GB 加 vLLM 0.30.0 上与无投机和 n-gram 投机对比。
推荐理由：原文给出按在飞上下文量判断投机解码何时划算的阈值，以及离线预测接受率的方法，可迁移到其他 vLLM 部署场景。
Eugene Plexus 发布 v0.1.0，这是一个自托管的本地 LLM 推理控制面，可安装、更新并监督 llama.cpp、vLLM 和 MLX 推理引擎，管理本地模型库，并暴露 OpenAI 兼容与 Anthropic Messages 端点。该版本以 OpenAPI 3.1 契约定义六个组件（agent、control、gateway、inference-driver、library、ui）间的接口，消费者通过固定 SHA 的 codegen 依赖契约。原文列出了真实硬件上的验证项（副本均衡、故障转移、空闲卸载、工具调用、双机多主机部署等）与已知缺陷，包括登录限流器可被请求头驱动的预认证缺陷、AMD/Intel GPU 的 Windows 机器被误判为无 GPU、一键运行路径的量化适配数值可能偏小等。
推荐理由：原文给出实测硬件验证清单、已知缺陷和未验证项，读者可据此判断这个本地推理控制面当前能做什么、不能做什么。
Hal0ai 发布 hal0 v1.3.0，通过一条 curl 安装命令把 Linux 主机（首选 Ryzen AI Max+ 395 加 128 GB 统一内存）变成 OpenAI 兼容的私有推理设备，在 :8080/v1 单一接口上提供 chat、completions、embeddings、rerank、转写、语音和图像生成。每个推理负载运行在独立的 podman 容器内，由 hal0-api 作为唯一控制面管理槽位状态机与请求分发；v1.3.0 为次版本更新，带来一项破坏性变更：配置了 admin key 且绑定非 loopback 地址时，机外调用者访问 ADMIN 级路由必须携带该 key。
推荐理由：原文给出安装流程、槽位架构和参考机上的实测吞吐数据，读者可以据此评估这套私有推理一体机方案是否适合自己的硬件。
monaccode 开源了 Astromesh，一个用于构建和运行 AI 智能体的 runtime 平台，定位为“AI 智能体的 Kubernetes”。它以声明式配置提供多模型路由（支持 Ollama、vLLM、HuggingFace TGI 等）、ReAct、Plan & Execute 等编排模式、多层记忆系统、完整 RAG 管线、18 个内置工具与 MCP 支持，并内置零配置可观测性栈和 WhatsApp 消息集成。
rwilliamspbg-ops 在 GitHub 发布 Ghostlink（v2.3.0，MIT 协议），基于 llama.cpp 的 ggml-rpc 将局域网内异构 CPU/GPU/NPU 机器组成零配置分布式推理集群，并提供 OpenAI 兼容的 /v1/chat/completions API。跨机器 VRAM 容量拆分已实测可加载单机放不下的 30B 级 MoE 模型，但项目自述网络拆分下的高吞吐和多节点可用速度仍未证明；预编译二进制目前仅支持 x86_64。
推荐理由：项目给出了多节点 LAN 分布式推理的实测吞吐和可复现命令，读者可以据此评估这套零配置集群方案在自己硬件上的可行性。
sirdadfar 在 GitHub 发布自托管、OpenAI 兼容的 LLM 网关 llm-gateway，基于 NestJS 和 TypeScript，用统一 API 接入 OpenAI、Anthropic Claude 和本地 Ollama。支持模型路由与别名、可配置超时重试与可选 fallback、SSE 流式及客户端断开取消、lgw_ 前缀 API 密钥（仅存 SHA-256 哈希）、按密钥模型白名单、Redis 滑动窗口限流与月度配额、Redis 响应缓存及 PostgreSQL 用量审计持久化，提供 Docker Compose 部署、Swagger 文档与 GitHub Actions CI，采用 MIT 许可。
作者发布 llama.cpp 的 fork focus-llama，将物理 KV 缓冲与逻辑上下文解耦，逻辑上下文保持 256k 而物理缓冲上限约 85k cells，旧块卸载到外部存储按需取回。在单张 RTX 5090 上运行 Qwen3.8-27B UD-Q6_K_XL 并启用自适应 MTP 投机解码，平均速度 110+ t/s，日志显示生成速度稳定在约 117-123 t/s；项目基于 Google DeepMind 提出的 declarative attention 与 skill.state 两种技术，代码与配置见 https://github.com/edwardyoon/focus-llama/blob/master/README.md。
推荐理由：作者给出了 fork 的 KV 缓冲上限机制、完整启动配置和逐段生成速度日志，可复现单卡 256k 长上下文的高吞吐部署。
James Meadlock 与 Milo 发布 J-M-Recipes/recipes 仓库，提供经过验证的大开源模型部署配方，承诺每项数字都附带方法、容器 digest、模型 revision 和原始输出。已验证配方包括单台 DGX Station GB300 上以 vLLM UVA expert offload 运行 DeepSeek-V4.1-Flash 1M 上下文（182.8 tok/s）、GLM-5.3-Flash NVFP4 加 DFlash2 投机解码（235.5 C1）、完整 GLM-5.3 NVFP4（58.2 tok/s）及 MiMo-V2.6-Pro（1.02T MoE），并记录失败实验的 ledger。
lyzetam 在 GitHub 开源 fako-cluster 项目，用 FluxCD 以 100% GitOps 方式管理跨 7 个异构节点（x86_64、ARM64、Apple Silicon）的 K3s 集群，运行 40+ 容器化服务。集群配备 RTX 5070 + RTX 3050 双 NVIDIA GPU 和 12TB NAS，部署 Ollama、Whisper、Keycloak、Prometheus、Grafana 等组件，Git 推送后 60 秒内自动完成部署与漂移检测。