新闻、仓库与研究，按时间排列。
xberg-io 发布 liter-llm，通过单一客户端统一调用 174 家 LLM 提供商（含 OpenAI、Anthropic、Google、AWS Bedrock 等），换模型只需改名字、无需改代码。客户端提供 14 种语言绑定，全部基于同一 Rust 核心，并内置 OpenAI 兼容代理（22 个端点）和 MCP 工具服务器，打包在 35 MB 的二进制中。支持流式、工具调用、成本跟踪、限流缓存，以及 Ollama、vLLM 等本地模型。
AstrAI 在 GitHub 上开源，是一个覆盖模型构建、训练、评估到服务全生命周期的轻量级 Transformer 框架，基于 PyTorch，要求 Python 3.12+ 并固定 PyTorch 2.13.0。它支持 GQA、MLA、MoE、RoPE 等模型组件，提供预训练、SFT、DPO 与在线 RL（GRPO/PPO）训练，以及 continuous batching、paged KV cache 推理和兼容 OpenAI/Anthropic 协议的 FastAPI 服务。评测工具涵盖 MMLU、HumanEval、IFEval、ROUGE 等，并附 1B checkpoint 下载与 Docker 部署方案。
GitHub 开源项目 enterprise-knowledge-intelligence-system 是一套生产导向的 RAG 应用，结合 PDF 摄取、文本分块、语义向量搜索与 BM25 混合检索、cross-encoder 重排，并用本地 Ollama 模型（qwen2.5:3b）生成带来源引用的答案。系统基于 Python 构建，采用 FastAPI 后端和 Streamlit 界面，向量库使用 Qdrant，嵌入由 Sentence Transformers 生成。项目包含自动化测试（46 个测试通过）和 RAG 评估流程，评估覆盖答案匹配、引用有效性和拒答等行为。
用户在 Windows 11 上用双 AMD GPU（9070XT 和 9060XT）以 layer split 方式运行 Strata，需设置 "STRATA_RESIDENT_PIN": "0" 才不崩溃，但仍有性能损耗。最终改用单张 9070XT，IQ3_XXS 量化下达到约 1350pp 和 50-100 tgs，并自行编译 Vulkan 版 vision，在第二张卡上运行 vision mmproj。官方虽不支持 Windows 双 AMD GPU 和 vision，但该配置无需修改代码即可运行。
Nace.ai 的 Ye 发布开源（Apache 2.0）推理引擎 Kapitsa，专为 Apple Silicon 定制 Metal kernel，仅支持 Qwen 和 NVIDIA Nemotron 两个模型家族，用于在 Mac 本地跑编码 Agent。速度来自按架构定制的 Metal kernel、投机解码（DFlash2、DFlash、DSpark、LiLiCorr）、混合模型的 KV 加循环状态缓存、27B 与 Bolt 部分预填充跑在 Neural Engine、并发请求共享 GPU pass。
推荐理由：作者逐项拆解了推理加速来源，并给出三档 Mac 上与多个主流引擎的 tok/s 对照表，还提供 CLI 让读者自测提交结果。
一台双卡 Radeon AI PRO R9700、TP=2 的 Radiance vLLM 系统每次 warmup 约 7 分钟后硬断电：两卡 1 秒内从约 17 W 升至约 270 W，随后整机掉电。改用 RCCL 或把每卡限到 210 W 后均稳定运行，说明问题与总瓦数无关，而是 Radiance 自定义 one-shot all-reduce 产生的多 kHz 同相负载振荡。Dark Power 14 1200 W 两台都复现失败，Lian Li 1000 SFX、Lian Li 1200、Thermaltake GF3 1650 和 Corsair HX1200i 则通过。
Geekyup 在 GitHub 开源 llm-gateway，提供 OpenAI 兼容的 /v1/chat/completions 端点（含流式），统一接入 Gemini、Groq、OpenRouter。网关自动轮换多把密钥，遇 429 或配额耗尽时将问题密钥置入 cooldown 并切换到下一把，后台 ARQ worker 自动解除 cooldown 并重置每日限额。附带仪表盘提供 SSE 实时请求监控、按密钥的 usage/token 图表、聊天 playground、一键 health-check，支持 Google OAuth 登录和可撤销的 gateway token。
一篇题为《Optimizing Large Language Models for Contextual Reasoning in Multi-Task Environments》的论文提出优化策略以增强 LLM 在多任务间的上下文推理，实验结果显示其在动态环境中适应性更优。该论文正在 COAI 2025 审稿中，仓库即将发布实现代码、benchmark 结果与预训练模型 checkpoint。
HardenedLinux 社区发布 GPLv3 开源推理运行时 SonicBoom v0.0.3，采用编译器优先路线，构建和运行时不用 Python，以单一共享库、C ABI 和 Guile Scheme 为一等语言。在 RTX 3050 8GB、同 GGUF 条件下对比 llama.cpp -ngl 99：Gemma 4 E4B Q3_K_M decode 1.18×、prefill 1.00×，Qwen2.5-0.5B Q4_K_M decode 1.12×、prefill 1.09×；多轮 Agent 负载下 time-to-first-token 自 v0.0.2 起下降数倍（prefix reuse + plan caching），输出 token 与 golden run 位级一致。
GitHub 上的 Rust 项目 Mold 提供本地 AI 图像、视频和 3D 生成，支持 NVIDIA CUDA 与 Apple Silicon Metal，含 CLI、桌面与移动端应用、Discord bot 和 REST/SSE API。支持 FLUX.1、Stable Diffusion、Qwen Image 2.1、LTX Video、Wan、Hunyuan3D 等模型，可单图或多视图生成 glTF 网格，导出 OBJ、STL、PLY 等格式；项目基于 candle，MIT 协议，安装脚本会校验 checksum，GH200/GB200/GB300 暂不支持。
一位 Reddit r/LocalLLaMA 用户发现，自己的 Qwen 3.8 FN 回答质量不错，但 Copilot/ChatGPT 几乎瞬间输出整页内容，且用更少 token 解决了同样问题。他质疑这是否为架构差异，认为仅靠企业 GPU 难以解释，怀疑本地模型缺少某种根本性机制。
FreeToken（基于上游 main 58f4b9e、版本 0.1.3）发布面向 Windows 单卡 + 大内存的补丁分支，可在 RTX 5090 32 GB 等单 GPU 上通过 OpenAI/Anthropic 兼容 HTTP API 服务大型 MoE checkpoint。分支以 Qwen3.8-Flash-Next（qwen4_exp 架构）为参考，实现 turbo4 KV 压缩（约 516 字节/token、与 bf16 余弦 0.9887）、QSA 稀疏注意力扩展、BudgetSlider 运行时重平衡与多模态缓存复用，支持 1M-token KV 池；GLM-5.3-Flash 作为并行轨道适用同一套机制。
rskulles 发布 ButterKnife，一个本地网络聊天客户端，可连接 Ollama、LM Studio 及任何 OpenAI API 兼容服务器（vLLM、llama.cpp），也可接入 Anthropic key 使用 Claude。每平台单文件、无需 Docker 或数据库，聊天数据留在本机；Code 标签页为自有模型提供类似 Claude Code 的编码智能体，模型读项目、改文件、跑测试，每步需用户批准，兼容 .claude/ 目录的 commands 和 skills。支持手机扫码多设备同步、双模型对比、/image 生图、Whisper 语音输入、上下文接近上限时自动摘要旧对话。
推荐理由：原文详细列出了连接 Ollama、LM Studio 等本地模型服务器的配置步骤和 Code 编码智能体的权限机制，便于判断是否适合自托管。
banchen21 在 GitHub 发布 llm-gateway，一个本地网关，对客户端说 Anthropic Messages API，对上游说 Anthropic 或 OpenAI Chat Completions API，双向转换且支持 SSE 流式。它归一化 thinking、output_config 等易被第三方实现拒绝的字段，支持模型别名映射、按客户端签发和吊销入站密钥、可读请求日志（不含消息正文），提供桌面窗口和浏览器两种 GUI，监听 127.0.0.1:8787。未实现 Responses API，count_tokens 为字符估算而非真实 tokenizer；预编译二进制覆盖 Windows、Linux 和 macOS，macOS 仅含 headless 服务端，MIT 许可。
推荐理由：本地网关在 Anthropic 与 OpenAI 两种协议间双向转换请求和流式响应，并给出模型别名、密钥管理和请求日志等落地细节。
作者 /u/dead-fish 在两张 CMP 170HX（PCIe Gen2 x4）上优化 Qwen 3.8 Flash Next，使用 W4A16 AutoRound 检查点、修补版 vLLM、流水线并行和原生 MTP 投机解码。8 并发代码请求时单请求解码 116 tok/s、首 token 231 ms，聚合 840 tok/s；prefill 4k–64k 提示为 6,300–7,100 tok/s；HumanEval 157/164（95.7%）、GSM8K 1,271/1,319（96.4%），使用完整 262,144 token 窗口。完整配方、Docker 镜像和补丁见 https://github.com/AlexBrandes/cmp170hx-qwen38-flash-next。
推荐理由：作者给出双 CMP 170HX 跑 Qwen 3.8 Flash Next 的完整配方和分并发吞吐数据，可复现且方法透明。
llamadart 0.15.1 提供 Dart/Flutter 跨平台端侧 LLM 推理，一套 API 在 Android、iOS、macOS、Windows、Linux 和 Web 上运行模型，无需推理服务器。GGUF 模型经 llama.cpp 运行，.litertlm 经 LiteRT-LM 运行，支持流式输出、工具调用、结构化 JSON、多模态、LoRA、嵌入向量，以及实验性的语音识别、语音合成和基于 stable-diffusion.cpp 的端侧文生图（Preview）。
hung-yueh 发布 react-native-litert-lm，让 React Native 应用在 iPhone 和 Android 上通过 LiteRT-LM 与 Nitro Modules 端侧推理 Gemma 4 等模型。核心卖点是内存安全：loadModel() 预检权重加 KV cache 开销、运行时追踪 RSS、上下文溢出预警和确定性 unload()，避免 1–4 GB 模型被 iOS Jetsam 或 Android LMK 杀掉。支持 GPU（Metal/OpenCL）与 Android NPU、投机解码、JSON Schema/正则约束输出、typed 流式事件、工具调用、EmbeddingGemma 2 端侧嵌入，以及单引擎多会话。
推荐理由：README 给出了与 react-native-executorch 和 llama.cpp 的逐项对比表，读者可据此判断手机端跑 Gemma 4 该选哪条路线。
LocalPilot 是一款硬件感知的 Python 应用，可检测本机 CPU、RAM、VRAM 与 Metal/CUDA 加速能力，按兼容性筛选模型并自动配置 llama.cpp、vLLM、Ollama、LM Studio、Docker Model Runner 等推理后端与执行服务。它提供 6 步引导式安装向导、终端内流式聊天（ChatScreen）、25 类结构化错误码的错误恢复系统，支持 TUI 与 CLI 双界面，可通过 pipx、pip 或 uv 安装。
Llama Launcher 是一款 Windows 平台的 llama.cpp 启动器，提供启动预设、VRAM/RAM 内存计算器、多版本构建管理、内置聊天和 benchmark，可从 Hugging Face 下载模型、从 GitHub 下载构建。其统一 OpenAI 兼容路由器支持模型自动加载与卸载，可通过局域网密码与 API 密钥访问，默认端口 8090 为管理界面、8080 为 OpenAI API 路由。项目采用 Tauri 2 桌面应用加 Svelte 5 UI 架构，并支持通过 GitHub Actions 或 Docker 交叉编译。
ParadoxFuzzle 在 GitHub 开源了 jerith-mesh，一个模型同构的 P2P 算力网络，用于 MoE 大语言模型推理。节点只与运行相同模型的节点互联，以 Colibri 风格的按需专家加载为本地原语，仅在邻近节点持有热点专家时跨网请求，并通过流水线回退、投机预取等方式隐藏公网 30-300 ms 延迟。项目包含 CLI、Web UI、Discord bot、OpenAI 兼容 API、本地记忆技能（SQLite 或 PostgreSQL+pgvector 加 nomic 嵌入），贡献按推理 token、专家激活、带宽和在线时长计量并结算到 JerithChain（JER），也可接入 BTC/ETH/DOGE/XMR；反欺诈采用冗余重放、密码学承诺和搭便车者统计检测。
推荐理由：原文详细说明了同模型节点组网、专家按需加载和贡献计量机制，适合想自建分布式推理网络的读者参考部署方案。
Reddit r/LocalLLaMA 用户称，让智能体在潜空间而非文本中思考，可加快推理速度、减少 token 消耗并提升智能表现，发帖者希望了解他人是否见过相关总结。
GitHub 上的 llm-inference-lab 是一个从 GPU 底层动手学习与优化 LLM 推理的开源仓库，目标是掌握设计、运维、安全加固和优化私有企业级 LLM 基础设施的能力。学习路径覆盖 token、attention、KV cache、GPU 显存、batching、吞吐与延迟，进阶涉及模型选择、路由、RAG、可观测性与评估。目前 Lab 01（GPU 显存基础）已完成，实验环境使用 NVIDIA A40、PyTorch 2.8.0+cu128 和 Mistral 7B，后续规划 KV cache、vLLM serving、量化等课程。
Guillaume2561 发布 LlamaServerLauncherAvalonia，一个基于 Avalonia UI 和 .NET 8 的跨平台桌面应用，用于通过图形界面启动和管理 llama.cpp 服务器实例。功能包括 GGUF 模型元数据读取与 VRAM 占用预估、多实例管理、基准测试对比、MCP 服务器挂载、OpenAI 兼容的按需模型代理、ComfyUI 显存释放集成，以及 llama.cpp 版本下载与回滚管理。项目地址：https://github.com/Guillaume2561/LlamaServerLauncherAvalonia。
推荐理由：这个跨平台图形启动器把 llama.cpp 服务器的参数配置、VRAM 预估、基准测试和多实例管理整合到一个界面里，适合本地部署用户参考。
Fox 是一个面向并发负载的本地 LLM 服务器，可作为 Ollama 的直接替代，MIT OR Apache-2.0 双许可，改端口即可兼容现有 Ollama 与 OpenAI 客户端。它包装 llama.cpp，核心优化是并发请求间的共享前缀 KV cache 复用：新请求匹配最长共享前缀跳过 prefill，还能从正在解码的序列复制共享前缀，这是其他 llama.cpp 服务器做不到的。在 Radeon 890M Vulkan 测试中，16 客户端共享系统提示词时 TTFT p50 为 1402 ms 对 llama-server 的 8064 ms，但短独立提示词的单轮请求吞吐约为基线的 96%，反而慢约 4%。
推荐理由：README给出了共享前缀并发场景下与llama-server的对比数据和复现脚本，也坦承短独立请求反而慢约4%，可自行判断适用场景。
dave-holden 发布 proxytoolpatch 仓库，提供 FastAPI 代理 proxytool 和纯 Python 修复库 toolpatch，把小模型以原始文本泄漏的工具调用在传输途中修复为结构化调用，opencode、pi、curl 等任何 OpenAI 兼容客户端无需改动即可使用。
推荐理由：给出了在本地模型前加代理层修复泄漏工具调用的完整方案，含架构图、启动顺序和配置示例，方法可直接迁移复用。
GitHub 开源 RustyRAG，一个 Rust 编写的单二进制 RAG 服务器，检索、重排、生成全流程控制在 1 秒内，无 reranker 时 TTFT 低于 200ms。在 Open RAG Bench 3,045 题上用 qwen-3-235b 做 LLM-as-judge 评测，开启 Jina Reranker v3 后通过率 94.5%（失败 167/3,024），关闭后 91.6%（失败 253/3,020），重排增加约 100ms TTFT 和约 370ms 总延迟。
推荐理由：README 给出了同一套 3,045 题基准下开关 reranker 的通过率与延迟对比，读者可据此自行权衡精度和速度的取舍。
BlockRunAI 开源了其六款产品共用的智能 LLM 路由引擎 router-core。它用 15 维本地特征对请求分类，先硬过滤不满足能力契约的模型，再按任务质量、成本、速度、可靠性打分排序，决策约 0.05 ms、无推理调用、无网络访问，并返回可审计的理由和有序回退链。V3.4 基准显示任务成功率从 49% 升至 57%，单任务成本降 6.4%，但质量增益的 95% 置信区间为 −1.9 到 +15.5 点、跨零，官方明确声明未统计显著优于原规则路由。MIT 许可、零运行时依赖，需 Node ≥ 20.19，仅以 commit tarball 安装而不发布 npm。
推荐理由：原文给出了完整的分级过滤与打分机制、实测延迟和带失败区间的基准数据，读者可以据此评估这套本地路由引擎是否值得复用。
作者 /u/msalsas 发布了 llama-doctor，一个 CLI 工具加实时面板，可指向运行中的 llama.cpp 或 Unsloth Studio 服务器，拉取 /metrics、/props 和 /slots，给出按严重度分级的问题诊断，涵盖 prefill 与 decode、队列压力、prefix cache 复用率和内存余量。退出码映射到严重度，可用于 cron 门控；工具只读、仅依赖标准库、需 Python 3.10+，代码在 https://github.com/msalsas/llama-doctor，作者欢迎 PR，尤其是能让工具崩溃的服务器场景。
推荐理由：作者开源了一个读取 llama.cpp 运行指标并按严重度分级诊断问题的 CLI 工具，退出码可直接接入 cron 做自动门控。
作者在单张 RTX 3080 20 GB 上用 llama.cpp 实测了 Qwen3.8-27B 的 Huihui 与 Heretic RVN 两个 abliterated 量化版本，仓库不含模型权重。结果显示 RVN IQ4_XS 在 MTP 下最快（代码 69.4 tok/s、散文 58.2 tok/s，比 Huihui 快约 5–7%），德语困惑度略低，通过 88.6K 上下文与全部 6 项工具调用测试，但多占 1.1 GB 显存导致 n-max 3 无法启动；MTP 草稿深度 n-max 2 是综合最优设置，MTP 对 prefill 无帮助反而约损失 5%。
开源项目 AIRelays 发布，这是一个本地 OpenAI 兼容 HTTP 中继服务器，默认运行时使用 AIRelays 自有的 ChatGPT 订阅登录，Claude 运行时通过本地 claude CLI 配置文件轮询自有订阅账号，不改动用户个人 Claude Code 登录。默认以自有 bearer token 保护中继，流量记录到 JSONL 文件并自动轮转（默认保留 7 天、总量 1 GiB），支持 macOS、Linux、Windows 桌面应用与 CLI 安装，定位为单用户本地个人使用，非共享或多用户转售服务。
GitHub 开源项目 ai-mesh 用单一 Rust workspace 协调 Linux、Windows、ARM 树莓派和 macOS（Apple Silicon）等异构机器，进行硬件感知的 LLM 推理路由，任何 OpenAI-SDK 客户端无需修改即可接入，自动调度到已加载对应模型的节点。同一协调器还驱动自然语言家庭自动化（Zigbee 灯光、传感器、Spotify、REAPER、语音），并提供 WebSocket 实时 PWA 仪表盘、eBay Hunts、在线模型转发（OpenRouter、Anthropic、Groq、Gemini，默认关闭）等能力。
GitHub 上的 amacharla15/fused-llm-inference-kernels-in-cuda 项目提供一套用于 LLM 推理的高性能 CUDA kernel 实现，涵盖 warp/block reductions、激活函数，以及 fused RMSNorm、Softmax、RoPE 和 SwiGLU MLP block 等 20 个步骤。项目基于 Deep-ML 构建，可通过 python scaffold.py 运行，帮助学习让现代 Transformer 推理高效的 GPU 原语。
amphionspace 在 GitHub 开源 open-audio-llm，一个可组合的 Audio-LLM 后训练与部署框架，把音频编码器接到支持 inputs_embeds 的 Hugging Face CausalLM 上，用同一套 YAML 打通 ms-swift 训练、vLLM 部署与 AmphionEval 评测。基于 Qwen3-ASR-1.7B 三阶段全参 SFT 的 checkpoint-34479 在 16 个中英测试集上加权 WER/CER 5.64%，AISHELL-1 CER 0.63%，热词偏置在 Common Voice 上把中文 CER 从 4.32% 降到 1.72%；同一权重支持普通 ASR、热词偏置和目标说话人 ASR。
UCUSpaceRobotics 在 GitHub 发布 traversability-costmap 仓库，面向 Indomitus 火星车，用自监督学习从 RGB-D 图像直接预测地形可通过性（预期打滑和底盘振动），训练数据来自火星车自身的 IMU 与里程计数据，无需人工标注。项目为参加 European Rover Challenge 而开发，生成 2 通道动态 costmap，可接入 ROS 2 Nav2 栈，帮助火星车主动规避复杂地形、减少人工干预。代码采用 MIT 许可证开源。
chatllm.cpp 新增对 Intern-Decision 模型的支持，目前仅支持文本。该模型在单次运行中生成所有答案，各决策位置先填充空格标记并以扩散方式生成，因此决策速度更快，且性能表现相当不错。
ClassLeaderTalksAI 在 GitHub 开源了 MIT 协议的教学项目 nano-inference，这是一个基于 vLLM 构建的极简 LLM 推理服务平台。项目探索分布式调度、KV-cache 感知路由、负载均衡与性能优化，供学习使用。
GitHub 仓库 michaelowusuntim6/ultimate_llm 开源了 SLLM（Sparse Lattice Language Model），一种无矩阵乘法（matmul-free）的语言模型，通过 FNV-1a 哈希签名在 mmap 哈希表上做稀疏查找预测下一个 token，无需 GPU 或 BLAS。纯 C99 实现，在 i5-3210M 上推理速度达 1801 tokens/sec，held-out BPT 为 3.63 bits/token，Top-1 准确率 64.3%。模型体积约 1.5 GB，仅依赖 libc、libm 和 pthread，采用 MIT 许可证。
开源项目 AURA（Automated Understanding of Research Articles）上线 GitHub，可从 arXiv、Semantic Scholar 和 RSS 订阅抓取论文，并用 PyTorch 神经网络按用户偏好做个性化排序。它支持全文 PDF 的结构化摘要、基于 RAG 的论文问答、K-Means 主题聚类趋势雷达，以及每日邮件摘要和每周研究简报。项目支持 Groq、OpenAI、Anthropic、Google 等 LLM 提供商，提供 Docker Compose 一键部署和 React Native Android 应用，需 Python 3.10+。
Blockway 团队发布 Agens Volundr 32B v1，针对社区对 Preview 版的反馈做了修复：SWE-bench 任务重复循环从 36/50 降到 0/50，SWE-bench Verified 50 题子集从 22 提到 27/50，τ²-bench 从 89 到 92/120，SGLang 构建新增 session continuation 使后续轮次快 2.9 倍。
推荐理由：官方逐条列出 Preview 版被社区指出的问题及 v1 修复数据，还给出 16 GB 构建的实测速度与质量下降幅度，便于自行评估取舍。
一位 Reddit 用户将 $750 购入的 5070 Ti 与闲置的 3070 通过 PCIe riser 组成混合双卡，用 Ollama/llama.cpp 拆分运行 Qwen 3.6 35B-A3B（MoE，约 3B 激活参数），在 16k 上下文下达到约 82 tok/s。目前约 23% 的层溢出到系统内存，3070 尚有约 4GB 显存未利用，作者计划调整拆分比例并加装外置 enclosure。