新闻、仓库与研究，按时间排列。
UkisAI 宣布其开源推理高效模型系列 Swift 下载量突破 200 万。Swift 通过惩罚病态过度思考模式并配合 RL 训练，将 token 用量降低 58.3%、速度提升 x1.95 且不损失准确率。首批加入 Discord 社区的 100 人可抢先体验未发布的 Swift GLM 5.3 Flash、Swift 9B、UkisAI Code 及 Swift.cpp 推理引擎，团队同时推出面向研究者的免费算力、LLM API 与数据集支持计划。
apollo-mg 公开 Project-Apollo，一个本地 LLM 推理 home lab，硬件为 RX 9070 XT 加六张 Tesla P100，实验预注册、结果带 receipt 存于 data/receipts/，覆盖确定性、KV-cache 保真、投机解码、量化格式、MoE offload 等主题。
LocalAI 团队发布从零编写的 C++20 推理引擎 vllm.cpp，无 Python 与 PyTorch 依赖，二进制仅 66 MiB，对比 vLLM 9.1 GiB 安装约省 140 倍。在 GB10 上 Qwen3.6-27B NVFP4 输出与 vLLM token 级一致，c1 吞吐 86.05 vs 82.32 tok/s，峰值内存 24.88 GiB vs 28.18 GiB；支持 CUDA/CPU/Metal/Vulkan、44 种架构、GGUF 压缩块直接计算和 MTP、DFlash 等投机解码。项目处于重度开发期，多数架构速度验证仍标记为 speed-pending，llama.cpp 对照数据基于已被取代的 fork，待重测。
推荐理由：LocalAI 团队的 C++20 推理引擎，README 给出了与 vLLM、llama.cpp、MLX-LM 的逐项对照数据和明确的 speed-pending 标注，可了解无 Python 推理栈的真实水平。
ultimatekillingmachine 在 GitHub 发布 RAG 客服助手 rag-support-assistant，仅依据公司帮助文章回答问题、附编号引用来源，检索不到相关内容时直接拒绝作答。项目开箱即离线，使用本地嵌入（intfloat/multilingual-e5-large）、SQLite 和离线应答 stub，也可指向 DeepSeek、OpenAI 或本地 Ollama 等 OpenAI 兼容模型；检索融合向量与 BM25（RRF 融合）并设 0.80 置信度门槛，支持流式输出、bearer token 权限分级和 Docker 部署。
推荐理由：原文附上 56 题评测与消融结论，reranker 更差更慢、拒绝不调用模型等实测细节可直接复用到自建 RAG 客服系统。
RCSL-AI-Nexus 是一个自托管 LLM 网关与管理平台，将 Mac Studio 用作 24/7 AI 服务器而非个人电脑。后端采用 FastAPI 六边形架构，前端为 Next.js 管理界面，本地开发需 Python 3.12、Node 22 和 Docker。由于 macOS 容器无法访问 GPU，Ollama 和 MLX 等模型运行时被有意部署在宿主机上，容器通过 host.docker.internal 访问。
srvsngh99 发布 Krill，一个 Mac 原生 LLM 运行时兼 coding agent，单一 Swift + MLX 二进制支持文本、视觉和语音，无需 Python。内置 agent 循环（工具、文件编辑、web fetch、权限）、OpenAI/Ollama/Anthropic 兼容 API 和浏览器手机 UI；对 Ollama 的对比称连续批处理约 2 倍吞吐、Gemma-4-E2B 上 TTFT 约 5 倍、峰值内存约 3 GB 对 8.8 GB。支持 krill pull 一键下载 46 个聊天与多模态模型，可接入 OpenCode 免费模型和 Codex 订阅，项目为 MIT 许可的早期版本。
推荐理由：把推理引擎和 coding agent 合进一个 Swift + MLX 二进制，与 Ollama 的对比数据和架构说明写得具体，可作本地 Agent 部署参考。
一位 Reddit r/LocalLLaMA 用户询问在 llama.cpp 的 Vulkan 后端下，如何将消费级 CPU（如 Ryzen 9950x）的 iGPU 与 dGPU 搭配使用而不拖慢整体速度，例如能否把某些 buffer 或操作安全地卸载到 iGPU 的 RAM 上。帖子尚在讨论中，暂无确定结论。
LightLLM 是一个基于 Python 的 LLM 推理与部署框架，主打轻量设计、易扩展和高性能，吸收了 FasterTransformer、TGI、vLLM、FlashAttention 等开源实现的优点。其 v1.0.0 版本在单台 H200 机器上实现最快的 DeepSeek-R1 部署性能，最新 v1.1.0 已支持 DP rank 间的 Prefix KV Cache 传输。项目采用 Apache-2.0 许可证开源，相关论文被 ACL2025 和 ASPLOS'25 收录。
tgo-app-dev 发布 VPIPE，一个面向 Apple Silicon Mac 的本地多模态 AI 运行时，用自研 Metal kernel 做推理，不依赖 MPS、MLX 或 Python 前向路径。支持 MiniMax H3（33B 视频加音轨）、LTX-2.5、Krea-2 Turbo、Qwen 3.8 27B 等工作负载，通过 weight streaming 和 4-bit 量化可在 16 GB 基础款 Mac 上跑图像编辑与视频生成；与 h3.c 的相同工作负载对比中，M5 Pro MacBook Pro 16 上耗时 5 分 29 秒对 7 分 11 秒。项目以 Apache 2.0 开源，提供 macOS 应用、Web UI、Composer 可复现流水线配置和 C++20 源码构建。
开发者 Ahmed69450 在 GitHub 发布完全本地化、100% Kotlin 编写的车载语音助手 v1.0.0 APK，专为 BYD DiLink 车机（Android 10+）设计。它采用 Vosk 离线两阶段唤醒词引擎，支持控制空调、车窗、天窗和音量，并内置兼容 MCP 标准的 JSON-RPC 2.0 客户端，提供 WebSearchTool 联网搜索和 ScreenAwarenessTool 屏幕感知等工具，以及基于 Room Database 的轻量 RAG 长期记忆。项目还支持从车机存储中直接选择 .gguf 模型文件，并可搭配 Piper TTS 朗读。
GitHub 开源项目 ANITE 发布了一个主打 FLOP 效率与低延迟单 GPU/边缘部署的主权基础语言模型，采用 90% AVS（Mamba-2 并行扫描，10,317.5 tok/s）加 10% HCA 线性注意力的双流架构。其 ADF 模块相比 MoE 吞吐快 1.56×（80,078 tok/s），VRAM 占用比 Latent MoE 少 15×（1,307 MB），MQAR 关联记忆达 18.8%。项目采用 Apache 2.0 许可，提供 125M/500M 配置、Hugging Face 集成及评测工具。
GitHub 用户 Asahi298 发布了 llm-circuit-finder，一个 Windows 应用，通过复制选定模型层、让隐藏状态两次经过同一 circuit 来测试层路由对 LLM 推理结果的影响，无需训练或改权重。该工具免代码安装使用，建议 Windows 10/11、16 GB 内存、AMD 或 NVIDIA GPU 和 20 GB 以上磁盘空间。发布文件可从 GitHub release 页面下载。
一项开源项目让六个决策模型（jev 1.13、Kev 4B、Clef、Clef Flash、GPT-6 Luna 和 Laya）实时对玩 Pac-Man。jev 1.13 以平均分 2,750、最高分 6,380 居首，GPT-6 Luna 平均分 2,568、平均延迟 179 ms。每个模型跑 100 次取均值（95% 置信区间），排行榜和仓库均已开源，玩家也可亲自扮演吃豆人、由这些模型操控幽灵。
开源硬件加速器项目 Cabosse 发布，用 SystemVerilog 实现面向 LLM 推理的芯片设计，硬件采用 Solderpad Hardware License v2.1，软件采用 Apache-2.0。项目目标是证明开源 AI 硬件可从公开来源复现，任何人可通过 AWS F2 FPGA 实例重建并运行，首个目标工作负载是 SmolLM2-135M-Instruct 的单流解码。当前 M3 里程碑已完成，BF16/FP32 运算单元与黄金模型位级一致，累加回路在 F2 上以 250 MHz 闭合，下一步是 M4 点积通道。
GitHub 上出现了 joezhuo2 的 LLM-Inference-Engine 项目仓库，包含 src、include/engine、docs、tests、scripts 等目录，并配有 CMakeLists.txt、CMakePresets.json、.clang-format 等构建与代码规范配置。仓库内设有 models 目录以及 reports、results 目录，README 和 changelog.md 可供了解项目详情。
作者开源了用于构建 RL 环境的 Seahaven 框架，以《楚门的世界》中的虚构小镇命名，MIT 协议，基于 Python 3.14+ 与 SQLite，全部本地运行。框架为每次运行提供独立 SQLite 实例、可复用 fixture、时钟与随机种子控制、状态 diff 日志，支持并行数百实例，兼容 OpenEnv 与 MCP，可发布到 Hugging Face；示例 Stripe World 含 24 张表和 155 个 API 操作，官方 Stripe SDK 可直接对接。
推荐理由：作者把可重置、可评分的 RL 环境层抽成开源框架，给出了每轮独立 SQLite 实例、状态 diff 和可复现性的具体做法，便于迁移到自己的 agent 评测。
samyfodil 在 GitHub 发布 jitllm，一个面向大语言模型推理的引擎，所有内核在加载时按 CPU（AVX2、SSE、NEON）或 GPU（CUDA、Vulkan、Metal）JIT 生成。磁盘、RAM 和 VRAM 组成统一内存系统，权重、MoE 专家和 KV 状态按需分页，可在 CPU 与 GPU 之间移动且不丢对话历史。提供 OpenAI 和 Anthropic 兼容 API 的单二进制 jitllmd，支持 Linux、macOS、Windows 的 x86-64 和 arm64，也可作为 Go 库嵌入，附桌面和终端应用。
推荐理由：开源推理引擎 jitllm 的发布说明，读者可从中了解 JIT 内核生成、跨 CPU 与 GPU 的内存分页和单二进制部署思路。
GitHub 项目 dorrabbkhan/llm-proxy 是一个放在 LLM API 前面的代理，把请求/响应格式在不同 provider 之间互转，例如让 OpenAI 客户端调用 Gemini、Ollama 或 Anthropic，目前支持 OpenAI、Google Gemini、Ollama、Anthropic 四种。所有请求经由统一 canonical 格式中转，每新增一个 provider 只需一个 adapter 文件；项目用 Zod schema 做契约测试，自动跑通全部 16 种 provider 组合，共约 260 个测试。已知限制包括不支持流式响应转换、每实例只服务一个 source→target 对，技术栈为 Express 5、TypeScript、pino、zod 等。
推荐理由：原文用统一中间格式替代 N×N 转换函数，并用契约测试保证任意 provider 组合可用，方法可迁移到类似代理场景。
GitHub 项目 ANEDVD 用 Zig 实现了不依赖 CoreML 的 Apple Neural Engine 大语言模型推理，通过私有 AppleNeuralEngine.framework 编译自生成的 MIL 程序，并用 IOSurface 做零拷贝张量 I/O。它支持 GGUF 和 HuggingFace safetensors 模型，提供 OpenAI 与 Anthropic 兼容的 HTTP API 和内置 WebUI；在 A18 Pro 上 SmolLM2-135M Q8_0 实测 prefill 400 tok/s、decode 31.7 tok/s，Qwen2.5-0.5B decode 17.4 tok/s。
推荐理由：作者实测给出了 ANE 上的推理速度、带宽上限和数值误差数据，想绕过 CoreML 直接驱动 Apple Neural Engine 的读者可以从中借鉴可复现的做法。
GitHub 仓库 ZlaylowZ/modelroster 发布了 modelroster Python 包，pip install modelroster 后离线即可查询 anthropic、openai、xai、mistral、google、cohere、nvidia、inception 共 382 个模型的 id、上下文窗口与能力数据，每日管线从各厂商官方 API 和文档刷新。
推荐理由：原文详述了modelroster的数据来源、三方态能力标注与溯源设计，读者可评估用数据包替代手维护模型清单的可行性。
GitHub 上开源的 crime-risk-analyzer 项目结合地理空间数据、RDF/SPARQL 本体知识库与 LLM 推理层，以透明、可验证方式估计并解释犯罪风险。后端为 FastAPI 应用，含 provider 无关的 LLM 客户端（Claude/Groq）和 RAG 流水线，提供 GET /health、POST /analyze、POST /analyze/baseline 等端点；前端已迁移到 Angular 20（standalone + signals），配 Leaflet 交互地图，用户通过在地图上画圆（中心+半径）进行搜索。
Synapse 是一个在 .NET 10 环境下用 C# 和 Rust 在本机运行大语言模型的开源推理引擎，不需要 Python、服务器或网络。它借鉴果蝇脑连接组的按需激活思路，只加载 token 所需的区域，冷区域留在磁盘按需读取。
推荐理由：项目用问答基准给出与 llama.cpp、MLX 的速度和内存逐项对比，读者可以据此判断这个 C# 推理引擎目前适用的场景。
kekzl 发布了开源推理引擎 imp（MIT 协议），专为 RTX 5090 一代芯片（sm_120a）编写，直接在 NVFP4 4-bit 格式上计算，一个 docker run 即可部署，提供 OpenAI 和 Anthropic 兼容 API 及内置聊天。基准测试中 Qwen3-8B Q8_0 达 385.4 tokens/s，比 llama.cpp 默认快 +141%；还支持将 56.25 GiB 专家权重放在主机内存的 Qwen3.8-Flash-Next NVFP4，以 65.31 tokens/s 运行超出 32 GB 显存的模型。
推荐理由：README 给出了与 llama.cpp 的逐行基准数据和设计取舍说明，可据此判断这类单卡专用推理引擎是否值得替代通用方案。
audio.cpp 项目方宣布一系列运行时优化：Higgs Audio TTS 峰值显存降低 48%，约 6GB 即可运行；HTDemucs 在 CUDA 上提速 2.21 倍，PocketTTS 在 CPU 上提速 2.23 倍。其余优化包括 ACE-Step、MOSS-TTS v1.5、Qwen3-TTS、IndexTTS2/2.5 等模型的显存与速度改进，并称未损失一致性。WebUI 新增实验性生成历史功能，项目现已支持 110+ 音频模型家族和 190+ 变体，覆盖 CUDA、Vulkan、Metal、AMD/HIP 和 CPU，同时公开招募前端贡献者。
该仓库是论文《Graph Reasoning with Large Language Models via Pseudo-code Prompting》的官方代码库，作者为 Konstantinos Skianis、Giannis Nikolentzos 和 Michalis Vazirgiannis（arXiv: 2409.17906）。仓库通过 run_experiments.py 提供 none、cot、bag、alg、default_1_shot、1_shot_pseudo 六种提示方法，可对不同规模的图问题批量实验并验证答案正确性，实验示例使用 gpt-4o 模型，数据以邻接表和 JSON 形式存放在 data/ 目录下。
magicnight 在 GitHub 发布 macMLX，一款基于 Apple MLX 的原生 macOS LLM 推理应用，提供 SwiftUI GUI、CLI 和常驻 OpenAI 兼容 API，约 50 MB 且全程无 Python。截至 v0.9 支持文本加 16 种 VLM 架构（最大约 70B）、分层 KV 缓存、连续批处理、投机解码、LoRA、MCP server、语音转文字与合成及 /v1/rerank，并以纯 Swift 移植了 DeepSeek V3.2 等架构，与 Python 参考实现按 1e-4 精度校验一致。项目与 LM Studio、Ollama、oMLX 逐项对比，称其独有 Swift 进程内引擎；DMG 尚未公证，首次启动需 xattr 清除 Gatekeeper 隔离。
推荐理由：原文给出与 LM Studio、Ollama、oMLX 的逐项功能对比和版本演进明细，可看出纯 Swift 无 Python 方案在 macOS 本地推理中的取舍。
vertesia 开源的 Llumiverse 是一个面向 Node.js、Bun 和 TypeScript 环境的 LLM 统一连接层，定位类似 LLM 界的 JDBC/ODBC，可零代码改动切换 OpenAI、AWS Bedrock、Google Vertex AI、xAI (Grok) 等多家 AI 提供商。它仅抽象连接与执行协议，提供补全、流式、tool calling、embeddings 的强类型规范化接口，不强制 prompt 模板或编排逻辑。安装需 Node.js 24.x，通过 @llumiverse/core 与 @llumiverse/drivers 使用。
Even Hospital 的临床转录助手 Evenscribe 是一款手机端 PWA：医生通过 4 位 PIN 登录后录音口述病例，多引擎流水线生成结构化病历及基于知识库的临床决策支持卡片。语音处理使用 Deepgram 与 Sarvam，笔记生成用 qwen2.5:14b，决策支持用 llama3.1:8b，并支持说话人分离与多语言。项目基于 Next.js 15.5 部署于 Vercel（Mumbai 区域），目前处于生产环境临床试点阶段，仓库标注仅供院内使用。
Relay 是一个自托管、OpenAI 兼容的 LLM 网关与推理基准项目，目前处于开发第 1 周，规划中的能力均未完成。它基于 FastAPI 构建，暴露标准 /v1/chat/completions API，支持多租户 API key、模型白名单、Redis 限流、PostgreSQL 用量账本，并抽象 llama.cpp 与 vLLM 后端。基准测试将在本地 RTX 4050 和免费 Colab GPU 上测量 TTFT p95、吞吐与每百万 token 成本，结果以 Parquet 保存，目前所有基准数字均为 TBD。
Receipt Tracker 是一个软件开发训练营的毕业项目，目前仍在开发中，用于收据的数字化、整理与分析。它支持 JPEG、PNG、WebP 收据上传，通过 OpenCV、PaddleOCR 提取内容，并借助 LLM 生成结构化数据，已测试 Ollama 的 qwen3.8:27b、Mistral 的 mistral-medium-latest 和 OpenAI 的 gpt-6-luna。技术栈为 React + Node.js/Express + Python 3.12，使用 SQLite 存储，需 Node.js 22.12 及以上版本。
zzRouter 是一个面向 AI 智能体的最小权限控制平面，其 API 可取代 SSH 完成模型下载、提供商安装、启动和推理，覆盖 Linux、macOS 和 Windows 节点。它兼容 OpenAI、Anthropic Messages 和 Ollama API，提供虚拟密钥、团队、配额和模型路由，支持 llama.cpp、vLLM、MLX、Ollama 及云端 API 等提供商。项目以 Apache 2.0 许可开源，安装时通过 cosign 验证签名的校验和文件。
开发者 Deepthi-0411 在 GitHub 发布 self-healing-llm-gateway，一个提供 OpenAI 兼容 API 的生产级 LLM 网关，支持 Google Gemini、Cloudflare Workers AI、Cohere 多提供商路由，基于 LiteLLM 规范化通信。网关内置 Redis 精确与语义缓存、租户限流与预算控制、熔断器和仅在故障时触发的提供商 failover，并通过 Prometheus 与 Grafana 提供可观测性。故障注入验证中，Gemini 请求失败后网关自动回退到 Cloudflare 的 @cf/meta/llama-3.1-8b-instruct-fp8 并返回 HTTP 200。
MassEast 发布开源自托管文献综述助手 paper-agent，可并行追踪多个研究项目，每夜定时抓取 arXiv 和 Semantic Scholar，用 LLM 筛选相关论文并生成摘要、Figure 1、引用数和作者机构，新论文入库并邮件通知。
推荐理由：作者给出了从抓取、筛选到部署备份的完整做法和全部 Prompt 模板位置，读者可以照着把文献追踪流程搬回自己的环境。
InferFleet 是一个分布式 LLM 推理服务平台，集成 API 网关、动态 GPU 批处理（≤20 ms 窗口、16-way，约 16× GPU 吞吐提升）、两级响应缓存、熔断降级与严格计费一致性。项目模拟 50K RPS / 300 ms TTFB SLO，支持单进程与 4 微服务（Redis + Postgres）两种部署形态，经 34 个测试覆盖，采用 MIT 许可证开源。
XiyingYong 在 GitHub 发布 llm-moe-gridworld，一个结合 LLM 与深度强化学习的多目标导航实验框架。系统用 Google Gemini 作为 Mixture-of-Experts 路由器，按任务上下文从三个 DQN 专家（目标、宝物、陷阱）中选择执行动作，并与随机路由、启发式路由和全局 DQN 等策略对比。项目以 Python 和 TensorFlow 实现，当前仓库仅含源代码，尚未包含训练好的模型权重和评估结果。
开源项目 axon 利用 sparse autoencoders 识别 GPT-2 神经网络中的具体特征，并将其渲染为可旋转、缩放的 3D 可视化地图。用户输入句子后点击播放，可逐 token 观察各特征点的激活过程，点击节点还能查看该特征的权重。工具需 Windows 10/11、8 GB 内存并通过浏览器运行，目标是将大语言模型的内部逻辑变得直观可理解。
GitHub 项目 aruaru-llm 更新了多项推理功能：open-cuda 侧实现 DeepSeekMoE（共享专家+top-k 路由）与 DeepSeek-V2/V3 MLA 架构，其中 15.7B 参数模型尚未实机验证；Qwen2/Qwen2.5 支持已在 Qwen2.5-0.5B-Instruct 上实机验证。默认启用 CTRL 式重复惩罚（ARUARU_LLM_REPETITION_PENALTY，默认 1.3），实测可解决 GPT-2 124M 无限循环退化问题。MLA KV cache 压缩（GPT-2 上 head_dim=64→d_c=16，减少 75%）为可选开关，因随机初始化投影矩阵导致生成质量明显下降而默认关闭。
Halogen 0.17.2 版本更新后，Qwen 3.8 Flash Next 在 128GB Strix Halo 上即使高上下文也能稳定达到约 45 tps 的解码速度。用户称赞这个约 1770 亿参数的模型表现出色，并认为其生成和审查的 Opus 5.5 方案质量很高。
GitHub 上的 ORCA 是一个处于 Beta 阶段的个人认知操作系统（Personal Cognitive Operating System），用于跨上下文、信息和决策进行结构化推理，而非将每次交互视为孤立提示词。系统按"感知→上下文组装→外部证据→推理→合成"流水线运行，具备持久上下文、多轮推理、外部证据整合与决策支持能力。后端采用 Python、FastAPI、PostgreSQL、Redis 和 Docker，实现仓库保持私有，公开仓库仅文档化架构与设计。
Maxritz 在 GitHub 发布 KRAKEN，一个用 C++17 编写、直接构建在 ROCm HIP SDK 上的 GGUF 推理引擎，针对 Windows 11 和 Linux 上的 AMD RDNA 显卡，不依赖 PyTorch、hipBLAS 或 MIOpen，所有内核直接针对 ISA 编写。权重在 VRAM 中全程保持量化状态不反量化，7B Q4_K_M 模型仅占 4.4 GB；MoE 专家按 LFU with aging 策略按需分页，支持 --expert-warm-mb 二级页锁定内存。
推荐理由：原文不仅介绍工具，还给出 RX 9070 XT 上 8B Q4_K_M 达到带宽上限约 76% 的量化瓶颈拆解，可了解 AMD 本地推理的优化路径。